Alle tests van Online Talen Manager zijn de afgelopen 10 jaar in eigen beheer ontwikkeld door Bert Goos en Andre Tjoa. Het ontwikkelen van een test lijkt vrij eenvoudig. In de praktijk is het een langdurig proces. Het ontwikkelen van een goed wetenschappelijk onderbouwde test kan 2 jaar vergen. In deze blog geef ik je een kijkje in de keuken van testontwikkeling bij Online Talent Manager. Testontwikkeling is in de ogen van velen saai. Om het leuk en levendig te houden vertel ik je welke Octogramstijlen in het proces van toegevoegde waarde zijn.
De start, het idee
Het proces start met het een idee voor een nieuwe test, of soms de noodzaak hiertoe. Vaak zijn het Pioniers die vanuit hun creatief brein hiertoe de aanzet geven. Bij Online Talent Manager komen deze ideeën zowel van de pionierende medewerkers als klanten.
De brainstorm fase
Als het idee is ontstaan volgt er een brainstormfase met een aantal testontwikkelaars. Tijdens deze fase wordt besproken en beargumenteerd vanuit welk theoretisch model de test het beste ontwikkeld kan worden en wat het gebruikersdoel van de test moet zijn. De brainstormfase kan meerdere sessies beslaan. Tussendoor doen de testontwikkelaars literatuuronderzoek (meestal de analytici) naar theoretische modellen en psychologische constructen (in test termen de testschalen of eigenschappen die tests meet) die te maken hebben met de potentiële test (vaak de analytici). Aan het einde van de brainstormfase is het theoretisch model van waaruit de test ontwikkeld gaat worden bekend evenals het beoogde gebruikersdoel.
De item-bedenk-fase
Als het theoretisch model bekend is wordt een start gemaakt met het bedenken van de items (oftewel de vragen) voor de eigenschappen die we willen meten met de test. Bij Online Talent Manager doen de testontwikkelaars dit meestal afzonderlijk van elkaar en wordt er daarna gezamenlijk een selectie gemaakt. De Pionier speelt hierbij een belangrijke rol i.v.m. de creativiteit in het bedenkproces, de analytici spelen hierbij een rol bij het zien van verbanden tussen het theoretisch model en de bedachte items.
Eerste validatiefase
Vervolgens wordt de test geprogrammeerd in het OTM-systeem. Een klusje dat verankeraar- (i.v.m. het systematische aspect van programmeren) en analyticus- (vanwege het belang van details bij programmeren) werkstijlen vereist. Als de test in het systeem staat vragen we proefpersonen of ze de test willen invullen. Mochten we te weinig proefpersonen hebben dan benaderen we bedrijven of mensen (netwerkersklusje). Als er rond de 100 tests zijn ingevuld doen we een eerste statistische analyse van de resultaten. We kijken vooral naar het gedrag van de items, dat wil zeggen hangt het item samen met de eigenschap die we willen meten of wellicht beter met een andere eigenschap of nergens mee. Als we de items geanalyseerd hebben selecteren we de items die gezamenlijk de eigenschap het beste meten en bepalen we vervolgens de betrouwbaarheid van hetgeen we willen meten. Indien het nodig is bedenken we extra items en voegen we deze toe. Hierna volgen doorgaans nog één of soms twee validatierondes. Bij Online Talent Manager gaan we net zo lang door met ontwikkelen tot de betrouwbaarheid aan de COTAN-eisen voldoet.
Test af en normering
Als de test betrouwbaar genoeg is maken we normgroepen op basis van de kandidaten uit de laatste validatieronde (klus voor verankeraars en analytici). In het begin zijn de normgroepen nog vrij beperkt omdat nog weinig mensen de test hebben gemaakt. We bouwen onze normgroepen verder op door de mensen die de test maken mee te nemen bij een volgende normering. We normeren opnieuw zodra we normgroepen hebben die qua grote voldoen aan COTAN-eisen en/of als uit statistisch onderzoek blijkt dat er aanleiding/noodzaak is om aparte normgroepen te maken.
Doorontwikkeling
Als een test voldoet aan de COTAN-eisen qua betrouwbaarheid volgt verder validatieonderzoek en doorontwikkeling, wederom werkzaamheden die in het blauwe kwadrant vallen. Dit kan op allerlei manieren plaatsvinden en is eigenlijk nooit af. Wat we bij Online Talent Manager in ieder geval zeer intensief doen is correlatieonderzoek tussen onze eigen tests en soms met een test van een andere aanbieder (het zogenaamde soortgenotenvaliditeitsonderzoek) en normeringsonderzoek.
Wat doen we nu?
Op dit moment zijn we onder andere bezig met het ontwikkelen van de volgende tests:
- Copingstijlen (hoe gaan mensen met emoties/problemen om)
- Teamtest (wat is typerend voor een team)
- Loopbaan Quickscan (meet (on)tevredenheid met loopbaan)
Wil je ons hierbij helpen tijdens de validatierondes mail me dan: j.willems@onlinetalentmanager.com.
{ 0 comments }
