Een praktische aanpak in zes stappen
De precieze werkzaamheden verschillen per project, maar terugkerend onderzoek kan doorgaans in zes stappen worden georganiseerd:
1. Bepaal de onderzoeksvraag en de waarde
Voordat we vragenlijsten of dashboards bespreken, bepalen we wat het onderzoek mogelijk moet maken.
Wat wil de organisator begrijpen? Wat moet een deelnemer over de eigen organisatie kunnen leren? Gaat het om marktinzicht, vergelijking, feedback van leden, een assessmentresultaat of een combinatie daarvan?
Ook de gewenste uitkomst is in deze fase belangrijk. Als iedere deelnemer een relevant benchmarkrapport moet ontvangen, moet het gegevensmodel dat vanaf het begin ondersteunen.
Een helder doel helpt bovendien vragen te schrappen die wel interessant zijn, maar niet bijdragen aan het beoogde resultaat.
Bepaal wie de resultaten gaat gebruiken
Veel C2C-programma's hebben meerdere doelgroepen.
Een vereniging kan behoefte hebben aan geaggregeerd sectorinzicht, terwijl deelnemende organisaties individuele vergelijkingen willen ontvangen. Een consultant heeft mogelijk een klantrapport nodig en de klant een dashboard. Een assessment kan direct persoonlijke feedback geven en tegelijk gestructureerde informatie opleveren voor latere opvolging.
Deze doelgroepen hebben niet noodzakelijk dezelfde resultaten of dezelfde toegangsrechten nodig.
2. Ontwerp het onderzoeksmodel
Zodra het doel duidelijk is, kan de inhoudelijke onderzoeksstructuur worden ontworpen.
Daaronder vallen definities, vragen, variabelen, berekeningen, vergelijkingsgroepen, validatieregels, perioden en de logica achter de resultaten.
De opdrachtgever beschikt mogelijk al over een eigen methodiek. Waar dat nuttig is, kan C2C kennis van benchmarking en onderzoek inbrengen.
De taakverdeling moet helder blijven: de inhoudelijke expertise berust bij de partij die daar daadwerkelijk eigenaar van is.
Ontwerp vanuit het gewenste resultaat
Een bruikbare manier om onderzoek te ontwerpen is om bij de gewenste uitkomst te beginnen.
Wat moet de deelnemer kunnen zien? Welke vergelijking of conclusie moet worden onderbouwd? Welke gegevens zijn nodig om die te berekenen of toe te lichten?
Door vanuit het resultaat terug te redeneren, voorkom je dat de vragenlijst een verzameling losse vragen wordt.
Voor assessments geldt hetzelfde principe: bepaal eerst welke terugkoppeling waardevol is en stel vervolgens vast welke scores en vragen daarvoor nodig zijn.
Kies de juiste vergelijking
Benchmarking vraagt om meer dan het berekenen van een gemiddelde.
Afhankelijk van het onderzoek zijn vergelijkingen met de totale groep, relevante vergelijkingsgroepen, historische ontwikkelingen, vaste panels of een ander afgesproken referentiepunt nodig.
Niet ieder project heeft al deze mogelijkheden nodig.
Een vergelijking moet worden gekozen omdat zij de interpretatie verbetert, niet alleen omdat het platform haar kan berekenen.
Denk tijdig na over vertrouwelijkheid en toegang
Wie mag individuele inzendingen bekijken? Wie mag deze valideren? Heeft de organisator gegevens op organisatieniveau nodig of volstaan geaggregeerde resultaten? Welke gegevens mogen worden geëxporteerd?
Deze vragen moeten vóór de start worden beantwoord.
Bij sommige onderzoeksprogramma's heeft de vereniging toegang tot individuele ledengegevens, omdat zij zelf de validatie verzorgt. Bij andere modellen, zoals de marktmonitor van VvDN, heeft de vereniging bewust geen toegang tot individuele inzendingen.
Het toegangsmodel moet aansluiten op het doel van het onderzoek.
3. Richt de Survey Tool in
Vervolgens vertalen we het onderzoeksmodel naar de Survey Tool.
Dit kan vragenlijsten, gegevensimports of koppelingen, validaties, berekeningen, vergelijkingsgroepen, dashboards, rapporten, e-mails, herinneringen en deelnemersrollen omvatten.
Configureren betekent niet dat een project in een standaardsjabloon moet passen.
Het doel is om het afgesproken onderzoeksproces herhaalbaar te maken zonder de achterliggende methodiek te verliezen.
Gebruik de eenvoudigste geschikte manier om gegevens te verzamelen
Sommige informatie kan het beste via een vragenlijst worden ingevoerd. Andere gegevens zijn al beschikbaar in het operationele systeem, het verenigingsmanagementsysteem (AMS) of een andere bron van de opdrachtgever.
Waar passend kan C2C gestructureerde imports, endpoints of maatwerkkoppelingen gebruiken om deze gegevens in het onderzoeksproces op te nemen.
De beste oplossing beperkt onnodig werk en behoudt tegelijkertijd de gegevenskwaliteit en de mogelijkheid om resultaten te verklaren.
Bouw validatie in het proces in
Gegevenskwaliteit mag niet volledig afhangen van een laatste handmatige controle.
Invoerregels, plausibiliteitscontroles, verbanden tussen velden en vergelijkingen met eerdere perioden kunnen helpen gegevens te signaleren die aandacht verdienen.
Geautomatiseerde validatie vervangt echter geen inhoudelijke beoordeling.
Een afwijkende waarde kan immers toch juist zijn.
4. Test het volledige deelnemerstraject
Bij het testen gaat het om meer dan de vraag of een vragenlijst opent.
Een realistische test doorloopt het hele proces: uitnodiging, toegang, invoer of import van gegevens, validatie, berekeningen, vergelijking, dashboards, rapporten en communicatie.
Waar het onderzoeksmodel verschillende routes kent, moeten ook verschillende typen deelnemers en uitzonderingssituaties worden getest.
Zo komen technische problemen én onverwachte methodologische uitkomsten aan het licht voordat deze met echte gegevens moeilijker te corrigeren zijn.
Test de resultaten met realistische gegevens
Een rapport kan er met één eenvoudig testrecord goed uitzien en toch problemen opleveren wanneer de onderliggende gegevens verschillen.
Test daarom met realistische verschillen tussen deelnemers, ontbrekende of uitzonderlijke waarden en de verschillende resultaten die het onderzoek moet kunnen opleveren.
Controleer bij een benchmark of de vergelijking begrijpelijk blijft. Controleer bij een assessment of de feedback overeenkomt met de ingestelde scorelogica.
5. Voer het onderzoek uit
Na de start verschuift het werk van ontwerp naar uitvoering.
Deelnemers worden uitgenodigd, de voortgang wordt gevolgd, herinneringen worden verzonden, ingediende gegevens worden waar nodig beoordeeld en resultaten worden volgens het afgesproken proces vrijgegeven.
Hoeveel werkzaamheden C2C uitvoert, hangt af van het gekozen samenwerkingsmodel.
Drie manieren om het werk te verdelen
Uitvoering door de opdrachtgever — De opdrachtgever beheert de deelnemers, inhoud, validatie en resultaten met de Survey Tool. C2C levert de technologie en ondersteuning waar nodig.
Gezamenlijke uitvoering — De opdrachtgever houdt de inhoudelijke regie, terwijl C2C geselecteerde werkzaamheden ondersteunt, zoals implementatie, gegevensverzameling, validatie, rapportage of procesbeheer.
Uitvoering door C2C — C2C verzorgt een groter deel van het terugkerende proces. De opdrachtgever blijft verantwoordelijk voor het onderzoeksdoel, waar van toepassing de methodiek, en de relatie met belanghebbenden.
De samenwerking kan in de loop van de tijd veranderen
Een opdrachtgever kan bij de eerste implementatie meer ondersteuning nodig hebben en later zelfstandiger worden.
Het omgekeerde is ook mogelijk: een opdrachtgever kent het systeem goed, maar kiest ervoor uitvoerend werk uit te besteden omdat de interne capaciteit beperkt is.
We willen niet iedere opdrachtgever in hetzelfde dienstverleningsmodel dwingen.
Het gaat erom dat het onderzoek duurzaam uitvoerbaar blijft.
6. Leer, verbeter en herhaal
Het einde van de ene onderzoeksperiode is het begin van de volgende.
Welke vragen zorgden voor verwarring? Welke validatieregels signaleerden echte problemen? Welke rapportages bleken bruikbaar? Moeten definities worden verduidelijkt? Is de markt zo veranderd dat een nieuwe variabele nodig is?
Terugkerend onderzoek wordt beter wanneer deze lessen bewust worden verwerkt, in plaats van het proces ieder jaar opnieuw uit het hoofd op te bouwen.