- Welke ervaring heeft uw bedrijf met het aanleveren van online steekproeven ten behoeve van marktonderzoek?
Enigma Research heeft ondanks haar korte bestaan voldoende ervaring en de juiste kennis in huis met betrekking tot het aanleveren van online steekproeven voor gedegen marktonderzoek. Deze ervaring vloeit voort uit eerdere werkzaamheden welke in dienst van andere gerenommeerde marktonderzoeksbureaus zijn verricht. Enigma Research gaat bij het trekken van de online steekproef zelfs een stap verder dan veel andere bureaus. Door een slim geprogrammeerd steekproefsysteem kunnen er geautomatiseerd representatieve steekproeven (naar geslacht, leeftijd en provincie) worden getrokken voor elke provincie in Nederland. Dit sluit aan bij de businessfilosofie van Enigma Research; Automatiseer indien mogelijk, dit voorkomt het maken van menselijke fouten.
- Kunt u de bron(nen) omschrijven die worden gebruikt om de online steekproef samen te stellen (zijn dit databases, panels, direct marketing lijsten of iets anders)?
Enigma Research maakt voor het trekken van online steekproeven gebruik van haar eigen zorgvuldig samengestelde panel. Dit panel is opgebouwd uit Nederlanders van 16 jaar en ouder afkomstig uit alle windstreken en alle lagen van de bevolking. Panelleden die zich registeren bij Enigma Research dienen een “dubbele inschrijfprocdure” te doorlopen. Allereerst wordt door middel van een activatie-mail gecontroleerd of het opgegeven e-mailadres daadwerkelijk bij de persoon hoort die zich wil registeren. Vervolgens wordt de persoon uitgenodigd voor de instapvragenlijst. Een persoon kan pas uitgenodigd worden voor andere onderzoeken indien hij of zij de instapvragenlijst (waarbij naar persoonlijke gegevens wordt gevraagd) volledig heeft afgerond. Dankzij de “dubbele inschrijfprocedure” bestaat het panel van Enigma Research alleen uit leden die daadwerkelijk willen deelnemen aan onderzoek. Tezamen met een slim beloning per vraag systeem zorgt dit ervoor dat Enigma Research een responspercentage van 65% kan bewerkstelligen.
- Hoe onderscheid de steekproef van uw bedrijf zich ten opzichte van de steekproef van andere bedrijven?
Het panel van Enigma Research is opgezet met de gedachte dat de kwaliteit van het uitgevoerde onderzoek in het panel valt of staat met de kwaliteit van het panel. Voor het werven van panelleden is dan ook niet voor de meest efficiënte, maar voor de meest zuivere manier gekozen. Enigma Research gebruikt dan ook als voornaamste wervingsmiddel de persoonlijke werving op straat; voorbijgangers worden willekeurig aangesproken of men wil deelnemen aan het panel van Enigma Research. Indien men belangstelling heeft, wordt het e-mailadres genoteerd en een informatiemail met registratielink gestuurd. Het werven op straat zorgt voor een willekeurige selectie van Nederlanders in het panel van Enigma Research. Een ander voordeel van persoonlijke werving is dat professionele panelleden (deze personen zitten in meerdere internetpanels en vullen meerdere vragenlijsten per dag in) op deze manier zoveel mogelijk buiten het panel worden gehouden. Indien een persoon geworven is voor het panel van Enigma Research stopt de betrokkenheid van Enigma Research niet, het begint dan eigenlijk pas. Enigma Research acht het van groot belang dat panelleden zich betrokken voelen bij de onderzoeken die worden uitgevoerd. Dit wordt bewerkstelligd door onze panelleden regelmatig op de hoogte te stellen van interessante onderzoeksresultaten van onderzoeken waar men zelf aan deel heeft genomen (dit gebeurd bij externe onderzoeken uiteraard alleen indien de opdrachtgever hier zijn uitdrukkelijke goedkeurig voor geeft). Ook krijgt men voor het invullen van onze onderzoeken een geldbeloning per vraag.
- Wordt het panel alleen gebruikt ten behoeve van marktonderzoek?
Enigma Research gebruikt haar panel alleen voor het uitvoeren van online marktonderzoek. De NAW gegevens van onze panelleden zullen nooit worden vrijgegeven aan een externe partij.
- Hoe worden groepen geworven die lastig zijn te bereiken via het Internet?
Doordat Enigma Research haar werving van panelleden middels persoonlijke werving uitvoert, zijn de moeilijk via het Internet te bereiken groepen in het panel van Enigma Research voldoende vertegenwoordigd. De representativiteit van het panel wordt desondanks constant gemonitord op tal van achtergrondvariabelen, zodat eventueel minder goed vertegenwoordigde groepen vroegtijdig kunnen worden geïdentificeerd en gericht kunnen worden bijgeworven.
- Onder welke voorwaarden worden panelleden geworven?
Elk panellid geeft door middel van de “dubbele inschrijfprocedure” bewust toestemming om benaderd te mogen worden voor de onderzoeken van Enigma Research. Deelname aan de onderzoeken van Enigma Research is volledig vrijblijvend. Bij het invullen van een onderzoek zal men beloont worden volgens het beloning per beantwoorde vraag principe. De beloning wordt eens per half jaar uitgekeerd. Panelleden kunnen bij hun persoonlijke gegevens aangeven of Enigma Research het gespaarde geld naar henzelf, naar een vereniging of naar een goed doel dient over te maken.
- Kunt u omschrijven wat de jaarlijkse aanwas, afval en behoud cijfers zijn van het panel. Hoe worden deze berekend?
Aangezien Enigma Research in 2010 is gestart met haar werkzaamheden kan deze vraag op dit moment nog niet beantwoord worden. Om de aanwas, afval en behoud cijfers gedurende het jaar in kaart te brengen, maakt Enigma Research gebruik van een eigen ontwikkelde panelmanagement-tool welke per kwartaal de responspercentages op individueel en totaalniveau inzichtelijk maakt.
- Kunt u de inschrijfprocedure van het panel omschrijven?
Geïnteresseerden kunnen zich op de website van Enigma Research inschrijven voor deelname aan het panel. Wanneer men het registratieformulier heeft ingevuld wordt er een activatie-mail gestuurd met daarin een activatielink (op deze manier wordt gecontroleerd of het opgegeven e-mailadres daadwerkelijk bij de persoon hoort die zich wil registeren). Na activatie wordt de persoon uitgenodigd voor de instapvragenlijst. Een persoon kan pas benaderd worden voor andere onderzoeken indien hij of zij de instapvragenlijst (waarbij naar persoonlijke gegevens wordt gevraagd) volledig heeft afgerond. Dankzij de “dubbele inschrijfprocedure” bestaat het panel van Enigma Research alleen uit leden die daadwerkelijk willen deelnemen aan onderzoek.
- Wordt er gebruik gemaakt van een validatie of identiteitcontrole, alsmede van procedures die niet serieuze respondenten detecteren op het moment van inschrijven? Kunt u deze procedures omschrijven?
Alle e-mail adressen worden gevalideerd door middel van het versturen van een bevestigingsemail met daarin een activatielink. Verder wordt er bij het uitvoeren van onderzoek altijd een check gedaan om de kwaliteit van de antwoorden die een panellid geeft (denk hierbij aan een “x” of “?” bij een open antwoord vraag etc.). Wanneer een panellid zich schuldig maakt aan dit soort invulgedrag krijgt deze persoon per e-mail een waarschuwing. Bij de derde waarschuwing wordt het panellid verwijderd uit de database.
- Welke achtergrondgegevens zijn bekend van de panelleden? Van hoeveel panelleden zijn deze achtergrondgegevens bekend en hoe vaak wordt dit geüpdate?
Alle panelleden van Enigma Research dienen voordat ze voor andere onderzoeken benaderd kunnen worden de zogenaamde instapvragenlijst te doorlopen. In de instapvragenlijst wordt niet alleen gevraagd naar standaard achtergrondvariabelen zoals leeftijd, opleiding en inkomen maar ook naar hobby’s, interesses, politieke voorkeur etc. Enigma Research is hierdoor in staat om slimme steekproeven te trekken met hierin alleen panelleden die behoren tot uw doelgroep (bv alleen voetballiefhebbers etc.). Dit heeft tot gevolg dat er minder panelleden bij een selectievraag afvallen, wat u als klant een aanzienlijk kostenvoordeel kan opleveren (u bereikt met een lagere bruto steekproef dezelfde netto groep). De panelleden hebben vanzelfsprekend de mogelijkheid om ten aller tijde hun persoonlijke gegevens aan te passen via hun persoonlijke pagina op de Enigma Research website.
- Uit hoeveel actieve panelleden bestaat uw panel op dit moment? Op welke wijze zijn deze panelleden geworven?
Op dit moment bevat het panel van Enigma Research ruim 5000 actieve panelleden. De panelleden zijn voornamelijk geworven door middel van persoonlijke werving op straat. Verder maakt Enigma Research gebruik van de “vertel het een vriend module”. Actieve panelleden kunnen vrienden/kennissen of familieleden voordragen als panellid.
- Kunt u uw steekproefprocedure omschrijven inclusief uitsluitingsprocedure. Kunnen steekproeven gericht getrokken worden naar bepaalde achtergrondvariabelen?
Enigma Research is in staat gerichte steekproeven te trekken met daarin alleen panelleden die voldoen aan bepaalde eigenschappen. Zo kunnen alle deelnemers uit zuid Nederland worden uitgesloten of kan er een selectie worden gemaakt dat de onderzoeksuitnodiging alleen naar mannelijke panelleden wordt verstuurd. Enigma Research houdt bij het trekken van steekproeven standaard rekening met een juiste verdeling naar geslacht, leeftijd en woongebied.
- Kunt u uitleggen op welke wijze mensen worden uitgenodigd voor deelname aan een onderzoek? Hoe ziet een willekeurige uitnodiging eruit?
De panelleden van Enigma Research krijgen per e-mail bericht indien er een nieuw onderzoek voor hen klaarstaat. Deze e-mail bevat een hyperlink die verwijst naar de onderzoekspagina van Enigma Research. Verder bevat de e-mail een indicatie van de tijdsduur van het onderzoek en worden de logingegevens van het panellid getoond.
- Kunt u uw beloningssysteem omschrijven? Houd dit system ook rekening met de lengte van het onderzoek, karaktereigenschappen van de respondent of andere factoren?
Bij Enigma Research wordt gewerkt met het zogenaamde beloning per vraag principe. Het voordeel van deze werkwijze is dat de beloning die panelleden krijgen voor hun inspanning altijd evenredig is met de lengte van de vragenlijst. De beloning per vraag is voor elke panellid gelijk. Panelleden die door een selectie minder vragen krijgen voorgelegd, krijgen ook minder beloning voor het invullen van het onderzoek. Enigma Research is zich bewust van het eventuele gevaar dat panelleden het antwoord kunnen proberen te raden dat leidt tot meer vragen. Hier wordt dan ook rekening mee gehouden in de vraagstelling. Hieronder staat dit geïllustreerd met een voorbeeld: Bij Enigma Research zal nooit gevraagd worden; “Kent u Marco Borsato” (Ja, Nee), maar “welke van de onderstaande Nederlandse artiesten kent u?” (vervolgens komt er een rijtje met Nederlandse artiesten waar men uit kan kiezen). Kiest men Marco Borsato, dan krijgt men de vervolgvragen.
- Hoe vaak worden panelleden benaderd voor het invullen van een vragenlijst? Is er data beschikbaar over hoe vaak een panellid heeft deelgenomen aan onderzoek in een bepaalde periode en worden er beperkingen gesteld aan hoe vaak een panellid kan deelnemen aan een onderzoek?
Enigma Research stelt geen maximum aan het aantal keer per maand dat een panellid mag deelnemen aan een onderzoek. Dit is een bewuste keuze om zo gestuurde, en daardoor wellicht scheve, steekproeven te voorkomen. De panelleden van Enigma Research worden aselect uitgenodigd voor deelname aan een onderzoek. Doordat Enigma Research put uit een totale database van …. panelleden, wordt een panellid gemiddeld niet vaker dan twee keer per maand uitgenodigd voor een onderzoek. Dit zorgt ervoor dat onze panelleden niet overbelast raken.
- Heeft uw bedrijf een privacy statement opgesteld? Kunt u kort omschrijven wat hier instaat? Voldoet het panel aan alle regionale, internationale en locale regels met betrekking tot privacy, data beveiliging en kinderen (bv. EU Safe Harbour en COPPA in de VS). Aan welke andere onderzoeksstandaarden is uw bedrijf geconformeerd? (bv ICC/ESOMAR international code, CASRO guidelines etc.)?
Enigma Research heeft een privacy statement opgesteld. Hierin wordt onder andere benadrukt dat alle persoonlijke gegevens die opgegeven worden door onze panelleden uitsluitend voor onderzoek worden gebruikt en nooit zonder toestemming zullen worden doorgespeeld aan derden. Bij Enigma Research komt alle onderzoeksdata terecht in een streng beveiligde database. Voor een optimale beveiliging is de server die deze database draait volledig in eigen beheer. Enigma Research voldoet ruimschoots aan alle regionale, internationale en locale regels met betrekking tot privacy, data beveiliging en kinderen. Enigma Research is geconformeerd aan de ESOMAR internationale code.
- Welke data beveiligingsmethodes worden gebruikt?
Bij Enigma Research is uw data in goede handen. Bij Enigma Research komt alle data terecht in een streng beveiligde database. Voor een optimale beveiliging is de server die deze database draait volledig in eigen beheer. Dit zorgt ervoor dat alleen medewerkers van Enigma Research toegang hebben tot uw data. Online is alle data in de database afgeschermd op gebruikersniveau. Indien u niet als de gebruiker inlogt waarvoor de data is opgeslagen, is het onmogelijk om de data uit onze database te lezen. Uiteraard geld deze beveiliging zowel voor onderzoeksdata als voor de persoonlijke gegevens die een panellid aan ons toevertrouwd. Vanzelfsprekend heeft Enigma Research op fysiek een andere locatie een tweede server draaien die dagelijks synchroniseert met onze hoofdserver.
- Wordt er binnen uw bedrijf gebruik gemaakt van een kwaliteitsprogramma? Indien dit het geval is, kunt u deze omschrijven?
Enigma Research voert haar onderzoeken uit volgens een vast patroon welke staat beschreven in een intern onderzoekshandboek. Naast gebruik van het onderzoekshandboek werkt Enigma Research met een vaste mappenstructuur en met onderzoeksbeschrijvingen (dit is een sheet waarin alle informatie/afspraken over het onderzoek staat). Het voordeel van een onderzoeksbeschrijving is dat bij ziekte een collega het project makkelijk kan overnemen. Tot slot worden rapportages en geprogrammeerde vragenlijsten altijd door een tweede collega (die verder niet bij het onderzoek betrokken is geweest en dus met een frisse blik kijkt) gecontroleerd.
- Neemt uw bedrijf ook onderzoek af onder kinderen en jongeren? Indien dit het geval is, kunt u omschrijven op welke wijze u hier toestemming voor vraagt?
Bij Enigma Research is het mogelijk om onderzoek onder kinderen en jongeren onder de 16 uit te voeren. Om deze groep te benaderen worden panelleden met thuiswonende kinderen onder de 16 jaar uitgenodigd met het verzoek of hun kind aan het desbetreffende onderzoek wil deelnemen. Uiteraard worden kinderen en jongeren onder de 16 alleen benaderd indien de ouder of voogd hier vooraf toestemming voor heeft gegeven
- Stelt u uw steekproeven wel eens samen met behulp van panels afkomstig van andere partijen? Indien dit het geval is; hoe kiest u deze partners en wat is uw beleid met betrekking tot het inlichten van de opdrachtgever? Indien gewerkt wordt met meerdere panels; worden de panelleden ontdubbeld?
Enigma Research maakt in principe geen gebruik van andere panel aanbieders voor haar onderzoeken. Indien dit wel het geval is zal dit vooraf aan de opdrachtgever kenbaar worden gemaakt.
- Is er een beleid met betrekking tot panelleden die deelnemen aan meerdere panels? Wat voor maatregelingen worden er getroffen om ervoor te zorgen dat de antwoorden die deze panelleden geven niet afwijken van de werkelijkheid?
Enigma Research heeft geen beleid met betrekking tot het verwijderen van panelleden welke participeren in meerdere panels. Uiteraard wordt ieder panellid na het invullen van een onderzoek wel gecontroleerd op zorgvuldigheid en eerlijkheid van invullen. Het naar waarheid invullen van onderzoeken wordt steekproefsgewijs getoetst door middel van een vraag in het onderzoek, waarvan van te voren bekend is wat voor antwoord het panellid dient te geven indien deze het onderzoek eerlijk invult. Wanneer een panellid een onderzoek niet zorgvuldig of naar waarheid heeft ingevuld, zullen zijn antwoorden worden verwijderd uit de onderzoeksdata; het desbetreffende panellid krijgt vervolgens per e-mail een waarschuwing. Na drie waarschuwingen wordt het panellid verwijderd uit de database.
- Wat is het gemiddelde responspercentage van het panel? Hoe wordt deze berekend?
Bij Enigma Research wordt bij een veldwerkperiode van minimaal één week gemiddeld een responspercentage van 65% gehaald. Dit percentage wordt berekend door het totaal aantal panelleden welke beginnen met het invullen van de vragenlijst te delen door het totaal aantal uitgenodigde panelleden. Bij het trekken van de steekproef wordt rekening gehouden met dit responspercentage. Bij een gewenste netto N van 500 personen zullen 769 panelleden een uitnodiging voor het onderzoek ontvangen. Het aantal panelleden die de vragenlijst niet volledig afrond ligt bij Enigma Research normaal gesproken beneden de 5%. Dit komt mede doordat de beloning voor de panelleden evenredig toeneemt, naarmate er meer tijd van hen gevraagd wordt. Het percentage panelleden dat de vragenlijst niet volledig afrond kan oplopen bij onderzoeken die langer dan 10 minuten duren om volledig in te vullen.
- Is er individuele informatie over panelleden beschikbaar met betrekking tot participatie geschiedenis, datum van inschrijving, bron van werving etc. ? Bent u in staat om deze informatie aan te leveren aan uw opdrachtgever?
Enigma Research heeft de beschikking over de participatie geschiedenis, datum van inschrijving, de wervingsbron etc. van ieder panellid. Deze data is echter alleen op aanvraag beschikbaar en zal altijd losgekoppeld worden van de persoonlijke gegevens van een panellid. De privacy van onze panelleden staat bij het verstrekken van deze data voorop.
- Wordt de onderzoeksdata gecontroleerd op kwaliteit en validiteit? Welke technieken worden gebruikt om respondenten die de onderzoeken niet naar waarheid invullen te detecteren? Op welk moment in het onderzoeksproces worden deze technieken toegepast?
Ieder panellid wordt bij het analyseren van de onderzoeksdata gecontroleerd op zorgvuldigheid en eerlijkheid van invullen. Zorgvuldigheid wordt onder andere gecontroleerd door de open antwoorden van respondenten te bekijken. Verder wordt er getoetst of panelleden zich niet schuldig maken aan bepaalde vaste patronen bij het invullen van de vragenlijst (bijvoorbeeld door op iedere stelling het antwoord “neutraal” te geven). Het naar waarheid invullen van onderzoeken wordt steekproefsgewijs getoetst door middel van een vraag in het onderzoek, waarvan van te voren bekend is wat voor antwoord het panellid dient te geven indien deze het onderzoek eerlijk invult. Wanneer een panellid een onderzoek niet zorgvuldig of naar waarheid heeft ingevuld, zullen zijn antwoorden worden verwijderd uit de onderzoeksdata; het desbetreffende panellid krijgt vervolgens per e-mail een waarschuwing. Na drie waarschuwingen wordt het panellid verwijderd uit de database.
- Wordt de tevredenheid van panelleden regelmatig gemeten?
Onze panelleden zijn de olie van ons bedrijf, daarom voert Enigma Research regelmatig een tevredenheidonderzoek onder al haar panelleden uit. De resultaten worden vervolgens middels een nieuwsbrief teruggekoppeld. Naast het doen van tevredenheidonderzoeken kunnen panelleden via het contactformulier op de website eveneens suggesties of tips aan ons kwijt. Op deze wijze onderhoudt Enigma Research een nauwe band met de deelnemers van haar panel.
- Wat voor informatie krijgt uw opdrachtgever, naast de resultaten, aangeleverd als het onderzoek is afgerond?
Enigma Research kan haar klanten een overzicht geven met daarin de bruto steekproef (verdeeld naar gewenste achtergrondvariabelen), de start en sluit datum van het veldwerk, de uitnodigingsemail, het responspercentage en de eventuele herweging die gebruikt is om de data representatief te maken.