Her er du: Forsiden » Vores Ekspertise » Kilder til viden » Kvantitativ analyse » Panel & Online » GallupForum » Online panel kvalitet

Online panel kvalitet

ESOMARs 26 spørgsmål

Brancheforeningen ESOMAR har formuleret 26 spørgsmål, som de anbefaler kunderne at stille analyseinstitutterne om deres internetpanel.
TNS Gallup har oversat spørgsmålene til dansk, og har vi besvaret spørgsmålene i forhold til vores eget internetpanel, GallupForum.

Virksomhedens profil 

1.     Hvad er virksomhedens erfaringer med at levere online sample til analysebrug?

TNS Gallup har arbejdet med onlinebaserede undersøgelser siden 2003 og har siden starten beskæftiget sig med en lang række indsamlingsmetoder, herunder Gallups eget acces panel, GallupForum, dedikerede online-kundepaneler, online BtB-undersøgelser m.m.  

Sample kilder 

2.     Beskriv virksomhedens online sampletyper (er det databaser, aktivt vedligeholdte paneler, direct marketing-baser, sample indsamlet blandt internet-brugere, river sampling eller anden type)?

TNS Gallup opererer med flere forskellige sampletyper; primært benyttes vores eget online-panel, GallupForum, der hovedsagligt består af aktivt CATI-backend rekrutterede deltagere. Herudover rekrutteres for enkelte målgrupper via forskellige online-kanaler (internetbanner, email kampagner o. lign). Alle deltagere er markeret med en kanalvariabel, så de til enhver tid kan til- og fravælges, afhængig af projekttype og kundeønsker. GallupForum er et aktivt vedligeholdt panel, med fastdefinerede retningslinjer for brug og slitage, og er dermed underlagt en række kvalitetsstandarder der skal sikre, at panelet udelukkende består af aktive og opdaterede deltagere.  

3.     Hvad er den primære fordel ved at benytte virksomhedens sampletype sammenlignet med andre sampletyper?

TNS Gallup er som markedets ledende analysevirksomhed forpligtet til at have Danmarks bedste paneladministration, hvilket sikres gennem en lang række kvalitetssikrende foranstaltninger:

  • TNS Gallup har som ISO certificeret virksomhed indarbejdet en lang række kvalitetsstandarder, der gennem effektiv og målrettet projektstyring, samt kvalificeret og nænsom respondenthåndtering sikrer den højst mulige datakvalitet på markedet.
  • Over 90% af GallupForum er rekrutteret som CATI backend, hvilket betyder at vi har fuld kontrol over panelsammensætningen – såvel demografisk som socio-grafisk (se pkt. 2), set i forhold til lignende selv-rekrutterede paneler.
  • Afdæmpet incitamentsstruktur, der minimerer bias i forhold til deltage-bevæggrund (færre ”professionals” og ”incentivised”).
  • GallupForum er, som lokalt rekrutteret og drevet online panel, fleksibelt i sammensætning og performance, og kan derfor efterkomme alle tænkelige ønsker indenfor målgruppesammensætninger og projektmetoder.
  • En ekstensiv baggrunds-database på hele panelet bevirker, at vi kan målrette vores kommunikation til de rette panelister med størst mulig effektivitet og mindst mulig slitage.
  • Internt regulerede spørgeskemastandarder sikrer mulighed for gennemførelse af analyser på tværs af platforme for en bredere palet af analyse set-up’s.En dedikeret paneladministration, der kan trække på flere års erfaring med håndtering af online access paneler, sikrer den bedst mulige håndtering af stikprøve-udtræk, spørgeskema-test, respondent-kommunikation og styring af feltarbejde.
  • Sikring af optimal datakvalitet gennem standardiseret spørgeskema-test, datavalidering, kontrolspørgsmål, check af interviewtider m.v.Avancerede sampling og veje-standarder.
  • Stor erfaring med adaption af TNS Gallups Business Solutions i online format, og på tværs af platforme.
  • En bred vifte af rapporteringsmuligheder, såvel i form af in-house specialudviklede løsninger over online kundeportaler til traditionel offline rapportering.   

4.     Hvis virksomhedens sampletype er enten et panel eller en database, bliver den da brugt til andre formål end markedsanalyse? Hvis ja, uddyb.

Deltagere i GallupForum (og alle andre sampletyper) vil udelukkende blive brugt i analysesammenhænge og kun ved forudgående accept fra svarpersonen. Al videregivelse af personhenførbare baggrundsdata fra TNS Gallup til 3. person vil ske i anonymiseret form. 

5.     Hvordan indsamler virksomheden sample indenfor målgrupper, der ellers kan være svære at finde via internettet?

Deltagere udvælges som udgangspunkt blandt et repræsentativt udsnit af befolkningen i forbindelse med CATI-backend rekrutteringen. Enkelte målgrupper kan dog være svære at nå via denne kanal, og der benyttes derfor online-rekruttering på udvalgte sites med specifikke målgruppeprofiler for at udjævne disse skævheder. 

6.     Hvilke oplysninger gives til deltagerne ved rekruttering?

Alle deltagere bliver i rekrutteringssituationen og under den efterfølgende tilmelding gjort bekendt med retningslinjer for deltagelse, forventet brugsrate, incentiveringsstruktur og fortrolighedspolitik.

Panel rekruttering

7.     Hvis samplen kommer fra et panel, hvad er da panelets årlige tilvæksts- og reduktionsrate og hvordan bliver den beregnet?

Vækstsraten for GallupForum er for 2010 normeret til ca. 10%. Heri er indberegnet en estimeret månedlig reduktionsrate på ca. 2%, som dels består af selvudmeldelser, dels af en månedlig purging blandt inaktive deltagere.  

8.     Beskriv tilmeldingsproceduren for panelet.

CATI-backend: Der rekrutteres til GallupForum på alle repræsentativt samplede CATI-undersøgelser, hvor der ikke i forvejen rekrutteres til andre formål, eller hvor samplen er leveret eksternt. Alle rekrutterede panelister tilsendes en personlig mail med link til GallupForum establishmentskema. Når dette er besvaret indlemmes de i sample-basen. 

Online-rekrutterede: Ved aktivering af et web- eller emailbanner redirectes deltageren til Gallup Onlines indledende establishment. Når dette er udfyldt tilsendes en opt-in mail, hvorefter deltagelsen bekræftes. Panelisten føres herefter over i et opfølgende establishmentskema. Når dette er besvaret indlemmes de i sample basen.  

9.     Benytter virksomheden nogen form for identitetsbekræftelses? Hvilke værktøjer/procedurer benyttes for at opfange ”falske” respondenter i rekrutteringsprocessen?

Ved online-rekruttering benyttes såvel secure image-sikring mod automatiseret udfyldelse samt double opt-in bekræftelse for at sikre, at det reelt er den rette person, der tilmelder sig panelet.  Herudover kan samme emailadresse kun registreres én gang i systemet. Desuden renses løbende for evt. dubletter i panelet identificeret på en række personhenførbare baggrundsvariable.

10.   Hvilke baggrundsoplysninger indsamler virksomheden på paneldeltagerne og for hvor manges vedkommende? Hvis ja, hvor ofte bliver baggrundsoplysningerne opdateret?

For alle panelister indsamles kontaktdata (mailadresse og, ved accept, telefonnummer), basale baggrundsdata som køn, alder, geografi, civilstatus, uddannelse, boligform o. lign. Herudover sektorspecifikke data omhandlende brug af internet og mobiltelefoni, økonomi- og forsikring, mediebrug, indkøbsvaner, rejsevaner samt segmenteringsværktøjet Gallup Kompas.

Disse oplysninger opdateres min. årligt.

11.   Hvad er panelets størrelse og kapacitet? Fra hvilke kilder er panelets aktive panelister indsamlet?

GallupForums størrelse er pr. 1. februar  2010 ca. 40.000 panelister. Panelister er rekrutteret jvfr. pkt. 2.   

Panel og sample administration 

12.   Beskriv virksomheden samplingprocesser og elimineringsprocedurer, hvis sådanne benyttes. Samples fleksibelt og målrettet, f.eks. i form af målgruppeudvælgelse, portionsopdelte sampler o. lign. Hvis ja, hvordan kontrolleres disse processer?

Der opereres på 90% af GallupForums undersøgelser med målrettet sampling. Dette sikrer mindst muligt slid på og unødig henvendelse til panelisterne.Herudover benyttes en række elimineringsregler, der overordnet sikrer en maksimal invitationsrate på 2-3 undersøgelser pr. måned. Der elimineres desuden mellem projekter, der er identiske i emne og natur.  

13.   Beskriv hvordan panelister inviteres til at deltage i en undersøgelse. Hvilken information indeholder en typisk invitationstekst?

Ved invitation til en GallupForum undersøgelse tilsendes panelisten en mail med et personificeret link til den pågældende undersøgelse.Ved aktivering af linket redirectes man herefter til en introside, der informerer om undersøgelsens emne, omfang, incentiveringsstruktur samt deadline.Det er her muligt at til- eller fravælge deltagelse i den givne undersøgelse. Hver invitationsmail indeholder desuden kontaktoplysninger på GallupForums hotline, link til fortrolighedspolitik, samt login-data til GallupForums deltagerportal.  

14.   Beskriv virksomhedens incitamentsstruktur. Er strukturen statisk eller varieret alt efter skemalængde og -kompleksitet, målgruppekarakteristikker o. lign?

Ved gennemførelse af en GallupForum undersøgelse deltager panelisten efterfølgende i lodtrækningen om en række gavekort til brug på gavekortsportalen Gavekortet.dk Antal og beløb på gavekort beregnes ud fra antal interview og længden af undersøgelsen samt eventuelle screeningskriterier.  

15.   Hvad er den gennemsnitlige invitationsfrekvens for en panelist? I hvilken grad registreres deltagelseshistorik og sikres panelister mod slitage og overdrevent brug gennem politikker og procedurer?

Den gennemsnitlige invitationsfrekvens for en panelist på GallupForum er 2,3/mnd (2009).Slitage og brugsfrekvens registreres på månedlige basis og disse nøgletal danner baggrund for den overordnede purge- og elimineringsstrategi, samt panelets rekrutteringsstrategi.  

Politikker og retningslinjer 

16.   Har virksomheden en dokumenteret politik og brug af fortrolige oplysninger? Hvis ja, hvordan er den udformet? Er brugen af panelet i overensstemmelse med den regionale/nationale lovgivning på området? Efterkommes andre branchestandarder, herunder Datatilsynet, ISO og ICC/ESOMAR?

Baggrundsdata indsamlet gennem rekruttering og opdatering vil udelukkende blive brugt til analysemæssige formål og håndteret i henhold til Datatilsynets retningslinjer samt bestemmelser fra ISO 20252, ESOMAR og EFAMRO. Al videregivelse af personhenførbar baggrundsdata fra TNS Gallup til 3. person vil ske i anonymiseret form.  

17.   Hvilke former for databeskyttelse/sikkerhedssystemer benyttes i virksomheden

Alle panelistdata er lagret i vores panelhåndteringssoftware MapSys samt dataindsamlingsværktøjet Confirmit. Adgangsrettigheder til disse systemer revideres hvert kvartal og rettigheder justeres for hver enkel adgang i forhold til brugerens rolle i virksomheden. For panelistens vedkommende kan der kun opnås adgang til et givent projekt via det tilsendte unikke undersøgelseslink.  

18.   Anvender virksomheden et kvalitetsstyringssystem? Hvis ja, beskriv.

Som en del af TNS Gallups ISO-certificering forelægger klart formulerede fremgangsmåder for håndtering af online-projekter, der alle sikrer, at de indsamlede data bliver af højst mulige kvalitet.  

19.   Gennemføres online analyser med børn og unge? Hvis ja, beskriv godkendelsesprocessen for deres deltagelse.

I nogle tilfælde ønskes dataindsamling blandt personer, der aldersmæssigt ikke er repræsenteret i GallupForum. I disse tilfælde udpeges og inviteres disse personer gennem aktive panelister med tydelig kommunikation om baggrund for og omfang af henvendelsen. Forældre/værge skal ved sådanne henvendelser afgive elektronisk samtykke til barnets deltagelse i undersøgelsen.  

Partnerskab og andre paneler 

20.   Benyttes sample fra andre udbydere som supplement til virksomhedens egne samplekilder? Hvis ja, hvordan udvælges disse udbydere? Underrettes en kunde forud for gennemførsel af felt, hvis der benyttes en 3. partsudbyder? Fjernes dubletter mellem de enkelte samples, hvis der benyttes flere udbydere?

Ved undersøgelser gennemført via GallupForum eller andre af TNS Gallups kundepaneler, benyttes ikke supplerende sample eller 3. partsudbydere. Ekstern sample benyttes udelukkende ved B2B analyser, hvor målgruppen kan identificeres gennem kundebaser eller lignende. 

21.   Har virksomheden en holdning til samtidigt medlemskab af flere forskellige paneler? Hvilke indsatser gøres for at sikre sig imod partiske svar og heraf følgende fejlagtige data i forbindelse med samtidigt medlemskab af flere forskellige paneler

Som en del af GallupForums establishmentskema registreres panelistens forhold og bevæggrund til deltagelse i panelet, samt antallet af øvrige paneler, man måtte deltage i. Disse oplysninger kombineres med de månedlige brugsnøgletal og danner dermed grundlag for purging.  

Datakvalitet og validering 

22.   Hvad er den gennemsnitlige deltagelses-, drop-out- og opnåelsesrate på samples, og hvordan beregnes disse rater?

Den gennemsnitlige completionrate på GallupForum var overordnet i 2009 40,0%. Completion raten beregnes med formlen completes+screen outs/# invites.  

23.   Indsamles og gemmes information om panelisternes deltagelseshistorik, medlemstid o. lign. på systematisk vis? Hvis ja, er det muligt at berige undersøgelsesdata med disse baggrundsdata?

Brugs- og deltagelseshistorik registreres månedligt og kan til enhver tid indgå som supplerende baggrundsdata. 

24.   I hvilken grad benyttes datakvalitetskontrol og valideringsprocesser som et aktivt redskab til at identificere panelister, der afgiver uengagerede og/eller bevidst misledende svar?

Der benyttes som standard flere forskellige kontrolelementer i GallupForums survey scripts; registrering af time-skimming, straightlining, omvendte svarlister. Alle oplysninger registreres og kan benyttes på det enkelte projekt og i den generelle purgestrategi. 

25.   I hvilken grad måles panelisternes tilfredshed med deltagelse i virksomhedens undersøgelser?

Efter hver gennemført undersøgelse bliver panelisten spurgt til tilfredshed med forskellige undersøgelseselementer, herunder længden af spørgeskemaet, detaljeringsgrad i svarmuligheder, emne, visuelt udtryk mm. Disse data lagres centralt og kan efterfølgende danne grundlag for sammenligning på både lokalt og international plan. 

26.   Hvilke informationer udover de bestilte data kan virksomheden levere i forbindelse med afrapportering af et projekt?

Undersøgelsesdata kan til enhver tid beriges med alle data indsamlet i den obligatoriske establishmentundersøgelse.
 

Yderligere info...

ESOMAR26.gif 

Læs mere om analysebranchens kvalitetsstandarder og organisationer her:

ESOMAR

EFAMRO

FMD