Online-epätodennäköisyystutkimusten arviointi

Kirjailija: Courtney Kennedy, Andrew Mercer, Scott Keeter, Nick Hatley, Kyley McGeeney ja Alejandra Gimenez

Koska perinteisten, todennäköisyysperusteisten tutkimusten kustannukset ja vastaamattomuudet näyttävät kasvavan vuosittain, verkkokyselyjen edut ovat ilmeiset - ne ovat nopeita ja halpoja, ja tekniikka on laajaa. On kuitenkin yksi perusongelma: Internetille ei ole kattavaa otantakehystä, ei ole tapaa tehdä kansallista otosta, johon käytännössä jokaisella on mahdollisuus tulla valituksi.

Tällaisen kehyksen puuttuminen on johtanut viipyvään huoleen siitä, voidaanko ei-todentamismenetelmien piiriin kuuluvasta väestönosasta näyttää edustavan koko väestöä. Noin 15 vuoden ajan riippumattomat tutkimukset viittasivat siihen, että vastaus kysymykseen oli yleensä 'ei', jos tavoitteena oli tehdä tarkkoja väestöarvioita.1Ajan myötä tutkijat ja näytetoimittajat ovat kuitenkin kehittäneet tekniikoita ja tilastotekniikoita, joiden tarkoituksena on parantaa online-epätoivotutkimusten edustavuutta. Useat tuoreet tapaustutkimukset viittaavat tulevaisuuteen (jotkut väittävät nykyisyyden), jossa tutkijoilla ei tarvitse olla kallista, todennäköisyyksiin perustuvaa otosta tarkkojen väestöarvioiden tekemiseksi.2

Tutkimuksen keskeiset elementit

Design:
9 online-todentamattomuusnäytettä
Vertailu RDD-rekrytoituun paneeliin
56 toimenpidettä, joista 20 on vertailuarvoja

Analyysi:
Arvioitu ennakkoarvio koko näytteen tuloksista
Arvioitu ennakkoluulo alaryhmän tuloksiin
Regressiomallien arvioitu tarkkuus
Kohderyhmäprofiili näytteittäin
Poliittinen profiili otokseen
Arviot vaihtelevat näytteiden välillä

Pew Research Center suoritti tutkimuksen, jossa kahdeksan eri toimittajan toimittamalle yhdeksälle näytteelle annettiin samanlainen 56 kohdan kyselylomake ymmärtääksemme paremmin kaupallisesti saatavilla olevien online-todentamattomuusnäytteiden nykyisen tilanteen.

Lähes kaikki kysymykset (52) esitettiin myös keskuksen todennäköisyyksiin perustuvalla American Trends Panel (ATP) -paneelilla, joka suoritetaan pääasiassa verkossa, mutta sisältää postivasteen aikuisille, joilla ei ole internetyhteyttä. Otokset arvioitiin käyttämällä erilaisia ​​mittareita, mukaan lukien arvioitu puolueellisuus 20 täydellisessä otantatutkimusarviossa, joille on saatavissa korkealaatuisia julkishallinnon vertailuarvoja, arvioitu puolueellisuus suurten väestöryhmien alaryhmäestimaateille ja neljän eri regressiomallin ennakoiva tarkkuus. Tämän tutkimuksen tärkeimpiä havaintoja ovat seuraavat:



  • Online-todentamiskyselyt eivät ole monoliittisia.Tutkimuksessa todetaan lähtökohtana, että online-todentamattomuusnäytteiden luomiseen käytetyt menetelmät ovat hyvin vaihtelevia. Myyjät eroavat huomattavasti siitä, miten he rekrytoivat osallistujia, valitsevat näytteitä ja kenttätutkimuksia. Ne eroavat myös siitä, painottavatko ne ja miten tiedot. Nämä suunnitteluerot näyttävät ilmenevän näytteiden paremmuusjärjestyksessä eri tietojen laadun mittareissa. Yleensä näytteet, joissa oli monimutkaisemmat näytteenotto- ja painotusmenetelmät ja pidemmät kenttäjaksot, tuottivat tarkempia tuloksia. Tietomme ovat kuitenkin peräisin vain yhdeksästä näytteestä, joten näiden tekijöiden vaikutukset eivät ole hyvin eristettyjä, joten nämä päätelmät ovat parhaimmillaan alustavia.
Huomattavat erot tietojen laadussa online-näytteissä
  • Jotkut puolueet ovat johdonmukaisia ​​kaikissa online-näytteissä, toiset eivät.Kaikissa arvioiduissa otoksissa on enemmän poliittisesti ja yhteiskunnallisesti sitoutuneita yksilöitä kuin vertailulähteiden mukaan niiden pitäisi olla läsnä. Vapaaehtoistyön ja yhteisöongelmien ratkaisemisen puolueet olivat hyvin suuria, kun taas poliittiseen toimintaan osallistuneet olivat vaatimattomampia. Huolimatta näiden tuotteiden mittausvirheistä on hyväksytty, että nämä virheet ovat todellisia, koska useat tutkimukset ovat dokumentoineet yhteyden kyselyyn tehdyn yhteistyön ja halun osallistua vapaaehtoistoimintaan.3

On myös todisteita siitä, että epätodennäköisimmät online-näytteet kallistuvat enemmän tiettyihin elämäntapoihin. Suurimmassa osassa otoksia on suhteettoman suuri määrä aikuisia, joilla ei ole lapsia, jotka asuvat yksin, keräävät työttömyyskorvauksia ja ovat pienituloisia. Joissakin suhteissa tämä neliö on stereotyypin kanssa, jonka voisi kuvitella ihmisille, jotka löytävät aikaa osallistua verkkokyselypaneeleihin, mikä ehkä muistuttaa osa-aikatyötä. Muilla ulottuvuuksilla online-esteetön estimaatti on kuitenkin joko melko tarkka (esim. Sinulla on ajokortti tai ajankohta nykyisessä asuinpaikassa) tai puolueet eivät ole johdonmukaisessa suunnassa näytteissä (esim. Päivittäinen tupakointi).

  • Mustiin ja latinalaisamerikkalaisiin perustuvista arvioista löydettiin yleisiä virheitä. Online-todentamiskyselyjen toimittajat haluavat tarjota näytteitä, jotka edustavat Yhdysvaltojen väestön monimuotoisuutta, mutta yksi tärkeä kysymys on, ovatko rodullisiin ja etnisiin vähemmistöryhmiin kuuluvat paneelit edustavat näitä ryhmiä laajemmin. Tämä tutkimus viittaa siihen, etteivät ne ole. Yhdeksän todentamattomuusnäytteen keskimääräinen arvioitu puolueellisuus vertailukohteisiin oli yli 10 prosenttiyksikköä sekä latinalaisamerikkalaisille (15,1) että mustille (11,3). Lisäksi online-näytteet tuottivat harvoin tarkkoja arvioita latinalaisamerikkalaisen tai mustan olemisen marginaalivaikutuksista aineellisiin tuloksiin, kun hallitaan muita väestötietoja. Nämä tulokset viittaavat siihen, että tutkijoita, jotka käyttävät online-todentamattomuusnäytteitä, on vaarassa tehdä virheellisiä johtopäätöksiä rodusta ja etnisestä alkuperästä.
  • Edustava väestöprofiili ei ennusta tarkkuutta. Suurimmaksi osaksi otoksen painottamaton demografinen profiili ei ollut vahva ennuste painotettujen kyselyennusteiden tarkkuudelle. Esimerkiksi kaksi pienintä yleistä tarkkuutta sisältävää otosta sijoittuivat erittäin korkealle sen suhteen, kuinka hyvin niiden painottamaton väestötiede oli linjassa populaation vertailuarvojen kanssa.4Tämä merkitsee sitä, että tärkeätä on, että kunkin väestöryhmän vastaajat heijastavat kohderyhmän vastaavia. Ei ole paljon hyötyä saada latinalaisamerikkalaisten marginaalijakauma oikein, jos tutkitut latinalaisamerikkalaiset eroavat järjestelmällisesti latinalaisamerikkalaisista suuremmassa väestössä.
  • Yksi online-näytteistä toimi jatkuvasti parhaiten.Näyte I oli jatkuvasti parempia kuin muut, mukaan lukien todennäköisyysperusteinen ATP, sijoittuen ensin melkein kaikkiin tarkasteltuihin ulottuvuuksiin.5Tämä parhaiten menestynyt näyte oli merkittävä siinä mielessä, että siinä käytettiin suhteellisen monimutkaista säätöjoukkoa sekä otoksen valinnan että painotuksen vaiheissa. Mukautukset sisälsivät useiden muuttujien, joita tutkijat tutkivat usein tutkimustuloksina, kuten poliittisen ideologian, poliittisen mielenkiinnon ja Internetin käytön. Vaikuttaa siltä, ​​että suuri osa näytteen I menestyksestä johtuu siitä, että se on suunniteltu (ennen kenttäkenttää ja / tai sen aikana) vastaamaan väestön vertailuarvoja tällä laajemmalla ulottuvuusjoukolla. Valitettavasti emme voi testata tätä väitettä tarkasti käsillä olevilla tiedoilla, koska meillä on vain yksi kysely tältä toimittajalta ja asiaankuuluvia suunnitteluominaisuuksia ei ole kokeellisesti manipuloitu kyseisessä kyselyssä. Vaikka se, että otos I oli ehdollinen muuttujille, joita pidetään usein tutkimustuloksina, herättää tärkeitä kysymyksiä, näyttää siltä, ​​että otoksen I toimittaja on kehittänyt tehokkaan metodologian. Tämän tutkimuksen tulokset viittaavat siihen, että ne tuottavat edustavamman ja tarkemman kansallisen tutkimuksen kuin kilpailu online-todentamattomuuden tilassa.
  • ATP-näytteisiin verrattuna ATP: n tulokset sekoitetaan. Pew Research Centerin todennäköisyyspohjainen paneeli, ATP, ei erotu tässä tutkimuksessa yhtä tarkasti kuin epätodennäköisyysnäytteet, koska sen yleistä vahvaa esitystä useimmissa vertailukohteissa heikentävät kansalaisyhteiskuntaan liittyvien arvioiden puutteet. Sillä oli pienin keskimääräinen arvioitu puolueellisuus toimenpiteissä, jotka eivät liity kansalaistoimintaan (4,1 prosenttiyksikköä), mutta se oli olennaisesti sidottu kolmeen muuhun otokseen, koska niillä oli suurin puolueellisuus tämäntyyppisissä kysymyksissä (13,4 pistettä). Todennäköinen selitys tälle mallille on se, että ATP on kallistunut enemmän kansalaistaitoa harjoittavien aikuisten kohdalle, koska hänet värvätään 20 minuutin puhelinkyselystä politiikasta. Vaikka kansalaistoiminnan puolueellisuus koskee, lisäanalyysi osoittaa, että se ei aiheuta suuria virheitä muiden alueiden arvioissa. Kun painotamme ATP: tä vastaamaan nykyistä väestötutkimusta (CPS) tämän puolueellisuuden poistamiseksi, sillä on vain vähän vaikutusta muihin kyselyarvioihin, mukaan lukien äänestysarvioita, puolueiden tunnistamista, ideologiaa ja uutiskulutusta.6Tässä tutkimuksessa ATP: n ei ole tarkoitettu edustavan kaikkia todennäköisyysnäytteitä merkityksellisellä tavalla, vaan se tarjoaa pikemminkin yhden vertailukohdan. On avoin kysymys siitä, miten kertaluonteinen puhelin satunnaisvalinta (RDD) -tutkimus tai jokin muu todennäköisyysperusteinen kysely kerääntyy tähän analyysiin.
  • Kaikki online-näytteet kertovat laajalti samanlaisen tarinan amerikkalaisten poliittisista asenteista ja vapaa-ajan harrastuksista. Kaikki näytteet osoittavat, että useampia yhdysvaltalaisia ​​aikuisia pitää itseään demokraateina kuin republikaaneina, vaikka ryhmänä he kaikki kallistuvat enemmän demokraattisiksi kuin kaksikehyksisiksi RDD-tutkimuksiksi. Lisäksi kaikki otokset osoittavat, että demokraatit ja republikaanit ovat polarisoituneet suhtautuessaan hallituksen asianmukaiseen soveltamisalaan. On varmaa, että tietyissä pistearvioissa on joitain merkittäviä eroja - esimerkiksi republikaanien osuus, jonka mukaan hallitus tekee liian monia asioita, jotka on jätetty paremmin yrityksille ja yksityishenkilöille, on joko 64 tai 82 prosenttia, riippuen siitä, uskotaanko näyte F vai näyte I. Amerikkalaisten poliittisten piirteiden laaja ääriviiva on kuitenkin väitetysti samanlainen kaikissa näytteissä. Samalla tavalla 11 henkilökohtaisen kiinnostuksen kohteen paristot - puutarhanhoidosta hip-hop-musiikkiin - osoittavat, että huippuluokan tuotteet ovat yleensä samat yhdestä online-näytteestä toiseen.

Tämä raportti keskittyy online-todentamiskyselymarkkinoihin sellaisina kuin ne ovat tällä hetkellä olemassa. Mutta suuri osa tämänhetkisestä akateemisesta ja soveltavasta tutkimuksesta keskittyy siihen, kuinka tällaisia ​​näytteitä voidaan parantaa mallinnuksen avulla. Suhteellisen yksinkertaisten 'haravointi' -säätöjen lisäksi tässä tutkimuksessa ei tutkittu monimutkaisempien menetelmien mahdollisia hyötyjä ennakkoluulojen korjaamiseksi.

Tämän korjaamiseksi suunnitellaan lisää tutkimuksia verkossa tapahtuvasta näytteenotosta. Tutkitaan useita sopeutumismenetelmiä sen määrittämiseksi, kuinka hyvin estimaattien tarkkuutta ja vertailukelpoisuutta voidaan parantaa epätodennäköisyysnäytteissä. Käynnissä olevassa tutkimuksessa testataan erilaisia ​​ja monimutkaisempia painotustapoja (joista joitain ovat käyttäneet tutkijat muissa organisaatioissa) ja arvioidaan niiden tehokkuutta ennakkoluulojen vähentämisessä.

Toisessa tutkimuksessa tutkitaan toistuvien mittausten luotettavuutta ajan mittaan käyttämällä online-todentamattomuusnäytteitä. Kyky seurata muutosta ajan myötä on ollut yksi todennäköisyystutkimusten keskeisistä vahvuuksista.7

Mitä 'todennäköisyys' -näyte tarkoittaa (eikä tarkoita) tietojen laadulle

Tässä raportissa erotellaan näytteet, jotka on rekrytoitu mallista, jossa melkein kaikilla väestönosilla on tiedossa oleva, nollasta poikkeava mahdollisuus valita (todennäköisyysperusteinen), verrattuna mainoksiin, pop-up-pyyntöihin ja muihin lähestymistapoihin rekrytoituihin näytteisiin. joiden mahdollisuudet tietyn väestön jäsenen valitsemiseen ovat tuntemattomia (ei-todennäköisyys). Vuosikymmenien ajan tutkimustutkijat ovat suosineet todennäköisyysnäytteitä epätodennäköisyysnäytteiden sijasta, koska todennäköisyysnäytteillä on teoriassa erittäin toivottavia ominaisuuksia, kuten likimääräinen puolueettomuus ja määrällisesti ilmaistavat virhemarginaalit, jotka tarjoavat kätevän tarkkuuden. Tutkijoille, jotka tutkivat asenteiden ja käyttäytymisen trendejä ajan myötä, todennäköisyyspohjaisten näytteenottoprosessien pelkkä vakaus on lisäksi tärkeä ominaisuus.

Vaikka todennäköisyys- ja epätodennäköisyysnäytteiden väliset erot voivat olla käsitteellisesti selkeät, käytännön todellisuus on monimutkaisempi. Komplikaation juuri on vastaus. Jos esimerkiksi 90% todennäköisyystutkimukseen valituista ihmisistä kieltäytyy vastaamasta, valinnan todennäköisyydet ovat edelleen tiedossa, mutta yksittäiset vastaustodennäköisyydet eivät. Useimmissa yleisissä väestötutkimuksissa on äärimmäisen vaikeaa arvioida vasteen todennäköisyyksiä erittäin tarkasti. Kun tutkijat eivät tiedä vastauksen todennäköisyyksiä, heidän on luotettava painotukseen yrittääkseen korjata kaikki asiaankuuluvat tapat, joilla otos ei voi edustaa populaatiota.

Tutkijat huomauttavat yhä enemmän, että kun todennäköisyysperusteiseen kyselyyn kuuluu korkea vastausprosentti, korjaustoimenpiteiden työkalut ja arvioiden taustalla olevat oletukset ovat samanlaiset, elleivät identtiset ei-todennäköisyysnäytteiden kanssa. Ei-todistettavuustutkimukset ja todennäköisyystutkimukset, joilla on korkea vastausprosentti, riippuvat molemmat suuresti mallinnuksesta - olipa kyseessä haravoinnin säätö, sovitusmenettely tai taipumismalli - saadakseen tutkijat toivovat tarkkoja ja luotettavia arvioita.