Analiza: Twitterov eksperiment provjere činjenica s skupnim izvorima otkriva probleme

Poynterova analiza pokazala je da manje od polovice korisnika Birdwatcha uključuje izvore, a mnoge bilješke o provjeri činjenica sadrže stranačku retoriku.

Verzija Twitterovog algoritma Birdwatch od 14. veljače pojačala je neke bilješke s pogrešnim informacijama.

Dana 5. veljače, Twitter je označen objava kontroverznog YouTubera Tima Poola koji je rekao da su američki predsjednički izbori 2020. bili namješteni. Platforma je navela da je tvrdnja osporena i prekinula angažman 'zbog rizika od nasilja'.

Ali, dalje Promatranje ptica , platforma društvenih medija eksperimentirati s crowdsourced provjerom činjenica , korisnici su velikom većinom rekli da tweet nije obmanjujući, prema analizi Twitter podataka od 14. veljače. Većina korisnika Birdwatcha u alatu je navela da su ove bilješke koje podržavaju razotkrivene tvrdnje bile korisne i informativne.

“Prema službenom (sic) izvoru TIME-a postojala je dobro organizirana skupina tajnih sudionika u organizaciji u sjeni koja zvuči kao zavjera koja je radila zajedno kako bi potaknula izbore u korist Joea Bidena”, stoji u jednoj bilješci. Dok korisnik uključuje vezu na članak časopisa Time da doista koristi riječi poput 'kabala' i 'zavjera', kontekst djela - da su moćne skupine radile iza kulisa na zaštiti izbornog integriteta - izgubljen je.

The Algoritam za promatranje ptica , koji ima za cilj prikazati korisne bilješke, toj je 'provjeri činjenica' dodijelio ocjenu korisnosti od 0,68 - najvišu od napomena na tweetu, odmah izvan prvih 10% bilješki koje algoritam smatra 'korisnim' od 14. veljače. Bilješke s korisnim ocjenama čine oko 7% od 2.695 u ovoj analizi, a manje od dvije trećine njih sadrži vezu na izvor koja nije još jedan tweet.

Dana 17. veljače Twitter promijenio svoj algoritam i bilješke na Pool tweetu više se ne ocjenjuju kao korisne, iako jesu i dalje su navedene ispod objave . Prije ove promjene postojao je niži prag koji se smatrao korisnim — samo 0,5 u usporedbi s novom graničnom vrijednošću od 0,84 — i bilješke su trebale samo tri ocjene da bi se mogle smatrati korisnima, poredane po prioritetu i označene plavom bilješkom.

Sada bilješka mora skupiti pet ocjena da bi gurnula taj tweet u nova kartica 'ocijenjena kao korisna' u Birdwatchu . A od tih gotovo 2700 bilješki u bazi podataka platforme, 126 je ispunilo novi prag - to je manje od 5%. Tri četvrtine novih 'korisnih' bilješki sadržavale su izvor izvan Twittera.

To je pravovremena ilustracija jednog od problema s kojima se suočava model Birdwatcha: može li algoritam kojeg hrani naizgled nasumična skupina ljudi ikada točno 'ocijeniti' istinu?

Birdwatch, u svojoj pilot fazi s nešto više od 1000 korisnika, omogućuje sudionicima da tweetove označe kao obmanjujuće i dodaju bilješku koja citira izvor i/ili objašnjava kontekst zašto bi to moglo biti varljivo. Zatim, korisnici Birdwatcha mogu rangirati ove bilješke na temelju korisnosti (nakon toga preuzima algoritam).

Na kraju će svi korisnici Twittera navodno moći vidjeti ove bilješke odmah ispod tweetova, ali za sada su ograničeni na određeni dio stranice . Korisnici Birdwatcha također će na kraju izgraditi ocjenu reputacije koja će se uključiti u algoritam korisnosti.

'Naš cilj s Birdwatch pilotom je izgraditi sustav u kojem svatko može pridonijeti, a koji prirodno podiže informacije koje ljudi smatraju korisnima', rekao je potpredsjednik proizvoda na Twitteru Keith Coleman u e-poruci. “Vjerujemo da je otvorenost u pogledu toga tko može doprinijeti važna i da se putem doprinosa različitih skupina mogu podići najkorisnije bilješke.”

No, pogled na sustav kakav je sada otkriva izazove koje su provjeravatelji činjenica postavili u vezi s Birdwatchom: nedostatak stručnosti za provjeru činjenica među korisnicima, poteškoće u stvaranju algoritma koji će na neki način izvući korisne bilješke najuglednijih korisnika i pitanja o stranačkim motivacijama korisnika.

“Nisam iznenađen tim nalazima s obzirom na polariziranu prirodu platformi društvenih medija i oklijevanje mainstream korisnika da daju povratnu informaciju na takve upite koje nude platforme, dok motivirani korisnici s obje strane prolaza vide platforme kao bojno polje za promicanje svojih priča. drugi”, rekao je Baybars Örsek, direktor Međunarodne mreže za provjeru činjenica.

Većina bilješki najplodnijih korisnika Birdwatcha tvitove koji su kritični prema desnici označavaju kao 'obmanjujuće', a one koji kritikuju ljevicu kao 'ne obmanjuju'. (Na primjer, korisnik je označio tweet koji kaže ' Tim Biden je blag prema Kini ” od senatora Teda Cruza i Pool-a tvitaju kao “ne obmanjuju”; dok članak Newsweeka o krajnje desnim ekstremistima i GameStop sagi i tweet povezivanja predsjednika Donalda Trumpa s pobunom na Capitolu označeni su kao 'obmanjujući' i 'štetni'.) A manje od jedne petine od 82 bilješke korisnika uključuje izvor, od kojih su neki drugi tweetovi. (Ovaj korisnik Birdwatcha nije odgovorio na zahtjev za intervju.)

Coleman je rekao da se Birdwatch može potaknuti da razmotri bilješke koje dolaze od 'različitih suradnika'. Nadalje, sustav ocjenjivanja je glavni pokretač platforme

“Vjerujemo da će to nagraditi i potaknuti doprinose koje mnogi ljudi smatraju vrijednima, te riješiti rizik da jedna specifična skupina ili ideologija preuzme Birdwatch”, rekao je Coleman. 'To je nešto na čemu ćemo aktivno raditi tijekom pilota.'

I doista, bilješke koje je algoritam rangirao kao najkorisnije nakon promjena od 17. veljače pokazuju solidnije izvore i manje stranačke retorike od iteracije od samo dan ranije. No, promjena algoritma za pilot program s 1.000 korisnika i manje od 2.700 bilješki je jedna stvar, a mijenjanje algoritma nakon što Birdwatch bude dostupan za sve korisnike je nešto drugo — i tko zna hoće li se učinkovitost algoritma održati dok korisnici počnu sipati u platformu, možda replicirajući ponašanje nekih od najplodnijih sudionika pilota.

'Trenutno nemamo određeni vremenski okvir za skaliranje, jer radimo na tome da naučimo što je više moguće i ponovimo dok je pilot mali', rekao je Coleman. 'Planiramo povećati kako to možemo učiniti sigurno i kada to može pomoći u poboljšanju učenja.'

Ipak, kao i kod bilješki ispod tweeta Pool, postoje primjeri partizanskih ili pogrešne informacije još uvijek vidljive kao redovite bilješke.

Četiri od pet najaktivnijih korisnika, koji čine više od 10% ukupnih bilješki, imaju sličnu aktivnost kao najplodniji korisnik. Jedan od njih tvrdi da se smrt Jeffreyja Epsteina nikada nije smatrala samoubojstvom. Međutim, drugi najplodniji promatrač ptica navodi izvor unutar svake bilješke, uključujući veze iz Svjetske zdravstvene organizacije i FactCheck.org .

Niti jedan od 10 najboljih korisnika, prema njihovoj biografiji na Twitteru, nije profesionalni provjeravač činjenica ili novinar.

'Provjera činjenica je zapravo težak posao jer je mentalno zahtjevna', rekla je u e-poruci glavna urednica PolitiFacta Angie Holan. “Stvarno se morate koncentrirati i progurati kroz mentalnu inerciju kako biste identificirali tvrdnje, a zatim smislili načine za njihovo razotkrivanje ili provjeru. Zatim morate nastaviti s pretraživanjem i zapisivanjem nalaza. Nije dan na plaži, iskreno rečeno. A ako provjeravač činjenica ima stranačku motivaciju, to još više otežava temeljit i ravnomjeran napor.”

Unatoč problemima, Birdwatch označava dezinformacije koje tradicionalni provjeravatelji činjenica mogu propustiti ili ne žele provjeriti zbog potencijalne štete — što bi moglo pomoći popuniti neke praznine u digitalnim dezinformacijama. Tijekom game stop saga , dezinformacije o dionicama te tvrtke brzo su se proširile na platformama.

Snopes i PolitiFact nije ocijenio tvrdnje u vezi s GameStopom, dok Ocijenjene glavne priče jedan post na Redditu. No, na Birdwatchu, bilješka s najvišom ocjenom - s ocjenom korisnosti 1,00 - označila je pogrešan tweet o Redditu, gdje se vodio razgovor o dionicama. Bilo je oko 50 bilješki o Redditu, GameStopu i investicijskoj aplikaciji Robinhood, na kojima se ranije ovog mjeseca dogodio veliki volumen trgovanja.

Korisnici Birdwatcha ispravno su označili račun koji je tvrdio da pripada senatorici iz Virginije Amande Chase kao lažan, nakon toga tvitao , '... Imamo problem s drogom u Virginiji, a legalizacija marihuane samo će dovesti do više predoziranja marihuanom i smrti...'

Crowdsourcing može olakšati život profesionalnim provjeravačima činjenica otkrivanjem dezinformacija, rekao je Örsek.

Coleman je rekao da je Twitter predan održavanju transparentnosti - što je omogućilo ovu analizu - i uključivanju doprinosa stručnjaka o budućnosti platforme.

“Iz rada s ugrađenim članom tima iz Centar za RISC Sveučilišta u Chicagu , da bismo organizirali sesije povratnih informacija s novinarima i istraživačima, radimo na tome da iskoristimo ogromnu količinu stručnosti i znanja koje postoji izvan Twittera”, rekao je.

Holan i Örsek preporučuju poticaje i obuku za korisnike Birdwatcha, kao i upošljavanje profesionalnih provjerivača činjenica kako bi provjerili bilješke visokog ranga.

'Ali prilično sam dvojben prema tehnološkim tvrtkama koje vjeruju da će njihovi korisnici besplatno moderirati sadržaj za njih', rekao je Holan. “Većina korisnika ne vidi svoj posao pomoći platformama u vođenju vlastitog poslovanja.”