Evo koliko je automatizirana provjera činjenica bliska stvarnosti

Novi list s činjenicama Instituta Reuters prikazuje automatiziranu provjeru činjenica diljem svijeta - i budućnost izgleda svijetla.

Objavljeno danas , izvješće se temelji na intervjuima s provjeravačima činjenica i računalnim znanstvenicima, kao i pregledom postojeće tehnologije, kako bi se detaljno pojasnilo kako bi automatizirana provjera činjenica mogla promijeniti praksu u bliskoj budućnosti.

“Prošle godine bilježi se sve veća pozornost među novinarima, kreatorima politike i tehnološkim tvrtkama na problem pronalaženja učinkovitih, opsežnih odgovora na dezinformacije na internetu”, piše u izvješću stariji znanstveni saradnik Lucas Graves. “Međutim, odlučivanje o istinitosti javnih tvrdnji i odvajanje legitimnih stavova od dezinformacija težak je i često kontroverzan posao... izazovi koji se prenose na (automatiziranu provjeru činjenica).”

Među tim izazovima, Graves napominje da potpuno automatizirana provjera činjenica nije ni približno sposobna za prosudbu koju novinari primjenjuju na dnevnoj bazi. Osim toga, podrška zaklada, sveučilišta i platformi ključna je za razvoj boljih sposobnosti i sustava velikih razmjera.

Ali potencijal za automatizaciju je velik - i to se već događa u nekim redakcijama.

Kratki dokument nudi kategorizaciju najnovijih dostignuća u tehnologiji automatizirane provjere činjenica i istraživanja:

(Automatizirana provjera činjenica) inicijative i istraživanja općenito se usredotočuju na jedan ili više od tri preklapajuća cilja: uočiti lažne ili upitne tvrdnje koje kruže online i u drugim medijima; autoritativno provjeriti tvrdnje ili priče koje su sumnjive ili olakšati njihovu provjeru od strane novinara i javnosti; i isporučiti ispravke trenutačno, u različitim medijima, publici izloženoj dezinformacijama. End-to-end sustavi imaju za cilj riješiti sva tri elementa — identifikaciju, provjeru i ispravak.

Britanska dobrotvorna organizacija za provjeru činjenica Full Fact razvila je alat koji automatski skenira medije i transkripte Parlamenta u potrazi za tvrdnjama i uspoređuje ih s postojećim provjerama činjenica. Duke Reporters’ Lab i Chequeado izradili su slične alate koji skeniraju medijske transkripte u potrazi za tvrdnjama koje se mogu provjeriti, a kasnije obavještavaju osobe koje provjeravaju činjenice o potencijalnim provjerama činjenica. (Otkrivanje: Reporters’ Lab pomaže u plaćanju Globalnog sastanka na vrhu za provjeru činjenica).

Prve dvije organizacije predstavljene su u trećem videu 'Check It' Međunarodne mreže za provjeru činjenica:

Ta metodologija — automatsko prikupljanje i pronalaženje tvrdnji u prijepisima, a zatim njihovo uparivanje s bibliotekama postojećih provjera činjenica kao što su Podijelite činjenice — je najučinkovitiji i proizvod uspješnog istraživanja, prema Gravesu. Ali tehnologija još uvijek nije savršena.

Međutim, do sada ovi sustavi mogu identificirati samo jednostavne deklarativne izjave, nedostajuće implicirane tvrdnje ili tvrdnje ugrađene u složene rečenice koje ljudi lako prepoznaju. To je poseban izazov s konverzacijskim izvorima, poput programa za raspravu, u kojima ljudi često koriste zamjenice i vraćaju se na ranije točke.

Također ima potencijal pogrešno protumačiti parafraziranje i suptilne promjene u formulaciji, vremenu i kontekstu. Osim toga, provjera ostaje izvan dosega postojećih automatiziranih alata za provjeru činjenica danas i još uvijek se oslanja na ljude da probiju potencijalne provjere činjenica, pa bi očekivanja trebala biti skromna, navodi se u izvješću.

Ubuduće, stalni izazov za automatizaciju je pronalaženje načina za uparivanje tvrdnji sa službenim izvorima informacija, što je u biti ono što provjere činjenica rade ručno. Graves je napisao da bi istraživači umjetne inteligencije mogli istražiti kako bi automatizirani sustavi za provjeru činjenica mogli identificirati koji su izvori podataka prikladni za bilo koju tvrdnju.

Ali to predstavlja druge probleme. Podaci nisu uvijek dostupni, a čak i kada jesu, teško je ispravno razlučiti što podaci znače za istinitost tvrdnje, kao što pokazuje jedna istaknuta studija:

… način testiranja tvrdnje da je 'Lesoto najmanja država u Africi' bez logičkog tumačenja je traženje sličnog jezika u velikom tekstualnom izvoru ili na cijelom webu. U eksperimentima koji koriste Wikipediju kao pouzdani izvor i skup podataka od 125.000 tvrdnji, na primjer, tim predvođen jednim od učenika [Andreasa Vlachosa] može točno predvidjeti hoće li se tvrdnja s jednim predikatom podržavati ili opovrgnuti (ili nema dovoljno dokazi) oko 25% vremena (Thorne i sur. 2018.).

Na mnogo načina, takva vrsta akademskog uvida pokazala se ključnom u pomaganju praktičarima u razvoju automatiziranih platformi.

'(Automatizirana provjera činjenica) bila je područje neobično bliske suradnje između istraživača i praktičara', napisao je Graves. “Daljnji napredak ovisit će uglavnom o dva čimbenika: kontinuiranoj financijskoj potpori za temeljna istraživanja i eksperimente u stvarnom svijetu te napretku vladinih i civilnih skupina u uspostavljanju standarda otvorenih podataka.”