Algoritmu pārliecināšana ar AI iedziļināšanos

Faktu pārbaude var samazināt neuzticamu ziņu izplatību. Tas var arī rīkoties pretēji.

(šī ziņa sākotnēji parādījās vietnē civilservant.io)

Reddit r / worldnews lasītāji bieži ziņo par tabloīdām ziņām brīvprātīgajiem moderatoriem, lūdzot viņus aizliegt tabloīdus viņu sensacionalizētajiem rakstiem. Šie izpušķotie stāsti piesaista cilvēku uzmanību, piesaista strīdus un tiek pamanīti ar reddit ranga algoritmu, kas tos izplata vēl vairāk.

Bulgārijas ziņu aizliegšana varētu izbeigt šo atgriezenisko saiti, bet kopienas moderatori iebilst pret vispārējiem aizliegumiem. Lai atrisinātu šo mīklu, moderatoriem vajadzēja atbildēt uz jautājumu, kas ir debašu centrā par tā saucamajām “viltus ziņām”: kā mēs varam saglabāt dalībnieku brīvību, vienlaikus ietekmējot arī cilvēku savstarpējo izturēšanos un algoritmus sabiedrības labā?

Šajā ziemā moderatori strādāja ar CivilServant, lai pārbaudītu ideju: kāda ir faktu pārbaudīšanas pamudināšanas ietekme uz atbildi uz neuzticamām ziņām? Mēs gribējām redzēt, kā reaģēs r / worldnews kopiena. Mēs novērojām arī ietekmi uz reddit klasifikāciju. Ja reddit algoritmi faktu pārbaudi interpretēja kā popularitāti, neuzticami raksti varētu izplatīties vēl vairāk.

Bulgārijas ziņas ir aptuveni 2,3% no visiem iesniegtajiem 15 miljoniem abonentu kopienas, kas apspriež ziņas ārpus ASV. R / worldnews 70 moderatori dienā pārskata aptuveni 450 rakstus un ļauj 68% no šiem rakstiem palikt. Tā kā tas ir noklusējuma apakšdredīts, vairums reddit lasītāju ar šīs kopienas starpniecību saņem pasaules ziņas. Kaut arī sabiedrības piekļuvi sociālajam tīklam Facebook aptraipa, r / worldnews var būt lielākā atsevišķā grupa, kas apspriež pasaules ziņas jebkur angliski runājošajā internetā. Pat nelieli efekti šajā sabiedrībā var ievērojami mainīt to, kā miljoniem cilvēku izprot potenciāli neuzticamu informāciju par pasauli.

Pētījumā no 27. novembra līdz 20. janvārim mēs A / B pārbaudījām ziņojumus, mudinot sabiedrību veikt faktu pārbaudi un balsot par tabloīdu ziņām. Lūk, ko mēs atradām:

Faktu pārbaudes veicināšanas ietekme uz sabiedrības izturēšanos

Diskusijās par tabloīdu iesniegumiem par r / worldnews, faktu pārbaudes veicināšana vidēji palielina komentāru ar saitēm biežumu par 2x, un faktu pārbaudes un balsošanas mudināšana rada līdzīgu efektu.

Faktu pārbaudes veicināšanas ietekme uz Reddit algoritmiem

Novērojot vairāk nekā 24 stundas, mēs arī atklājām, ka vidēji lipīgi komentāri, kas rosina faktu pārbaudi, izraisīja tabloīdu iesniegumu reddit rezultāta samazinājumu divreiz, statistiski nozīmīgu efektu, kas, iespējams, ietekmēja klasifikāciju subreddit. Kad mēs mudinājām lasītājus balsot, šī ietekme pazuda.

AI nudges: pārliecinoši algoritmi, saglabājot brīvību

Mūsu jautājumi par tabloīdu ziņām pievienoja algoritmisku dimensiju klasiskajam pārvaldības jautājumam: kā cilvēki ar varu var strādāt kopīgā labuma labā, vienlaikus samazinot individuālās brīvības ierobežojumus?

mēs varam pārliecināt algoritmus rīkoties atšķirīgi, pārliecinot cilvēkus rīkoties atšķirīgi.

Visā internetā cilvēki iemācās dzīvot ar AI sistēmām, kuras viņi nevar kontrolēt. Piemēram, Uber vadītāji pielāgo savu braukšanu, lai optimizētu ienākumus. Mūsu kolektīvā izturēšanās jau visu laiku ietekmē AI sistēmas, bet līdz šim sabiedrībai trūkst informācijas par to, kāda šī ietekme patiesībā ir. Šie necaurspīdīgie rezultāti var būt problēma, kad algoritmi veic galveno lomu sabiedrībā, piemēram, veselību, drošību un taisnīgumu. Lai atrisinātu šo problēmu, daži pētnieki izstrādā “sabiedrībā esošās” sistēmas [4]. Citi izstrādā metodes algoritmu revīzijai [5] [6]. Tomēr neviena no pieejām nepiedāvā veidu, kā pārvaldīt tādu sistēmu ikdienas uzvedību, kuru kodu mēs nevaram kontrolēt. Mūsu pētījums ar r / worldnews piedāvā trešo virzienu; mēs varam pārliecināt algoritmus rīkoties atšķirīgi, pārliecinot cilvēkus rīkoties atšķirīgi.

Dažiem cilvēkiem var rasties jautājums, vai šis eksperiments ir manipulācijas ar balsojumu, kas ir pretrunā ar reddit politiku. Mūsu līmlapiņas nepārkāpj nevienu no reddit noteikumiem par personisku labumu (mēs arī neveidojām viltotus kontus, neteicām cilvēkiem, kā balsot, neorganizējām balsošanas bloku). Bet mēs parādījām, ka cilvēku pamudināšana veikt faktu pārbaudi sistemātiski ietekmēja reddit algoritmus.

Ideja par “AI nudges” dod mums iespēju domāt par pro-sociālajiem centieniem ietekmēt cilvēku un mašīnu izturēšanos, saglabājot indivīda brīvību. Ričards Tailers un Kass Sunšteins vispirms ierosināja “iedīgļus” kā veidus, kā iestādes var izmantot savu varu, vienlaikus saglabājot indivīda brīvību [7]. Salīdzinot ar tabloīdu ziņu aizliegšanu, AI fakts, ka tiek mudināts veikt faktu pārbaudi, ir vieglākā pieskāriena darbība, ko moderatori varētu veikt. Neviena cilvēka spēja koplietot ziņas, komentēt vai balsot netiek atņemta, bet AI izlikšanās joprojām kavē neuzticamu ziņu izplatīšanos.

Kā uzsver Sunšteins un Tailers, ne vienmēr ir skaidrs, vai šīm viegla pieskāriena darbībām būs vēlamais iznākums. Tāpēc mums sistemātiski jāpārbauda to ietekme, jo īpaši tāpēc, ka nepārbaudītām sistēmām var būt negaidīti rezultāti.

AI padomu pārvaldība un ētika

Valdību ierosinājumi un tiešsaistes platformu sociālie eksperimenti bieži piesaista līdzīgu kritiku. Es domāju, ka cilvēkiem ir taisnība, ka viņi sagaida pārskatatbildību no tiem, kas izmanto tuvplāna varu. Sadarbojoties ar brīvprātīgajiem moderatoriem, es spēju strādāt ar lielāku pārredzamības un atbildības līmeni, nekā tas ir raksturīgs sociālajā datorā. Visi CivilServant pētījumi ir izstrādāti kopā ar moderācijas komandām un to rezultāti, un visi rezultāti vispirms tiek paziņoti sabiedrībai, veicot subreddit pārskatu. Mūsu studiju plāni tiek publiski uzskaitīti Atvērto zinātņu ietvarstruktūrā, pirms mēs sākam, un viss mūsu kods ir atvērtā koda. Pilna analīzes informācija ir arī publiska, tāpēc ikviens var pārbaudīt mūsu secinājumus. Vienīgais, ko mēs kavējam, ir faktiskie dati, jo mēs cienām visu iesaistīto personu privātumu.

Kopumā es ceru, ka AI kratīšana, it īpaši, ja to vada pašas kopienas, piedāvā aizraujošu virzienu sabiedrībai, lai pārvaldītu algoritmu lomu sabiedrībā, vienlaikus saglabājot arī indivīda brīvību.

Kā noritēja pētījums

Veicot šo pārbaudi, moderatori sāka ar ziņu avotu sarakstu, kuri bieži saņem sūdzības. No 27. novembra līdz 20. janvārim mēs katru jauno tabloīdu saiti pēc nejaušības principa piešķīrām vienam no trim nosacījumiem: a) nav lipīgu komentāru, b) lipīgu komentāru, kas rosina skepsi, c) lipīgu komentāru, kas rosina skepsi + balsošanu (pilnīga informācija šeit ).

Mēs šo ziņojumu ievietojām tabloīdu ziņu diskusiju augšdaļā

Otrais mudina cilvēkus pārbaudīt rakstu un apsvērt saites atsaukšanu, ja viņi nevar atrast pierādījumus par tā apgalvojumiem:

Šis otrais vēstījums mudināja cilvēkus apsvērt iespēju balsot mazāk

Vai faktu pārbaude uzvedību var ietekmēt Kā reddit algoritmi var redzēt neuzticamas ziņas?

Kaut arī mēs bijām pārliecināti, ka r / worldnews lasītāji palīdzēs, ja moderatori to prasīs, mēs arī domājām: ja mēs pastiprināti komentējam tabloīda ziņas, vai mēs varētu nejauši izraisīt reddit algoritmus šo tabloīdu saišu reklamēšanai?

Ja faktu pārbaude palielināja neuzticamu ziņu avotu popularitāti, sabiedrībai, iespējams, vajadzēs pārdomāt, kur pielikt pūles. Tāpēc moderatori pārbaudīja otro lipīgo komentāru, kas mudina lasītājus apsvērt iespēju balsot mazāk.

Lai pārbaudītu lipīgo komentāru ietekmi uz reddit algoritmiem, programmatūra CivilServant ik pēc četrām minūtēm vāca datus par ziņu skaitu. Platforma nepublicē precīzi to, kas tiek iekļauts partitūrā vai kā darbojas tās klasifikācija (es jautāju). Tomēr mēs varējām ticami paredzēt ziņas subreddit HOT lapas rangu pēc tās vecuma un vērtējuma (pilnīga informācija šeit). Būtībā, ja faktu pārbaudei bija liela ietekme uz raksta rezultātu, tad tas, iespējams, ietekmēja raksta ranžēšanu laika gaitā subredd galvenajā lapā. Es to pārbaudīju divos veidos: salīdzinot rādītājus pēc 24 stundām un modelējot rezultātu izmaiņas laika gaitā.

Es izmantoju negatīvu binomiālo modeli, lai pārbaudītu ietekmi uz rādītājiem pēc 24 stundām. Tā kā reddit algoritmi stāvēja mūsu eksperimenta laikā, iedrošinot faktu pārbaudi, tabloīdu iesniegumi vidēji pēc 24 stundām saņēma 49,1% (par 2,04x zemāku) iesniegumu rādītāju bez līmīgiem komentāriem r / worldnews. Ietekme ir statistiski nozīmīga. Šajā modelī man neizdevās atrast efektu no lipīgajiem komentāriem, kas mudināja lasītājus apsvērt iespēju balsot mazāk.

Es arī pārbaudīju faktu pārbaudes ietekmi uz amata punktu skaita pieauguma tempu laika gaitā. Lai uzdotu šo jautājumu, ik pēc četrām minūtēm žurnālam pārveidotā rezultāta rezultātam es nejauši pārtveru lineārās regresijas modeli. Es atklāju, ka, rosinot faktu pārbaudi, punktu skaita pieauguma temps ir zemāks. Šeit es atklāju, ka balsošanas pamudināšanai faktiski ir neliela pozitīva ietekme uz punktu skaita pieauguma tempu laika gaitā. Tā kā 2016. gada decembra sākumā tika veikts eksperiments, mainot reddit algoritmus, es arī atklāju, ka šo lipīgo komentāru ietekme uz reddit algoritmiem var būt mainījusies pēc tam, kad reddit koriģēja tā algoritmus (detaļas).

Kas palīdzēja ziņu rakstiem pārbaudīt datus?

No 930 komentāriem, kas nav boti, ar saitēm, kuras moderatoriem ļāva palikt, 737 lietotāju konti sniedza saites uz papildu pierādījumiem. No tiem 133 kontos bija vairāk nekā viens komentārs ar saitēm. Daudzi cilvēki pārbaudīja savus iesniegumus pēc faktiem, bet iesniedzēji sniedza 81 komentāru, lai iegūtu papildinformāciju.

Ko mēs nevaram zināt no šī pētījuma?

Šajā testā tiek aplūkoti rezultāti diskusijās, nevis atsevišķos kontos, tāpēc mēs nevaram zināt, vai atsevišķi cilvēki bija pārliecināti, ka esam skeptiskāki, vai arī lipīgie komentāri jau skeptiskiem cilvēkiem lika izmeklēt un dalīties tajos. Man arī nav pierādījumu par faktu pārbaudes ietekmi uz lasītājiem, lai gan citi pētījumi liecina, ka faktu pārbaude ietekmē lasītāju uzskatus [2] [3].

Šis pētījums mums neko daudz nevar pateikt par to, kāpēc, mainot ziņojumu, mudinot lasītājus apsvērt iespēju balsot par zemu, mēs redzam tik lielas izmaiņas algoritmiskajā efektā. Šī atšķirība var būt piemērs tam, ko psihologi sauc par “reaģēšanu”, pretošanos autoritātes ieteikumiem. Vai arī, ja ziņu iesniedzēji uztraucas, ka viņu saites varētu tikt noraidītas, viņi var lūgt palīdzību, kas līdzsvaro lasītāju izturēšanos.

Vai tas darbotos ar cita veida saitēm, citos apakšdredītos vai citās vietnēs? Šis pētījums attiecas tikai uz noteiktu kopienu un vietņu sarakstu. Lai gan man ir aizdomas, ka daudzas lielas tiešsaistes lasītāju kopienas palīdzētu modeļa saitēm, ja moderatori to lūgtu, mūsu secinājumi par reddit algoritmu atrodas daudz vairāk.

Mēs varētu atbildēt uz šiem jautājumiem, ja vairāk apakšdaļu nolemtu izmēģināt līdzīgus eksperimentus. Ja jums ir interese, sazinieties ar mani reddit, lai apspriestu līdzīga eksperimenta veikšanu un reģistrētos e-pasta atjauninājumiem.

Uzziniet vairāk par šo eksperimentu

Mana doktora grāds ir saistīts ar atbalstu kopienām, lai pārbaudītu savas moderēšanas prakses sekas. Es izstrādāju šo eksperimentu kopā ar r / worldnews moderatoriem, un to apstiprināja MIT komiteja par cilvēku izmantošanu kā eksperimentālos subjektus. Ja jums ir kādi jautājumi vai neskaidrības, lūdzu, sazinieties ar natematias vietnē redditmail.

Šis eksperiments, tāpat kā visi mani līdz šim veiktie reddit pētījumi, tika veikts neatkarīgi no reddit platformas, kurai nebija nekādas nozīmes eksperimenta plānošanā vai noformēšanā. Eksperiments vēl nav salīdzinoši pārskatīts. Visi CivilServant rezultāti tiek publiski nosūtīti iesaistītajām kopienām, tiklīdz rezultāti ir gatavi, un akadēmiskās publikācijas tiks publicētas vēlāk.

Pilna informācija par eksperimentu tika iepriekš publicēta iepriekšējas analīzes plānā osf.io/hmq5m/. Ja jūs interesē statistika, es esmu publicējis visu analīzes informāciju.

Atsauces

[1] Salganik, M. J., & Watts, D. J. (2008). Ganāmpulka maldināšana: eksperimentāls patstāvīgu pravietojumu pētījums mākslīgā kultūras tirgū. Sociālā psiholoģija ceturksnī, 71 (4), 338–355.

[2] Stefans Lewandowsky, Ullrich K. H. Ecker, Colleen M. Seifert, Norbert Schwarz un John Cook. Kļūdaina informācija un tās labošana turpināja ietekmēt un veiksmīgi novājēt. Psiholoģiskā zinātne sabiedrības interesēs, 13. (3): 106–131, 2012. gada decembris.

[3] Tomass Vuds un Etans Porters. Eluzīvais pretgaismas efekts: masveida attieksmes nelokāmā faktu ievērošana. SSRN Scholarly Paper ID 2819073, Sociālo zinātņu pētījumu tīkls, Ročestera, Ņujorka, 2016. gada augusts.

[4] Rahwan, Iyad (2016) Sabiedrība, kas atrodas cilpā: Algoritmiskā sociālā līguma programmēšana. Vidēja

[5] Kristians Sandvigs, Kevins Hamiltons, Karrie Karahalios un Cedric Langbort. 2014. Revīzijas algoritmi: Pētniecības metodes diskriminācijas noteikšanai interneta platformās. Dati un diskriminācija: kritisko problēmu pārvēršana produktīvā izmeklēšanā, Starptautiskās komunikācijas asociācijas gada sanāksme, 2014. gads

[6] Diakopoulos, N., & Koliska, M. (2016). Algoritmiskā caurspīdīgums ziņu medijos. Digitālā žurnālistika, 1. – 20.

[7] Tailers, R. H., un Sunšteins, C. R. (2003). Libertāriešu paternālisms. Amerikas ekonomikas apskats, 93 (2), 175–179.