Уверивање алгоритама са АИ потезом

Провера чињеница може умањити ширење непоузданих вести. Може и противно.

(овај се пост првобитно појавио на цивилсервант.ио)

Читаоци р / ворлдневс-а на реддиту често извештавају о вестима са таблоида волонтерима, тражећи од њих да забране таблоиде за своје сензационализоване чланке. Ове украшене приче привлаче очи људи, привлаче контроверзу и примећују их реддитов алгоритам за рангирање, који их шири још више.

Забрањивање вести са таблоида могло би окончати ову повратну петљу, али модератори заједнице супростављени су забранима. Да би решили ову слагалицу, модератори су морали да одговоре на питање у средишту расправа о такозваним „лажним вестима“: како можемо да сачувамо слободу сарадника истовремено утичући на међусобно понашање људи и алгоритме за добро заједнице?

Ове зиме модератори су радили са ЦивилСервантом да би тестирали идеју: какви су ефекти охрабривања провере чињеница на одговор на непоуздане вести? Желели смо да видимо како ће р / ворлдневс заједница реаговати. Такође смо приметили утицај на реддит-ово рангирање. Ако би Реддитови алгоритми проверавање чињеница тумачили као популарност, непоуздани чланци могу се још више проширити.

Таблоидне вести су отприлике 2,3% свих пријава овој 15 милиона претплатничких заједница која расправља о вестима ван САД-а. У р / ворлдневс, 70 модератора прегледава око 450 чланака дневно и дозвољава да 68% тих чланака остане. Будући да је реч о подразумеваном субреддиту, већина читалаца реддита добија вести широм света преко ове заједнице. Док домет заједнице омета Фацебоок, р / ворлдневс је можда највећа појединачна група за дискусију о светским вестима било где на интернету који говори енглески језик. Чак и мали ефекти у овој заједници могу значајно утицати на то како милиони људи имају смисла за потенцијално непоуздане информације о свету.

У нашој студији од 27. новембра до 20. јануара, А / Б смо тестирали поруке које охрабрују заједницу да проверава чињенице и гласа о вестима са таблоида. Ево шта смо пронашли:

Учинак потицања провјере чињеница на понашање у заједници

У оквиру дискусија о поднесењима таблоида на р / ворлдневс, охрабривање проверавања чињеница повећава учесталост коментара са везама у просеку 2к, а подстицање провере чињеница + гласања има сличан ефекат.

Утицај подстицања провере чињеница на алгоритме Реддита

Посматрајући током 24 сата, такође смо открили да су у просеку, лепљиви коментари који подстичу проверу чињеница изазвали 2к смањење реддит оцене поднесака таблоида, што је статистички значајан ефекат који је вероватно утицао на рангирање у субреддиту. Када смо такође охрабрили читаоце да гласају, овај ефекат је нестао.

АИ Нудгес: Увјеравање алгоритама уз очување слободе

Наша питања о вестима о таблоидима додала су алгоритамску димензију класичном питању управљања: како људи са снагом могу радити на опћем добру истовремено минимизирајући ограничења слободе појединца?

можемо убедити алгоритме да се понашају другачије тако што убедимо људе да се другачије понашају.

Преко интернета људи уче да живе са АИ системима које не могу да контролишу. На пример, возачи Убера подешавају вожњу да би оптимизовали своје приходе. Наше колективно понашање већ увек утиче на АИ системе, али до сада јавности нема информација о томе шта заправо значи. Ови непрозирни исходи могу бити проблем када алгоритми обављају кључне улоге у друштву, попут здравља, сигурности и коректности. Да би решили овај проблем, неки истраживачи дизајнирају системе „друштво у кругу“ [4]. Други развијају методе за ревизију алгоритама [5] [6]. Ипак, ни један приступ не нуди начин управљања свакодневним понашањем система чијим кодом не можемо да управљамо. Наше истраживање са р / ворлдневс нуди трећи правац; можемо убедити алгоритме да се понашају другачије тако што убедимо људе да се другачије понашају.

Неки се могу запитати да ли овај експеримент представља манипулацију гласом, што је противно правилима Реддит-а. Наше налепнице не крше ни једно од правила Реддита-а ради личне користи (такође нисмо створили лажне рачуне, рекли људима како да гласају или не организују блок за гласање). Али показали смо да је подстицање људи на проверу чињеница систематски утицало на алгоритме Реддит-а.

Идеја „АИ потискивања“ омогућава нам да размислимо о просоцијалним напорима да утичемо на понашање људи и машина уз очување слободе појединца. Рицхард Тхалер и Цасс Сунстеин први су предложили „потешкоће“ као начине на које институције могу да користе своју моћ уз очување слободе појединца [7]. У поређењу са забраном вести о таблоидима, АИ потицај за подстицање проверавања чињеница је најлакша акција коју би модератори могли предузети. Није одузета способност никога да дели вести, коментаре или гласа, али АИ потезање и даље смањује ширење непоузданих вести.

Као што Сунстеин и Тхалер истичу, није увек очигледно да ли ће ове интервенције лаганим додиром имати жељени исход. Због тога бисмо требали систематски тестирати њихове ефекте, посебно јер непровјерени системи могу имати неочекиване исходе.

Управљање и етика АИ Нудгес-а

Гадови влада и социјални експерименти на платформама на мрежи често привлаче сличне критике. Мислим да људи с правом очекују одговорност од оних који упражњавају моћ. Радећи са модераторима волонтера, био сам у могућности да радим са већим нивоима транспарентности и одговорности него што је то уобичајено у друштвеном рачунању. Све студије ЦивилСервант дизајниране су са и од стране тимова за модерацију, а сви резултати се прво објављују заједници у подреддитингу који подноси подзапис. Наши дизајни студија су јавно наведени у оквиру Опен Сциенце Фрамеворк-а пре него што почнемо, а сав наш код је опен соурце. Подаци о потпуној анализи су такође јавни, тако да свако може проверити наше закључке. Једино чега се задржавамо јесу стварни подаци, пошто поштујемо приватност свих који су укључени.

Све у свему, надам се да покрети АИ, посебно када их воде саме заједнице, нуде узбудљив смер јавности за управљање улогом алгоритама у друштву, истовремено чувајући слободу појединца.

Како је студија радила

За овај тест, модератори су започели са списком извора вести на које често добијају жалбе. Од 27. новембра до 20. јануара, насумично смо додијелили сваку нову таблоидну везу једном од три услова: (а) без љепљивог коментара, (б) љепљивом коментару који охрабрује скептицизам, (ц) љепљивом коментару који охрабрује скептицизам + гласање (детаљније овдје ).

Ову смо поруку објавили на врху дискусија о вијестима у таблоидима

Други подстиче људе да провере чланак и размотре да одустану од везе ако не могу да нађу доказе који би подржали њене тврдње:

Ова друга порука охрабрила је људе да размотре одустајање

Могу ли утицаји на проверу чињеница Како Реддитови алгоритми виде непоуздане вести?

Иако смо били уверени да ће р / ворлдневс читаоци помоћи ако нас питају модератори, такође смо се запитали: ако повећамо коментарисање вести о таблоидима, можемо ли случајно изазвати алгоритме Реддита за промовисање тих веза таблоида?

Ако би провера чињеница повећала популарност непоузданих извора вести, заједница ће можда морати да размисли где да уложи свој труд. Због тога су модератори тестирали други лепљив коментар, онај који подстиче читаоце да размотре такав приступ.

Да би тестирао ефекат лепљивих коментара на алгоритме Реддит-а, софтвер ЦивилСервант прикупљао је податке о броју постова свака четири минута. Платформа не објављује тачно шта се уклапа у резултат или тачно како функционише његово рангирање (питао сам). Међутим, успели смо да поуздано предвидимо рангирање поста на ХОТ подреддит-у на основу њене старости и резултата (овде можете наћи детаљне детаље). У основи, ако је провјера чињеница имала велики утјецај на оцјену чланка, тада је вјероватно утјецала на рангирање чланка на насловној страници субреддит. То сам тестирао на два начина: упоређујући резултате после 24 сата и моделирајући измене у резултатима током времена.

Користио сам негативни биномни модел да бих тестирао ефекат на резултате након 24 сата. Како су током нашег експеримента стајали алгоритми реддита, охрабрујући проверу чињеница да су поднети таблоиди примили 49,1% (2,04 пута ниже) оцену поднесака без лепљивог коментара, у року од 24 сата, у просеку р / ворлдневс. Ефекат је статистички значајан. У овом моделу нисам успео да нађем ефекат из лепљивих коментара који су охрабрили читаоце да размотре непоштовање.

Такође сам тестирао ефекат провере чињеница на брзину раста оцене резултата током времена. Да поставим ово питање, одговарам на случајни пресјек линеарне регресије на моделу трансформисаног дневника за пост свака четири минута. Открио сам да охрабрујућа провера чињеница узрокује да је стопа раста резултата нижа. Ево, открио сам да охрабрујуће гласање заправо у просеку има мали позитиван ефекат на стопу раста резултата. Пошто смо покренули експеримент током промене алгоритама реддита почетком децембра 2016, такође сам открио да је утицај ових лепљивих коментара на алгоритме реддита можда промењен након што је реддит прилагодио своје алгоритме (детаље).

Ко је помогао да се провере чињенице у вестима?

Од 930 коментара који нису ботови са везама које су модератори дозволили да остану, 737 корисничких налога су допринело везама за додатни доказ. Од тога је 133 рачуна објавило више коментара са везама. Многи људи су сами проверили своје пријаве, а подносиоци објаве су добили 81 коментар за додатне информације.

Шта не можемо знати из ове студије?

Овај тест гледа на резултате у оквиру дискусија, а не на појединачне рачуне, тако да не можемо знати да ли су поједини људи били убеђенији у скептичност или су лепљиви коментари натерали већ скептичне људе да истражују и деле. Такође немам доказа о ефекту провере чињеница на читаоце, мада друга истраживања указују да провера чињеница утиче на уверења читалаца [2] [3].

Ова студија нам не може рећи много о томе зашто видимо тако велику промену алгоритмичких ефеката када изменимо поруку подстичући читаоце да размисле о непозивању. Ова разлика може бити пример онога што психолози називају „реактанција“, отпор предлозима власти. Или ако се подносиоци вести брину да би им везе могле бити онемогућене, могу затражити помоћ, што уравнотежује понашање читалаца.

Да ли би ово могло да ради са другим врстама веза, у другим подредовима или на другим веб локацијама? Ова студија је ограничена на одређену заједницу и списак веб локација. Иако сумњам да би многе велике интернетске заједнице читалаца помогле линковима за провјеру чињеница уколико модератори питају, наша открића о алгоритму реддит су много лошија.

Могли бисмо одговорити на ова питања ако би више субреддита одлучило да испроба сличне експерименте. Ако сте заинтересовани, контактирајте ме на реддит-у да разговарамо о покретању сличног експеримента и пријавите се за ажурирање е-поште.

Сазнајте више о овом експерименту

Мој докторат укључује подршку заједницама да тестирају ефекте својих пракси умерења. Дизајнирао сам овај експеримент заједно са модераторима р / ворлдневс, а одобрио га је МИТ-ов одбор за употребу људи као експерименталних субјеката. Ако имате било каквих питања или недоумица, молимо контактирајте натематиас на реддитмаил-у.

Овај експеримент је, као и сва моја досадашња истраживања о реддиту, спроведен независно од реддит платформе, која није имала никакву улогу у планирању или дизајнирању експеримента. Експеримент још није прегледан. Сви резултати из ЦивилСервант-а објављују се јавно враћеним заједницама чим резултати буду спремни, а академске публикације долазе касније.

Комплетни детаљи експеримента објављени су унапред у плану пре анализе на осф.ио/хмк5м/. Ако вас занима статистика, објавила сам све детаље анализе.

Референце

[1] Салганик, М. Ј., и Ваттс, Д. Ј. (2008). Водеће стадо залутало: Експериментална студија самоиспуњавања пророчанстава на вештачком културном тржишту. Социјална психологија тромесечно, 71 (4), 338–355.

[2] Степхан Левандовски, Уллрицх К. Х. Ецкер, Цоллеен М. Сеиферт, Норберт Сцхварз и Јохн Цоок. Дезинформације и њихово исправљање непрекидно утичу и успевајуће се смањују. Психолошка наука у јавном интересу, 13 (3): 106–131, децембар 2012.

[3] Тхомас Воод и Етхан Портер. Ексклузивни ефекат повратне ватре: Непрекидно чињенично придржавање масовних ставова. ССРН Сцхоларли Папер ИД 2819073, Социал Сциенце Ресеарцх Нетворк, Роцхестер, НИ, август 2016.

[4] Рахван, Ииад (2016) Друштво у кругу: Програмирање алгоритамског друштвеног уговора. Средња

[5] Кристијан Сандвиг, Кевин Хамилтон, Каррие Карахалиос и Цедриц Лангборт. 2014. Алгоритми за ревизију: Истраживачке методе за откривање дискриминације на интернет платформама. Подаци и дискриминација: Претварање критичних брига у продуктивну упит, Годишњи састанак Међународног удружења за комуникације, 2014.

[6] Диакопоулос, Н., и Колиска, М. (2016). Алгоритамска транспарентност у медијима. Дигитално новинарство, 1–20.

[7] Тхалер, Р. Х. и Сунстеин, Ц. Р. (2003). Либертаријански патернализам. Амерички економски преглед, 93 (2), 175–179.