Моја листа за рецензију

Прошло је око месец дана од када сам објављен овде. Зашто? Читао сам уместо да пишем. Прегледавао сам СИГЦСЕ радове, ИЦСЕ радове, ИЕЕЕ трансакције на папирима софтверског инжењерства, АЦМ трансакције на папирима из области рачунарства. Уређивао сам својих 7 дивних предавања докторских студената. Водио сам студентске стипендије двају студентских НСФ-а и још једну пријаву за додипломске студенте. Прочитао сам неколико десетина изванредних номинација за ЦРА.

Сада неки не воле рецензију. Случајно га волим, посебно рецензију! Ја (повремено) учим о новим идејама, помажем својој академској заједници да побољша стипендију и да решим врло специфичну врсту загонетке: шта могу рећи у 500–1000 речи које ће трансформисати ауторову перспективу на њихов сопствени рад? Учитељ у мени ужива прилику да покуша да закључи из нечијег писања како размишља, а затим нађе праве речи да своје мишљење усмери у моју сопствену естетику истраживања. Не успевам увек (посебно у овако прометним месецима), али обично се забављам радећи то.

Нажалост, многи истраживачи у мојим заједницама немају баш тако забаван преглед. И не кривим их: добијамо кратке временске рокове, волонтерски рад је углавном не захвалан (због анонимности), а једва да је било какве интеракције с ауторима или других рецензија, осим високо асинхроних и врло безличних дискусија о слабо одржаваним, лоше дизајнираним групни софтвер попут ПЦС-а или ЕасиЦхаир-а (незнатно у односу на програмере који то одржавају: имате тешке, високо подређене послове само одржавање ових веб локација).

Након 15 година прегледа, ипак, имам неколико ствари за које мислим да би људи могли заиста да уживају у томе и што би ме навело да пожелим да радим још више од тога. Ево моје листе жеља за академску рецензију.

Оцените према експлицитним критеријумима

Ништа ме не чини лудим од кутије на којој пише "Напиши рецензију". Ови потпуно неодржавани поступци стручне рецензије пропадају на два начина: резултирају широко различитим мишљењима о истраживању, али исто тако не успевају да сигнализирају новим рецензентима који аспекти истраживања вреднују заједницу или како их проценити. Не постоји само једна врста прегледа, бесконачно је, а посао уредника је да сузи опсег.

Међународна конференција софтверског инжењерства на овом пољу је недавно постигла напредак додајући посебне критеријуме као што су:

  • Звучност. Да ли су тврдње о радовима поткријепљене аргументима и доказима?
  • Новост. Колико посао унапређује наше знање?
  • Јасноћа. Колико су јасни писање и представљање дела?
  • Репликабилност Да ли се дело (технички, емпиријски или друго) може поновити?

Оно што је сјајно у томе је што смањују многе облике имплицитних пристрасности у процесу прегледа, приморавајући рецензенте да се баве сваком димензијом. Користила сам их за структурирање својих прегледа и како бих била сигурна да ли сам фер према ономе што ИЦСЕ жели да одабере.

Сада, ИЦСЕ процес још увек оставља много тога што треба да се пожели. Ови критеријуми се не односе на све врсте стипендија, што искључује неку врсту романа. Рецензенти имају веома различите идеје о овим критеријумима, што и даље резултира великом разноликошћу у њиховим проценама. И нема смерница са програмских столица о томе где је „бар“: да ли рад може добро да нађе три такве, али не успе у новостима и још увек буде објављен? И последње је прилично лако поправити: пошаљите их на позив за папире како би сви знали против чега им се суди.

Упркос тим ограничењима, мислим да би сви поступци стручног прегледа требали имати експлицитне критерије. Заједнице би требале да се окупе како би их изградиле и еволуирале током времена.

Обуци рецензенте

Једно од проблема са горе наведеним експлицитним критеријумима је да различити рецензенти немају доследну способност да процене сваки од њих. Што да не? Зато што не учимо истраживаче да прегледају истраживање.

Одувек сам сматрао да је то највећи јаз у докторском образовању. Др. студентима треба што више могућности за праћење истраживања на основу експлицитних критеријума, али мало их је позвано да прегледају док не постану старији. А ако су позвани на преглед, конференције и часописи ретко им дају никакву обуку.

Сећам се кад сам први пут прегледао конференцију. Био је то ЦХИ рад, вероватно 2006. или 2007., пре него што сам завршио докторат. Добио сам кутију на којој је писало „Напишите вашу критику.“ И моја прва мисао је била: „Шта бих требало да прегледам? Све? Само делите моје мишљење? Имам пуно мишљења, да ли сте сигурни да су сва њих битна? “Наравно, сви су били важни, као и сви други, па је тако рад добио дивно различите резултате, што је вероватно само збунило ауторе. Дивно различите оцене које сам увек добијао у ЦХИ (и које и дан данас раде) и даље дезоријентишу.

Као доктор наука. саветниче, не успевам ни у обуци својих ученика. Када предајем студентима доктората да оцењују рад других? Ко ради да ли их оцењује да ли је преглед поверљив? Групе за читање су једно место за то, али оне су често фокусиране на читање најбољег и најрелевантнијег рада на терену, а не на раду за који је потребна помоћ. Већина прегледа је радова којима је потребна помоћ.

Лично, не мислим да је посао саветника да одлучује о критеријумима по којима ће радови бити прегледани. Мислим да је то посао академске заједнице и да су конференције и часописи оно што ми постављамо те критеријуме експлицитним и тренирамо их. Следећи пут када будем програмирао конференцију или постао уредник часописа, одрадићу обуку за све рецензенте.

Објавите све, укључујући рецензије

Кад људима кажем ову идеју, они мисле да сам луд. Пре него што исто размислите, саслушајте ме.

Ево основне идеје: када нешто пошаљемо за објаву, требали бисмо спровести наше уобичајене процесе прегледавања, а затим објавити све што аутори желе објавити, под условом да се објаве и све рецензије њиховог рада и отворене за даљу јавну ревизију од стране сви у академској заједници. Алтернативно, аутори би могли одлучити да повуку своје дело и додатно га побољшају. Будућност равноправног прегледа требала би бити отворена, непрекидна и транспарентна, при чему ће сваки рад на свијету бити подвргнут (модерираној) вјечној критици. На пример, требало би да се вратим својим старијим радовима објављеним у дигиталној библиотеци АЦМ-а и објавим коментар рекавши: „Овај папир је смеће. Овај други рад који сам објавио има много бољи аргумент. “И ја бих требао бити у могућности да то учиним и својим колегама. И сви, укључујући јавност, требали би бити у могућности видјети наше коментаре на све објављене радове, омогућујући тако да се научна комуникација настави у јавности.

Зашто ово?

  • Прво, прошло је време када се морамо бринути о трошковима штампања. Складиштење је јефтино, а наши документи мали.
  • Друго, већ смо све прочитали и оценили. Шта је смисао свих ових писања и прегледавања, само да 75% тога научи академија да га прочита?
  • Треће, зашто вештачки радници вратара за које верујемо да имају вредност, чак и ако дело није савршено?
  • Четврто, одбацивањем толико посла, одбацујемо идеје и напоре наших заједница, што је деморално.
  • Четврто, непрозирност рецензије штети мишљењу јавности о науци. Покажите им како се прави кобасица.

Већина аргумената против горње визије своди се на ово: академици желе да користе конференцијске и часописне публикације за сигнализацију заслуга, поред даљег истраживања. „Морамо одбити папире како би прихваћени папири имали вредност“, кажу они, „у супротном, како бисмо знали шта је добро и лоше што је радно?“ Смешна ствар овог аргумента је да краткорочно и дугорочно не чинимо “ Публику искључиво користим да одлучим који је рад добар и лош. Користимо препоручна писма, користимо награде за најбољи папир, користимо 10-годишње најутицајније папирнате награде, гледамо цитате. Сви знамо да су конференције и часописи, па чак и они врхунски, препуни радова који нису тако сјајни, јер наши поступци рецензије нису тако сјајни. Мало је штете у губљењу једног сигнала кад их већ имамо толико.

Штавише, добили бисмо нове сигнале. Какав дијалог о објављеном делу настао је од објављивања? Ко прича о делу? Како разговарају о томе? Замислите како би се променило оцењивање кандидата на факултету: то не би била само листа објављених радова, већ уместо тога, живописан низ нити о значењу и значају публикације - или тишина, која говори о нечем другом.

Други аргументи против ове визије усредсређени су на страхове које људи више неће прегледавати ако њихове критике постану јавне. За мене је то само знак да не едукујемо на одговарајући начин јавне интелектуалце. Да ли је наш его толико крхак да би неко ко види наше добро образложене критике срушио нашу репутацију? Или се бојимо да наше критике нису тако добро образложене?

Очигледно, требало би пуно смислити како би такав модел функционисао. Ако постоји било која заједница која то може да уради, то је рачунарство и информационе науке, посебно интеракција човек-рачунар.

Ширина опсега ограничава нашу визију

Наравно, за спровођење било које од наведених промена потребно је време. А с обзиром да већ волонтирамо, време је ограничено. Неки од нас морају да се посвете неком нашем времену, посебно поученим професорима попут нас, да би ове промене постале стварност. Покажимо осталим академским установама шта стручни преглед може бити. Ко је са мном?