Бъдещето на оценката на научните изследвания: Синтез на текущи дебати и разработки

Една динамична и приобщаваща изследователска система е изключително важна както за науката, така и за обществото, за да се развиват фундаменталните знания и разбиране и да се справят с все по-неотложните глобални предизвикателства. Но изследователската система е подложена на натиск поради нарастващите очаквания от множество участници (включително финансиращи организации, правителства и издателската индустрия), напрежението между динамиката на конкуренцията и сътрудничеството, развиващата се научна комуникационна система, агресивната – понякога – индустрия за публикуване и анализ на данни и ограничени ресурси. Изследователското предприятие трябва да управлява тези изисквания и напрежение, като същевременно поддържа качеството на научните изследвания, поддържа целостта на научните изследвания, е приобщаващо и разнообразно и защитава както фундаменталните, така и приложните изследвания.

През последното десетилетие този натиск върху и необходимостта от отзивчивост на научната система бяха придружени от по-критични размишления върху системите за оценка на научните изследвания и измерване на резултатите. Въпреки че подходящи, чувствителни към контекста методологии за оценка на качеството и въздействието на научните изследвания са важни, дебатите се засилиха относно широкообхватните, сложни и двусмислени ефекти на настоящите критерии и показатели за оценка върху качеството и културата на научните изследвания, качеството на доказателствата, които информират за разработването на политики, приоритети в научните изследвания и финансирането на научните изследвания, индивидуалните кариерни траектории и благосъстоянието на изследователите. В някои части на света има нарастващо признание, че тесният и опростен набор от оценъчни показатели и показатели не улавят задоволително качеството, полезността, почтеността и разнообразието на изследванията. Рутинно използваните – често базирани на списания – показатели не успяват да обхванат важни допълнителни измерения на висококачествени изследвания, като тези, открити в наставничеството, споделянето на данни, ангажирането с обществеността, подхранването на следващото поколение учени и идентифицирането и предоставянето на възможности на слабо представени групи. Освен че е твърде тесен по обхват, проблемът с неправилното прилагане на метрики и индикатори също се смята, че изкривява стимулите за постижения, поставя в неблагоприятно положение някои дисциплини (включително жизненоважни интердисциплинарни и трансдисциплинарни изследвания) и подхранва хищнически и неетични практики за публикуване.

Кампаниите за ограничаване на неправилното прилагане на показатели, разширяване на критериите за качество и по-систематично трансформиране на изследователската култура чрез манифести и изявления, принципи и реформи поставиха началото на глобален дебат относно необходимостта от реформиране на оценката на научните изследвания. Тези гласове сега призовават за преминаване от манифести към действие. Това се случва на фона на трансформационни промени в начините, по които се предприемат и комуникират изследванията. Възходът на отворените изследователски рамки и социалните медии, преминаването към ориентирана към мисията и трансдисциплинарна наука, нарастването на отворената партньорска проверка и трансформиращият потенциал на изкуствения интелект (AI) и машинното обучение изисква ново мислене за това как се оценяват изследванията и изследователите .

На този фон, Глобална млада академия (GYA)- Междуакадемично партньорство (IAP) и Международен научен съвет (ISC) обединиха усилията си, за да направят равносметка на дебатите и развитието в оценката на научните изследвания в световен мащаб, използвайки група от учени и серия от регионални консултации. Нови подходи се разработват и пилотират от институции за висше образование и финансиращи научни изследвания в някои части на света и няколко от тях са включени в този документ. В други части на света тези дебати и действия се зараждат или дори липсват. Тъй като изследователските системи се развиват с различна скорост, съществува риск от разминаване и фрагментация. Подобно разминаване може да компрометира хомогенността, необходима, за да се даде възможност за научноизследователско сътрудничество и да се улесни мобилността на изследователите в различни географски райони, сектори и дисциплини. Един размер обаче не може да пасне на всички и има нужда от чувствителни към контекста усилия за реформиране на оценяването, като се признават местните предизвикателства.

С фокус върху изследванията в публичния сектор и оценката на изследванията и изследователите, този дискусионен документ е глобален в своята перспектива, обхващащ дневен ред, който обикновено е доминиран от развитията в Европа и Северна Америка: регионални перспективи и примери за национално развитие и институционална реформа са подчертано. Глобалното и колективно членство на GYA, IAP и ISC представлява широко разрез на изследователската екосистема, чиито разнообразни мандати могат да улеснят истинската системна промяна. Този документ се стреми да служи като стимул за GYA, IAP и ISC – като платформи за взаимно учене, експериментиране и иновации – да работят със своите членове, други научни институции и ключови кръгове по целия свят, да инициират и развиват разговори и да мобилизират по-приобщаващи и съвместни действия.

Препоръките за GYA, IAP и ISC и техните членове (вижте раздел 5) са структурирани около техните роли като застъпници, образци, новатори, финансиращи, издатели, оценители и сътрудници, с индикативни времеви рамки за действие. Най-непосредствено тези действия включват създаване на пространство за споделяне на уроци и резултати от съответните инициативи до момента (за изграждане на общност от практики); в средносрочен план, съвместно свикване на форуми с множество заинтересовани страни с ключови групи за преработване и прилагане на оценка на научните изследвания по практични, чувствителни към контекста и приобщаващи начини; и, в по-дългосрочен план, насърчаване на нови проучвания, които допринасят за мисленето за бъдещето, чувствително към бързото развитие на технологиите за изкуствен интелект, методологиите за партньорска проверка и реформите и комуникационните медии.

- Глобална млада академия (GYA), Междуакадемично партньорство (IAP) и Международен научен съвет (ISC) се събраха през 2021 г., за да направят равносметка на предизвикателствата, дебатите и развитието в оценката/оценката на научните изследвания в световен мащаб, в различни изследователски култури и системи, и да проучат начините, по които те биха могли да участват и да повлияят на преосмислянето на оценката/оценката на научните изследвания за 21 век, по открит и приобщаващ начин.

Беше свикана международна група за изследване на обхвата (Приложение А), за да проучи полето и да посъветва трите организации как биха могли да засилят съществуващите усилия за реформиране на оценката на научните изследвания. Основно в тази работа беше предпоставката, че (1) една съгласувана инициатива, ръководена от изследователи, би дала на глобалната изследователска общност по-силен глас при оформянето на бъдещето на оценката на научните изследвания и (2) има ползи от „оценяването с оценяваните“; по този начин помага да се начертае път към устойчива, системна промяна в културите и практиките за оценяване.

В допълнение към документалното проучване, в края на 2021 г. беше проведена поредица от регионални консултации с експерти, определени от групата за обхват и партньори. Дискусионният документ е основният резултат от тази работа. Той е предназначен да служи като проспект за проучвателни разговори с множество заинтересовани страни, не на последно място със самата глобална изследователска общност.

Практиките за оценка на научните изследвания служат на множество цели и се провеждат от множество заинтересовани страни. Те се използват за оценка на предложения за научни изследвания за решения за финансиране, научни статии за публикуване, изследователи за набиране или повишение и представянето на изследователски институции и университети. Този документ се фокусира предимно върху оценката на изследователите и изследванията и не обхваща институционална оценка или класиране, въпреки че всички тези области на оценка са неразривно свързани. Настоящите практики разчитат до голяма степен на количествени и до голяма степен базирани на списания показатели, като фактор на въздействието на списанието (JIF), брой публикации, брой цитирания, h-индекс и оценка за влияние на статията (AIS). Други показатели включват целеви приходи от безвъзмездни средства, мерки за принос (като финансиране на научни изследвания или размер на изследователския екип), брой регистрирани патенти и, напоследък, показатели за социални медии (по-рано „алтметрики“), като споделяния или изтегляния в социални медии. Заедно тези показатели оказват дълбоко влияние върху институционалната, изследователската групова и индивидуалната репутация, индивидуалните и съвместните изследователски програми, кариерните траектории и разпределението на ресурсите.

През последните две десетилетия глобалните инвестиции в научноизследователска и развойна дейност (НИРД) са се утроили – до около 2 трилиона щатски долара годишно. Само последните години донесоха най-бързия ръст на разходите за научноизследователска и развойна дейност от средата на 1980-те години на миналия век, с около 19% (ЮНЕСКО, 2021 г.) [1]. Тази допълнителна инвестиция в научни изследвания носи със себе си култура на отчетност, която оказва натиск върху изследователските институции и лица и може да генерира отклонения или погрешни стимули в отговор. Това също доведе до по-големи стремежи: да се поддържа качество и да се намалят отпадъците от изследвания, грешките и неефективността; максимално приобщаване и разнообразие; оптимизиране на научните изследвания като глобално обществено благо; и насърчаване на по-отворена и ангажирана стипендия. Без реформа качеството, почтеността, разнообразието и полезността на научните изследвания са застрашени.

Количествените показатели могат да формират важна част от оценката на научните изследвания при прехода към по-отворена, отчетна и насочена към обществеността изследователска система (Кралското общество, 2012 г) [2]. Но те също са частично отговорни за подхранването на изследователската култура „публикувай или загини“, която съществува в световен мащаб, с пагубни ефекти върху качеството на резултатите от научните изследвания, целостта и надеждността на изследователските системи и многообразието на изследователските общности (напр. Haustein и Larivière, 2014) [3]. Това е така, защото показателите се използват като заместители на качеството на изследванията от институции, политици и финансиращи изследователи, но те са мярка за резултатите, а не за качеството или въздействието на изследването сами по себе си. Като такива, тези участници правят много, за да определят социалния и културен контекст, в който се провеждат изследванията, а системите за възнаграждение и повишение на академичните среди оформят избора на учените на всички етапи от тяхната кариера (Маклеод и др., 2014 г) [4].

„Използването на библиометрични индекси... като прокси показатели за представянето на изследователите е удобен индекс за оценка, но дълбоко погрешен. Повечето поставят безмилостен фокус върху индивидуалните постижения, омаловажават изследователската подкрепа чрез интереса на университета към показатели със силно въздействие, оказват натиск върху всички да „маркират квадратчета“ и да се съобразяват, като същевременно играят важна роля в изкривяването на пазара на публикации в списания. Има спешна нужда от реформа.”

Откриване на Record of Science (2021 г.), Международният научен съвет

Другата общност от заинтересовани страни, притежаваща огромна власт и влияние върху изследователската комуникация и производството на знания, е издателският сектор. Метриките, базирани на журнал, се превърнаха в мощен стимул за публикуване в търговски списания и могат да стимулират поведение, което може да има сериозни странични ефекти. Вместо да се преценяват резултатите от изследванията по техните научни заслуги, възприеманото качество на списанието, в което е публикувано, е това, което рутинно се приема като доказателство за научно качество, движейки силно комерсиален издателски пазар, основан по-скоро на репутация, отколкото на наука. Разходите за отворен достъп до голяма степен се поемат от таксите за обработка на автори (APC): те могат да бъдат непосилно високи, особено в някои части на света, създавайки бариери пред публикуването на изследвания за изследователи с бедни ресурси и потенциално рискувайки разпадането на международната научна общност. Рисковете да станете все по-зависими от търговските доставчици и техните условия за използване във всички етапи на изследователския процес създават силен аргумент за алтернативи с нестопанска цел. Освен това, тъй като библиометричните индикатори са предоставили доминиращия източник на стимули в университетите, те са намалили стойността на образователната и други форми на научна работа (като преподаване и политически съвети). Тъй като системите за оценка на научните изследвания са склонни да облагодетелстват онези, които осигуряват големи безвъзмездни средства и публикуват в списания с висок импакт фактор, има доказателства, които предполагат, че изследователите, които вече са успели, са по-склонни да успеят отново („ефектът на Матю“, Бол и др., 2018 г) [5].

Когато научното публикуване се превърне в средство за оценка, а не в комуникация, това поставя в неравностойно положение тези, които избират да съобщят своите изследвания по други значими начини (Докладът на ISC за 2021 г) [6]. Това включва общи резултати (и може би основната валута) на Global Young Academy (GYA), InterAcademy Partnership (IAP) и Международния научен съвет (ISC): доклади, работни документи, съвместни изявления, редакционни мнения, новини и уебинари . Някои дисциплини също са в неблагоприятно положение: например изследователи в областта на инженерството и компютърните науки, където (обикновено по-бързата) комуникация чрез конференции и техните доклади е важна; и тези в хуманитарните и социалните науки, които обикновено използват монографии, книги и професионални списания.

Други избират да публикуват в специфични за научни изследвания или местни списания или не могат да си позволят да публикуват своите изследвания (колкото и да са с високо качество) в списания с отворен достъп с високи фактори на въздействие (и съпътстващи високи APC); последното поставя в неблагоприятно положение тези в страните с ниски доходи, особено изследователите в ранна кариера (ECR). Същите тези изследователи са подложени на силен натиск за наети академични длъжности и поведението им е силно обусловено от количествените критерии, използвани от агенциите за финансиране на научни изследвания и институционалните съвети за наемане и повишение. Изкушението да мислиш с индикатори (Мюлер и де Рийке, 2017 г) [7] и дори „играта“ на системата е реалност за всички изследователи навсякъде по света (напр. Ansede, 2023 г) [8].

Проявите на тази игра включват изследователи (съзнателно или по невнимание), които използват хищнически списания и конференции, за да увеличат броя на публикациите си (IAP, 2022 г [9]; Elliott et al., 2022 [10]), отдаване на самоцитиране и фалшифициране на партньорски оценки, плагиатство, инфлация на импакт фактор и „нарязване на салам“ (разделяне на голямо проучване, което би могло да бъде докладвано в една изследователска статия, на по-малки публикувани статии) (Collyer, 2019 г) [11]. Подложени на натиск, изследователите може да се изкушат да прибягнат до хищнически услуги с единствената цел да получат своите докторски степени, да бъдат наети или повишени или да финансират своите изследователски проекти (напр. Абад-Гарсия, 2018 г [12]; Omobowale и др., 2014 г) [13]. Академичните среди, ръководени от показатели, и системите за академично публикуване водят до коварни стимули: къде един изследовател публикува е по-важно от това, което публикува.

Въздействието върху качеството и почтеността на изследванията е изключително тревожно. Броят на оттеглените научни статии се е увеличил драстично през последните години поради неправилно поведение при изследвания и публикуване и лоши или измамни набори от данни. На списанията може да отнеме месеци до години, за да оттеглят ненадеждно изследване, дотогава то може вече да е цитирано многократно и да е публично достояние (Ордуей, 2021 г) [14].

Преобладаването на оценката на научните изследвания, основана на показатели, е недвусмислено и има различни тенденции в световен мащаб, когато става въпрос за реформа на оценяването, което рискува да изостави части от изследователската общност. В своя анализ на глобалния пейзаж на оценката на научните изследвания (Къри и др., 2020 г [15]; подадено), изглежда, че много изследователски и финансиращи институции в страни/региони с по-високи доходи започват да включват по-широк набор от показатели, като например качествени мерки за „въздействие“, докато библиометричните данни остават преобладаващи в институциите в „Глобалния юг“ [16 ], във всички дисциплини. Без по-приобщаващи действия съществува риск от разминаване на националните системи за оценка, потенциално въвеждане на още повече системни пристрастия и потенциални несъвместимости в системите за изследване, оценка, финансиране и публикуване. Това от своя страна може да възпрепятства международното научно сътрудничество и мобилността на изследователите. Създавайки бариери пред сътрудничеството север-юг, това може също така да попречи на съпътстващото укрепване на изследователските екосистеми в глобалния юг – стабилната оценка на научните изследвания укрепва изследователските екосистеми и доверието в тях, намалява вероятността от изтичане на мозъци и помага за установяването на силен човешки капитал за устойчиво развитие. Независимо от това, универсалните версии на това какво представлява добро представяне генерират форми на поведение, които не са непременно благоприятни за отлични постижения, справедливост, прозрачност и приобщаване. Измерването на постиженията на учените, които са процъфтявали в благоприятна среда с добри ресурси, където има изобилие от възможности, по същия начин, както тези, които са се борили с предизвикателствата и са преодолявали препятствията във враждебна и неблагоприятна среда, в най-добрия случай е съмнително (GYA, 2022 г) [17]. Много учени се чувстват исторически и географски изключени от изследователската общност, подхранвани до голяма степен от начина, по който са оценявани през цялата си кариера. При изключването на някои форми на изследване и неуспеха да се овладее разнообразие от идеи в световен мащаб, съществува риск настоящите практики за оценка на научните изследвания да насърчават основната култура/културата на последователи на доминиращи западни модели.

Изследователите в страните с ниски доходи и в ранните етапи от кариерата си се нуждаят от глас, за да могат да помогнат за оформянето на нови модели за оценка по чувствителни към контекста начини, които са подходящи за целта и отчитат предизвикателствата, пред които са изправени ежедневно дневна база. GYA и нарастващият брой национални млади академии дават на ECR този глас и Работна група на GYA за високи научни постижения [18] предлага своите виждания за реформата на оценката на научните изследвания (виж текста по-долу).

Гледки от общността на изследователите в началото на кариерата

Изследователите в началото на кариерата (ECR) са особено загрижени за практиките за оценка на научните изследвания, тъй като техните перспективи за кариера и преследването на изследователската им програма в голяма степен зависят от това как са оценени. Това информира практиките за финансиране, наемане и повишение по начини, които не винаги се възприемат като честни и справедливи.

Въпреки че е очевидно, че решенията за финансиране и човешки ресурси влияят върху състава на работната сила на изследователите, не винаги се признава, че чрез въздействието си върху финансирането оценката на научните изследвания оформя стимули за институциите и изследователите да следват определена изследователска траектория, работа в определено поле или се присъединете към някои мрежи вместо други. По този начин оценката на научните изследвания оформя развитието на самата наука и това е особено вярно по отношение на нейното непропорционално въздействие върху перспективите и очакванията на ECR.

Въпреки че науката е глобално предприятие, някои учени се сблъскват с по-високи бариери, за да навлязат и да се ангажират с изследователската общност поради мястото, където са родени, тяхната идентичност или социално-икономически произход. Това е въпрос на организация на научната индустрия, а не на оценката на научните изследвания сама по себе си, но много ECR смятат, че критериите за оценка не трябва да са слепи за тази реалност на опита на изследователите и не трябва да налагат единни и стандартизирани критерии за различни ситуации.

Изследване, проведено от работната група за научни постижения на GYA (предстоящ доклад), показва, че оценката на научните изследвания може да се ръководи повече от изследователската политика на дадена държава, отколкото от културни или научни дебати. Фокусирайки се върху критериите за повишение до пълна професорска степен (или еквивалент) в академичните среди, докладът показва, че националните политики и институции са склонни да имат специфични документи, определящи техните критерии за оценка на научните изследвания. Вместо да обхващат голям и разнообразен набор от критерии, които могат да се използват за формиране на цялостен поглед върху изследователя, тези документи обикновено се фокусират върху едно измерение или приоритет. Например, някои документи се съсредоточават върху оценката на служебните дейности на изследователя (като преподаване и наставничество) или някои върху натрупаната продукция на изследователя (например по отношение на броя статии в списания) – но рядко и двете.

Има две основни последици от това откритие. Първо, тази изследователска оценка е йерархична и отгоре надолу. Това създава риск, доколкото и метриките, и качествените методи често пренебрегват разнообразието на изследователите: както в техния опит, така и в кариерата им, и – което е също толкова важно – разнообразието в техните методи и идеи. За разлика от това, ECR, представени в GYA, смятат, че би било важно да се признае разнообразието от дейности, които са необходими за изследователското предприятие, и да се разработят схеми за оценка на научните изследвания, които насърчават разнообразието и плурализма, вместо да налагат съответствие и хомологация.

Второ, разликите между дисциплините са по-малко значими от разликите според икономическото състояние на страните, в които работи даден изследовател. Страните с по-ниски доходи изглежда разчитат на количествени показатели и възнаграждават „производителността“, докато страните с по-високи доходи са все по-отворени към качествена оценка на въздействието. Ако това разминаване се развие допълнително, то може да представлява допълнителна пречка пред международната мобилност на учените – което е особено важно за ECR.

В заключение, докладът на GYA подчертава, че няма сребърен куршум: оценката на научните изследвания трябва да бъде насочена към целите на оценката и в крайна сметка към целите на институцията или изследователската политика на дадена държава. Оценяването трябва да позволява разнообразието от профили и кариери на изследователи и да приема различен фокус в зависимост от целта на оценяването. Тъй като науката е глобален и самокритичен разговор, външната оценка не винаги е необходима. Наистина употребата и реалната стойност на обидните класации (на хора, институции, търговски обекти или дори цели държави) често се обсъждат.

Днешните глобални предизвикателства, много от които са артикулирани в целите за устойчиво развитие (ЦУР) на ООН (ООН), изискват трансформиращи, междудисциплинарни и трансдисциплинарни изследвания, които сами по себе си изискват нови модалности на предоставяне на изследвания и сътрудничество (ISC, 2021 г) [19]. Неотложността на приобщаващите, включващи, трансформиращи, трансдисциплинарни изследвания не е съпоставена с начина, по който научните изследвания се подкрепят, оценяват и финансират – за да могат научните изследвания да изпълнят обещанието си към обществото, те се нуждаят от по-отворени, приобщаващи, чувствителни към контекста системи за оценка (Глюкман, 2022 г) [20]. Вграденото поведение на академичните среди, финансиращите и издателите може да затрудни промяната, така че инвестициите потенциално да бъдат насочени далеч от областите с най-голяма нужда.

Растежът на интердисциплинарните и трансдисциплинарните изследвания и науката за участие или гражданите са важни развития и жизненоважни за справяне с глобалните предизвикателства. Тъй като изследванията пресичат дисциплинарни и институционални граници и ангажират по-широк набор от заинтересовани страни – включително потребителската общност за съвместно проектиране на спешни изследователски въпроси за обществото – традиционните критерии за оценка на академичните изследвания са недостатъчни и дори могат да ограничат развитието и използването на трансдисциплинарни изследвания (Belcher et al., 2021) [21]. Необходими са по-подходящи принципи и критерии за насочване на трансдисциплинарната изследователска практика и оценка: ранен пример за рамка за оценка на качеството е изградена около принципите на уместност, достоверност, легитимност и полезност (Belcher et al., 2016) [22].

Начините, по които изследванията се поръчват, финансират, провеждат и съобщават, се развиват с темпове и изискват ускоряване на реформата за оценка на научните изследвания. Те включват следното:

(1) Преходът към отворена наука

Движението за отворена наука изисква съпътстваща реформа на системите за оценка на научните изследвания, за да се подобри откритостта и прозрачността. Много от показателите и показателите, използвани за измерване на ефективността на научните изследвания, сами по себе си са непрозрачни и често се изчисляват зад затворени търговски врати. Тази липса на прозрачност компрометира автономията на изследователската общност – тя ограничава възможностите за оценка, тестване, проверка и подобряване на изследователските показатели (Wilsdon и др., 2015 г [23]). Отговорната оценка на научните изследвания се превръща в основен аспект на глобалните движения към отворена наука, както се вижда например в Препоръката на Организацията на обединените нации за образование, наука и култура (ЮНЕСКО) относно отворената наука (ЮНЕСКО, 2021 г [24]) – което включва разработването на инструментариум за отворена наука за своите членове, за да им помогне да преразгледат и реформират своите оценки на изследователската кариера и критерии за оценка [25].

(2) Развитие на партньорската проверка

Разрастването на откритата партньорска проверка – независимо дали публикуването на доклади за партньорска проверка и/или публично идентифициране на рецензенти – е важно развитие за оценката на научните изследвания (Барога, 2020 г [26]; Woods et al., 2022 [27]). Растежът на инфраструктурата за данни даде възможност на издателите да генерират идентификатори на цифрови обекти (DOI) за доклади за партньорска проверка, да свързват доклади за партньорска проверка с индивидуални идентификатори на Open Researcher и Contributor (ORCID) и да публикуват документи като предпечатни документи. Броят на предпечатите нарасна значително по време на глобалната пандемия от COVID и разкри предизвикателствата, възникнали при оценката на изследванията в режим на бързо реагиране. Независимо от това, отворените практики за партньорска проверка – независимо дали са преди или след публикуването – могат да помогнат да се наруши контролът, който търговските издатели имат върху изследователската комуникация и процесите на производство на знания, намалявайки силата на научното списание и свързаните с него показатели като JIF. Отворените записи на дейностите по партньорска проверка могат също така да осигурят инфраструктура за документиране – и с времето да генерират по-голяма стойност в – дейностите по партньорска проверка, които са жизненоважна професионална услуга, често до голяма степен невидима и недооценена в рамките на академичните оценки (Калтенбрунер и др., 2022 г [28]).

(3) Приложението на изкуствения интелект и машинното обучение

Технологичният напредък в областта на изкуствения интелект (AI) и машинното обучение вероятно ще има дълбоки последици за оценката на научните изследвания, включително процесите на партньорска проверка, които я подкрепят (напр. Холм и др., 2022 г [29]; Проктър и др., 2020 г [30]). AI вече се използва за рационализиране и укрепване на партньорската проверка (Природа, 2015 [31]; Природа, 2022 г [32]), тествайте качеството на партньорската проверка (Северин и др., 2022 г [33]), тествайте качеството на цитатите (Гад, 2020 г [34]), откриване на плагиатство (Foltýnek и др., 2020 г [35]), хващат изследователи, които подправят данни (Куач, 2022 г [36]) и намиране на партньорски рецензенти, които са все по-недостатъчни, защото тази работа не получава кредита, който заслужава при оценката на изследователите. „Разговорният AI“, като ChatGPT (Chat Generative Pre-Trained Transformer), има капацитета да проектира експерименти, да пише и завършва ръкописи, да извършва партньорска проверка и да поддържа редакционни решения за приемане или отхвърляне на ръкописи (Природа, 2023 г [37]). Съществува също така потенциал за AI да подобри ефективността на партньорската проверка чрез използване на алгоритми за облекчаване на тежестта на партньорските рецензенти като рецензенти на резултатите от изследванията (Природа, 2022 г ). Използването на AI вече се пилотира в Китай за намиране на съдии (Природа, 2019 г [39]).

Всички тези AI приложения могат да намалят тази тежест и да позволят на опитни експерти да съсредоточат преценката си върху качеството на изследванията и по-сложните оценки (Thewall, 2022 г [40]). Но те също така рискуват да разпространят пристрастия, защото са предсказуеми технологии, които подсилват съществуващите данни, които може да са пристрастни (например по пол, националност, етническа принадлежност или възраст): наистина, самото използване на AI може да се възползва от по-задълбочено разбиране на това какво представлява „качеството“ ' проучване (Чомски и др., 2023 г [41]; ISI, 2022 г [42]).

Жизненоважно обаче е, че всички форми на AI и машинно обучение са отворени за злоупотреба (Блаут и др., 2022 г. [43]; Bengio, 2019 г [44]). Академичните и изследователски общности ще трябва да изградят готовност и устойчивост към това, като работят с правителството, индустрията и ръководството на гражданското общество, управляващи това пространство.

(4) Възходът на социалните медии

Конвенционалните количествени мерки за въздействието на научните изследвания не успяват да отчитат нарастването на ангажираността в социалните медии и социалните мрежи на изследователите/учените (Йордания, 2022 [45]). Много академици използват платформи за социални медии, за да ангажират общности, политици и обществеността през целия живот на своя изследователски проект; за положително ангажиране, тестване и информиране на техните изследвания и внасяне на разнообразие от идеи и входове, вместо просто да публикуват крайния резултат като свършен факт за аудиторията на получателя. Тази ангажираност не се възприема от конвенционалните форми на оценка на изследванията, но може да доведе до по-широки възможности за влияние и обхват. Социалните медийни показатели („altmetrics“) се разработват като принос към отговорните показатели (Wouters и др., 2019 г [4]) и включват Twitter или Facebook споменавания и броя на последователите в ResearchGate, например. От една страна, тези алтметрики могат да помогнат за отваряне, създаване на пространство и разширяване на оценката (Рафолс и Стърлинг, 2021 г [47]), но от друга страна – подобно на други индикатори – също може да се използва безотговорно и/или да се разглежда като налагащ друг слой от показатели в системите за оценка.

Предизвикателствата пред реформата на оценката на научните изследвания са многобройни. Няколко от най-значимите са илюстрирани тук.

Всяка реформа, която включва повече качествени мерки, трябва в същото време да гарантира качеството на фундаменталните и приложните изследвания. Има анекдотични доказателства, че някои учени може сами да се противопоставят на реформата, може би особено напреднали кариерни изследователи, които са процъфтявали в сегашната система, защото се страхуват, че тя рискува да подхранва посредствени изследвания, или че по-качествените форми на оценка могат да предпочетат приложните пред фундаменталните изследвания. Реформата на критериите за оценка на научните изследвания има тенденция да се оформя около движения към ориентирани към мисия, обществено въздействащи изследвания, които се обръщат към обществена и политическа подкрепа по начин, по който по-малко осезаемите основни или научни изследвания в синьото небе не могат. Някои твърдят, че е необходимо по-нюансирано тълкуване на „стойността“ на научните изследвания, за да се подкрепят иновациите, тъй като бъдещето изисква непрекъснати инвестиции във фундаментални, водени от любопитство изследвания и по-широко оценяване на ключовата роля, която те играят в способността да се отговори на глобалните предизвикателства (GYA, 2022 г [48]).

Липсата на последователност в значението и използването на изследователската терминология, като цяло, е бариера пред промяната. Концептуалната рамка за оценка на научните изследвания не се е променила съществено с течение на времето, нито езикът, който я поддържа: изследователската система все още е заседнала в стари дихотомии като „основна“ и „приложна“ наука и термини като „въздействие“, „качество“ (което безполезно се приравнява с производителност) и „върхови постижения“ не са ясно дефинирани по начин, който избягва географски, дисциплинарни, кариерни пристрастия и полови пристрастия (Джонг и др., 2021 г [49]): това може да бъде особено остро в групите за вземане на решения, на които липсва разнообразие (Хач и Къри, 2020 г ) [пет].

Подобно на оценката, основана на показатели, по-качествените форми на оценка също са несъвършени. Излагането на аргумента, че процесите на партньорска проверка и експертната преценка са поне толкова важни, колкото библиометрията, не е лесно. Те могат да бъдат пристрастни поради липсата на яснота и прозрачност в процеса на партньорска проверка. Комисиите за партньорска проверка, например, са критикувани като механизми, които запазват установените форми на власт и привилегии, като позволяват на „мрежите на старите момчета“ и хомофилията (оценителите да търсят такива като себе си) да продължат, като същевременно са уязвими към динамиката на груповото мислене. Количествените показатели, колкото и да са несъвършени, се разглеждат в някои части на света като защита срещу непотизъм и пристрастия. Подобни аргументи могат да се приложат към партньорската проверка на изследователски статии, като използването на по-качествена оценка потенциално отваря вратата за други форми на дискриминационно поведение.

Липсата на професионално признание и обучение за партньорска проверка под каквато и да е форма създава възпиращи стимули да се служи като партньорска проверка, като по този начин намалява капацитета. Освен това, тъй като търсенето надвишава предлагането, това може да създаде стимули за намаляване на ъглите и намаляване на строгостта. Необходими са повишаване на прозрачността на партньорската проверка (независимо дали е напълно отворена, анонимна или хибридна) и обучение, насърчаване и възнаграждаване на добри практики за партньорска проверка; както и по-нататъшни изследвания на модели за неговата еволюция, тъй като резултатите от изследванията се диверсифицират (IAP, 2022 г [51]) и AI технологиите напредват.

Дебатите относно реформата в оценката на научните изследвания са сложни и не са двоични. Качествената и количествената информация често се комбинират в контекст на партньорска проверка: изявления като Лайденския манифест за изследователски показатели (Хикс и др., 2015 г [52]) призовават за „информирана партньорска проверка“, при която експертната преценка се подкрепя – но не се ръководи от – подходящо подбрани и интерпретирани количествени показатели и от качествена информация. Дебатът относно оценката на научните изследвания не е двоичен избор на инструменти за оценка „качествено срещу количествено“, а как да се осигури най-добрата комбинация от множество форми на информация.

И накрая, всяка реформа трябва да бъде удобна и осъществима. Изследователската система вече показва признаци на колапс, тъй като обемът на публикациите нараства експоненциално и тежестта на прегледа пада неравномерно в изследователското предприятие (напр. Publons, 2018 г [53]; Кованис и др., 2016 г [54]; Природа, 2023 г [55]). Метриките, базирани на списания, и h-индексът, заедно с качествените понятия за престиж на издателя и институционална репутация, могат да осигурят удобни преки пътища за заетите оценители и да представят пречки пред промяната, които са дълбоко вкоренени в академичната оценка (Хач и Къри, 2020 г [56]). Количествените показатели се приветстват в някои страни като осигуряващи относително ясни и недвусмислени пътища за назначаване и повишение. В „Глобалния юг“ средните фактори на въздействие се използват рутинно за избиране на кандидати и всяка алтернатива трябва да бъде еднакво приложима и да може да използва допълнителните ресурси, неизбежно необходими за разширяване на обхвата на оценката. Удобството на използването на прости количествени показатели при оценката на научните изследвания вероятно ще бъде основна пречка за промяната, а въвеждането на нови системи за оценка може дори да създаде по-глобално неравенство поради липса на капацитет или компетентност в някои страни.

През последното десетилетие имаше поредица от високопоставени манифести и принципи за оценка на научните изследвания за справяне с тези предизвикателства, включително Манифеста от Лайден (разработен от група международни експерти), Принципите от Хонконг (Moher et al., 2020 [57]) (разработен на 6-та световна конференция за почтеност на научните изследвания през 2019 г.) и Метричният прилив [58] и Използване на метричния прилив [59] доклади (разработени в контекста на преглед на рамката за изследване и оценка на Обединеното кралство, REF). Има най-малко 15 различни усилия, настояващи ключовите заинтересовани страни – независимо дали политици, финансиращи или ръководители на институции за висше образование (ВУЗ) – да сведат до минимум потенциалната вреда от настоящите системи за оценяване. Всички тези инициативи са достигнали до широка публика и са прогресивни в своя фокус върху отговорните показатели като предпоставка за подобряване на изследователската култура и внасяне на равенство, разнообразие, приобщаване и принадлежност към изследователската общност. Но има нарастваща загриженост от страна на някои архитекти на тези инициативи, че макар да са полезни, те отклоняват от осезаеми практически действия: актът да бъдеш подписал е ефективен само ако е последван от практическо изпълнение (Природа, 2022 г [60]).

Налице е все по-голяма подкрепа за „оценка или оценка на отговорното изследване“ и „отговорни показатели“ (ДОРА, 2012г [61]; Hicks et al. 2015 [62]; Wilsdon и др., 2015 г), които се отдалечават от чисто количествени показатели към по-голямо разнообразие от мерки, за да дадат възможност на изследователите да опишат икономическото, социалното, културното, екологичното и политическото въздействие на своите изследвания; за отчитане на проблемите, които изследователската общност цени: „данни за добро“ или „показатели, водени от стойност“, които се отнасят до по-широки атрибути (Къри и др., 2022 г [63]). През последните години иновативни и прогресивни подходи за отговорна оценка на научните изследвания бяха разработени и пилотирани от някои висши учебни заведения и финансиращи изследвания в региони и страни по света. Някои са подчертани тук.

От глобалните инициативи, споменати по-горе, Сан Франциско през 2013 г.Декларация за оценка на научните изследвания[64] (DORA) е може би най-активната глобална инициатива. Той каталогизира проблемите, причинени от използването на базирани на списания индикатори за оценка на представянето на отделни изследователи и предоставя 18 препоръки за подобряване на тази оценка. DORA категорично обезсърчава използването на базирани на списания показатели за оценка на приноса на изследовател или когато искате да наемете, популяризирате или финансирате. Към средата на април 2023 г. декларацията е подписана от 23,059 160 подписали (институции и физически лица) в XNUMX държави, които се ангажират с реформи. С фокус върху справянето с присъщите предизвикателства и вродените пристрастия на качествената оценка, DORA се развива Инструменти за напреднала изследователска оценка (TARA) [65] за подпомагане на прилагането на декларацията на практика: тези инструменти включват табло за индексиране и класифициране на иновативни политики и практики в оценката на кариерата и набор от ресурси за подпомагане на състава на комисиите за де-пристрастия и за разпознаване на различни, качествени форми на изследователско въздействие.

Освен това DORA финансира десет проекта – в Аржентина, Австралия, Бразилия, Колумбия (2), Индия, Япония, Холандия, Уганда и Венецуела – за тестване на различни начини за насърчаване на реформата в оценката на научните изследвания в техния местен контекст, както и компилиране на примери за добри практики: например повишаване на осведомеността, разработване на нова политика или практика, обучение и практически насоки за кандидатите за работа (ДОРА [66]). Търсенето на безвъзмездни средства от този вид е високо – над 55 кандидати от 29 държави – което показва нарастващо признаване на необходимостта от реформа.

Професионалните асоциации за управление на научните изследвания като Международната мрежа от дружества за управление на научните изследвания (INORMS) също активно разработват ресурси за насочване на организационните промени, включително Група за оценка на рамката на изследванията на ОБХВАТ | INORMS – рамката INORMS SCOPE за оценка на научните изследвания [67], което започва с дефиниране на това какво се оценява, кой се оценява и защо (полезен обяснителен плакат тук [68]).

Секторът за международно развитие предложи нови перспективи за оценка на научните изследвания, отличен пример за това Качество на изследванията плюс | IDRC – Изследователски център за международно развитие [69], който измерва какво има значение за хората в края на изследването. Инструментът Research Quality Plus (RQ+) признава, че научните заслуги са необходими, но не достатъчни, като признава решаващата роля на потребителската общност при определянето дали изследванията са уместни и легитимни. Той също така признава, че актуализацията и влиянието на изследванията започват по време на изследователския процес. Изследователските приложения често се оценяват от силно интердисциплинарни панели, включващи също експерти по развитие от външни академични среди (напр. държавен отдел или неправителствена организация (НПО)), практици и представители в страната: това засилва значението на потребителската общност/експерти, които не са предмет необходимост от разбиране на изследването и как то може да се приложи на практика. Изследванията в сложни, с ниски доходи или нестабилни условия могат да бъдат придружени от набор от етични инструменти или рамка, предназначени да информират и подкрепят етичните избори в жизнения цикъл на изследването, от началото до разпространението и въздействието, напр. Reid et al., 2019 [70]. Подходите на „Теория на промяната“ се използват широко в изследванията на международното развитие от донори, НПО и многостранни агенции, където кандидатите трябва да формулират пътища за въздействие, подкрепени от рамки за мониторинг, оценка и обучение, напр. Валтерс, 2014 г [71]. Академичната изследователска общност може потенциално да се поучи от общността за развитие.

Признавайки ролята на донорите при оформянето на стратегиите на висшите учебни заведения, Оценка на отговорните изследвания на Световния изследователски съвет (GRC). (RRA) инициатива [72] стимулира големи финансиращи изследователи по целия свят да работят за постигане на амбициите на RRA в техния регионален и национален контекст и да разработят ефективни рамки за оценка за оценка на въздействието (обяснително видео тук [73]). Възлагане на работен документ относно RRA (Къри и др., 2020 г [74]), GRC призова своите членове да внедрят принципите на RRA и да предприемат конкретни действия за тяхното изпълнение и да се учат един от друг чрез сътрудничество и споделяне на добри практики. Ан международна работна група [75] предоставя насоки и подкрепа на членовете на GRC, като им помага да преминат от движение към действие.

До голяма степен благодарение на усилията на GYA, ECR също започват да се мобилизират около тази програма. Това е Работна група за високи научни постижения [76] работи за идентифициране на изследователска среда, благоприятна за „отприщване на любопитството и креативността в науката и за насърчаване на развитието на човешкия потенциал чрез разнообразие и приобщаване“. Тяхната работа призовава общността на ECR да оспори дефинициите за „превъзходство“, използвани от техните организации, да се включи в инициативи за реформиране на оценката на научните изследвания и да се присъедини към движението на Младите академии. Той също така призовава финансиращите и наемащите организации да включат ECR в дебатите за оценка на научните изследвания и да признаят по-широкото разнообразие от приноси и кариери в научните изследвания.

Въпреки че някои университети и други висши учебни заведения са подписали DORA и/или се присъединяват към европейското движение (описано по-долу), те не изглежда да се организират колективно около оценката на научните изследвания по начина, по който го правят други ключови групи.

Проблемите, създадени от системи за оценка, които са почти изключително количествени, до голяма степен се разглеждат и диагностицират от гледна точка на „глобалния север“, като „глобалният юг“ е изложен на риск да играе наваксващо изоставане. С риск от прекомерно обобщение съществуват големи системни проблеми в „глобалния север“ около липсата на разнообразие, равнопоставеност и включване, които се изострят от системите за оценка. В „Глобалния юг“ липсва местно и регионално определение за това какво представлява „качество“ и „въздействие“, много различни системи за оценка (дори между отделите в един и същи университет) и сравнително малко предизвикателство за статуквото. В световен мащаб проблемите произтичат от прекомерното наблягане на количествените показатели, връзката между оценката и разпределението на ресурсите, силно конкурентната система за финансиране и натиска за публикуване и пренебрегването на други, по-малко количествено измерими измерения на научните изследвания и академичния живот.

Рецензираната литература за сравнителни изследвания на реформата в оценката на научните изследвания е оскъдна. Рядко изключение е сравнението на интервенции за оценка на научните изследвания в шест различни географски области (Австралия, Канада, Германия, Хонг Конг, Нова Зеландия и Обединеното кралство), което отбелязва, че индексираното представяне на всичките шест изглежда се подобрява след множество видове интервенции (поне използвайки конвенционални библиометрични индикатори) (ISI, 2022 г [77]). DORA предоставя (до голяма степен институционални) казуси на своята уеб страница (ДОРА [78]) и в доклад (ДОРА, 2021г [79]), предназначени да вдъхновяват другите да действат, но това са предимно европейски примери.

Тук авторите предоставят регионални прегледи и национални примери за експерименти и реформи за по-нататъшно вникване – те не са предназначени да бъдат изчерпателни или изчерпателни.

- Коалиция на ЕС за реформиране на оценката на научните изследвания [80], или CoARA, одобрен през юли 2022 г., е най-голямата инициатива за реформа на оценката на научните изследвания в света. Четири години в процес на създаване и разработване от 350 организации в 40 (предимно европейски) държави, Европейската асоциация на университетите и Science Europe (мрежа от финансиращи науката на континента и академии), в съгласие с Европейската комисия, разработиха споразумение или набор на принципите (а 'реформаторско пътуване'), за по-приобщаваща и отговорна оценка на научните изследвания (CoARA, 2022 г [81]). Споразумението се фокусира върху три нива на оценка: институции, отделни изследователи и самото изследване. Докато се управлява от европейски партньори, коалицията има амбиции да стане глобална и DORA и GYA вече са подписали. Подписалите се ангажират да отделят ресурси за подобряване на оценката на научните изследвания, да разработят нови критерии и инструменти за оценка и да повишат осведомеността и да осигурят обучение относно оценката на научните изследвания (напр. за рецензенти). Това развитие е описано като „най-обнадеждаващият признак за истинска промяна“ (Природа, 2022 г [82]).

ЕС също така финансира някои вълнуващи нови инициативи, предназначени да подкрепят реформата за оценка на научните изследвания: по-специално Open and Universal Science (OPUS [83]) – да се разработи „всеобхватен набор“ от показатели за множество изследователски процеси и резултати и по този начин да се стимулират европейските изследователи да практикуват отворена наука – и пространството от данни за оценка на отворената наука GraspOS [84] – да се изгради отворено пространство за данни в подкрепа на реформата на политиката за оценка на научните изследвания.

Европейският съвет за научни изследвания (ERC), който подкрепя граничните изследвания във всички области (с бюджет от 16 милиарда евро за 2021–2027 г.), подписа CoARA и промени своите формуляри и процеси за оценка, за да вгради повече наративни описания, включително отчитане на по-малко конвенционални кариерни пътеки и „изключителен принос“ към изследователската общност. Предложенията ще бъдат оценявани повече въз основа на техните качества, отколкото на базата на миналите постижения на кандидата, и ще продължат да бъдат оценявани от комисии за партньорска проверка, съставени от водещи учени, като се използва единственият критерий за научни постижения (ERC, 2022 г [85]).

Ангажирани са и някои европейски академии. Бордът на ALLEA [86] Европейската федерация на академиите на науките и хуманитарните науки, представляваща девет от над 50-те национални академии в 40 европейски страни, подкрепи движението CoARA. ALLEA се ангажира да създаде специална работна група за събиране, обмен и популяризиране на добри практики за приемане на нови академици. Fellows и да допринесе за „смислен културен обмен“ при оценката на научните изследвания, основан на принципите на качество, почтеност, разнообразие и откритост. В своето Изявление от 2022 октомври , ALLEA призовава академиите-членки да направят следното:

1. Признават разнообразието от приноси и кариери в изследванията в съответствие с нуждите и естеството на изследването; в случай на стипендианти на Академията, процедурите за подбор трябва (1) да вземат под внимание баланса между половете и уникалните предизвикателства на изследователите в началото на кариерата, (2) да подкрепят разнообразието от култури и дисциплини, (3) да ценят разнообразие от области на компетентност и таланти и (4) насърчаване на интердисциплинарността и многоезичието.

2. Базирайте оценката на изследването предимно върху качествена оценка, за която партньорската проверка е централна, подкрепена от отговорно използване на количествени показатели; оценката на върховите постижения и въздействието по отношение на работата на кандидат-стипендиантите трябва да се основава на качествена партньорска проверка, която отговаря на основните принципи на строгост и прозрачност и взема предвид специфичния характер на научната дисциплина.

3. Изоставете неподходящото използване на метрики, базирани на списания и публикации, при оценката на научните изследвания; по-специално, това означава отдалечаване от използването на показатели като фактора на въздействието на списанието (JIF), рейтинга на влиянието на статията (AIS) и h-индекса като доминиращи показатели за качество и въздействие.

Изявление на Allea за реформиране на оценката на научните изследвания в рамките на европейските академии

В техните съвместен отговор [87] към Споразумението на ЕС и коалицията CoARA, общността на ECR в GYA също приветства този ангажимент и предлага начини за прилагане на неговите принципи. Те включват практики, които са приобщаващи и отразяват разнообразието от национални специфики и характеристики на дисциплините, като изследователите от всички етапи на кариера получават обучение, стимули и награди, като задължителното обучение по отворена наука за изследователи, персонал и членове на комитети е жизненоважно.

Университетите с интензивни изследвания в Европа също застанаха зад реформата на оценката на научните изследвания като пътека за „многоизмерна“ изследователска кариера (Оверлейт, Б., 2022 г [88]). Те са разработили обща рамка, за да вдъхновят и подкрепят университетите да признаят разнообразието от приноси в научните изследвания, образованието и услугите на обществото.

На национално ниво няколко държави вече пилотират различни модели за оценка: например националните агенции за финансиране в Белгия, Холандия, Швейцария намлява UK всички използват „разказни автобиографии“. Наративните автобиографии разглеждат по-цялостно академичните постижения: принос към генерирането на знания, към развитието на индивидите, към по-широката изследователска общност и към по-широкото общество (Royal Society [89]). Въпреки че има все по-широка подкрепа за тези видове автобиографии, има също известна загриженост, че те принуждават академиците да бъдат добри във всичко и по този начин рискуват да компрометират задълбочен експертен опит в преследването на статут на всеобхватен (Гроув, Дж., 2021 г [90]).

Четири примера за национални изследователски системи, които координират национални реформи в кариерно ориентираните академични оценки, са включени в следните текстови полета.

Национален пример: Обединеното кралство

Рамката за оценка на научните изследвания в Обединеното кралство (REF) измерва въздействието на научните изследвания чрез две измерения: „значимост“ (осезаемата разлика, която проектът прави) и „обхват“ (количествено измеримата степен, до която го прави) (УКРИ). Въздействието тук се дефинира като „въздействие върху, промяна или полза за икономиката, обществото, културата, обществената политика или услугите, здравето, околната среда или качеството на живот, извън академичните среди“, но отвъд това то е много отворено, дисциплина- променливи и може би двусмислени, като не отчитат адекватно обществената ангажираност, например.

REF на Обединеното кралство се оценява през 2022–2023 г. съгласно Програма за оценка на бъдещи изследвания да проучи възможните нови подходи към оценката на резултатите от научните изследвания във висшето образование в Обединеното кралство и включва разбиране на международната практика за оценка на научните изследвания. Следващата итерация на REF вероятно ще отчете по-разнообразен набор от резултати и може би дори ще намали значението, което им се придава. Настоящият модел придава 60% значение на резултатите, 25% на въздействието на научните изследвания и 15% на изследователската култура/среда. Ако те бяха по-равномерно претеглени, тогава REF щеше да изглежда много по-различно, с по-голямо значение, придавано на изследователската култура, почтеността на изследванията и работата в екип (Гроув, 2020 г).

Национален пример: Финландия

През 2020 г. Финландската федерация на научните общества координира работна група от финансиращи научни изследвания, университети и синдикати, които публикуваха изявлението Добра практика в оценката на научните изследвания. Това определя насоки за следване на отговорен процес за оценяване на отделни преподаватели, включително пет общи принципа на оценяване: прозрачност, почтеност, справедливост, компетентност и разнообразие. Добрата практика в оценката на научните изследвания изисква почтеността на научните изследвания, образованието и наставничеството и научните услуги (напр. партньорска проверка) да бъдат по-добре признати при оценяването на академичния принос на отделните лица. Декларацията разглежда оценките не като просто създаване на обобщаващи преценки: то също така насърчава оценителите да споделят обратна връзка с оценяваните лица, за да улеснят обратната връзка и ученето.

Организациите, извършващи научни изследвания, и организациите, финансиращи научни изследвания, са се ангажирали да прилагат добри практики в оценката на научните изследвания и да генерират свои собствени местни варианти на насоките, като се разработва модел на автобиография на национално портфолио на изследовател. Добрата практика в оценката на научните изследвания се ангажира с редовни прегледи и усъвършенствания.

Национален пример: Холандия

В Холандия националната програма за признание и награди започна през 2019 г. с публикуване на декларацията за позицията Стая за таланта на всеки. Това общонационално сътрудничество между Кралската холандска академия на изкуствата и науките (KNAW – член на IAP и ISC), финансиращи изследователи, университети и медицински центрове заявява, че трябва да се извърши системна модернизация на културите за оценка на научните изследвания. По този начин той излага пет амбиции за промяна в процедурите за оценка: по-голямо разнообразие в кариерния път, признаване на индивидуалното и екипното представяне, приоритизиране на качеството на работата пред количествените показатели, отворена наука и академично лидерство.

От 2019 г. холандските университети започнаха да въвеждат свои собствени местни преводи на националната декларация за визия. Едновременно с това финансиращите агенции въведоха повече формати на „разказваща автобиография“ и престанаха да изискват библиометрична информация, позовавайки се на Сан Франциско DORA като вдъхновение. Холандският изследователски съвет съвсем наскоро се премести в an CV, базирано на доказателства в които може да се използва някаква количествена информация. KNAW също разработи своя собствена тригодишен план за вътрешно прилагане на програмата за признания и награди. Мениджър на програмата и екип на пълен работен ден бяха назначени за улесняване на програмата за реформа на признанията и наградите, а „Фестивал на признанията и наградите“ се провежда ежегодно сред основните заинтересовани страни в реформата в подкрепа на обучението в цялата общност.

И накрая, финансиран от грант на DORA Community Engagement, the Инициатива „Млад учен в преход“ за докторанти, базирана в Утрехт, разработи ново ръководство за оценка на докторанти в опит да промени изследователската култура.

Национален пример: Норвегия

През 2021 г. Норвегия, Норвежки университети и Норвежкият изследователски съвет публикуваха NOR-CAM – Кутия с инструменти за признание и награди при академични оценки. NOR-CAM предоставя матрична рамка за подобряване на прозрачността и разширяване на оценката на изследванията и изследователите, далеч от тесни индикатори, базирани на библиометрия. NOR-CAM означава норвежка матрица за оценка на кариерата и е адаптирана от 2017 г. докладва от Европейската комисия, която представи матрицата за оценка на кариерата в отворената наука. Подобно на своя европейски предшественик, NOR-CAM също предлага начини за по-добро интегриране на отворени научни практики в оценките. Матрицата има за цел да насочи оценителите и кандидатите за академични длъжности, заявления за финансиране на научни изследвания и национални оценители, оценяващи норвежките изследвания и образование. Той също така е предназначен да действа като общо ръководство за индивидуално кариерно развитие.

Матрицата включва шест основни области на компетентност: изследователски резултати, изследователски процес, педагогически компетенции, въздействие и иновации, лидерство и други компетенции. След това матрицата предоставя предложения, които да позволят планирането на кариерата и признаването на оценката около всеки от критериите – примери за резултати и умения, средства за документиране и подкани за размисъл относно всеки критерий. Не се очаква кандидатите да се представят еднакво по всички критерии.

NOR-CAM е създадена от работна група от заинтересовани страни, извършващи изследвания и финансиращи организации, координирани от университети в Норвегия, което по принцип означава, че има подкрепа от членове на всички норвежки университети. Впоследствие бяха проведени семинари, включващи норвежки университети, за съвместно разработване на начини за интегриране на NOR-CAM в процедурите за оценка на назначаване и повишение и се разработва „автоматична“ CV система за извличане на данни от множество национални и международни източници, за да се намали административната бреме. Координаторите от гореспоменатите три схеми за реформи на национално ниво се срещат редовно, за да обменят своя опит и споделено обучение.

Латинска Америка и Карибите (LAC) контрастират по много начини с други части на света. Тук науката се счита за глобално обществено благо и нейните изследователски и академични издателски системи и инфраструктура са публична собственост (финансирани) и нетърговски: но тези регионални силни страни и традиции все още не са отразени в системите за оценка. Ключови заинтересовани страни, които могат да осъществят промяна, са националните научни съвети, министерствата на науката и основните изследователски университети – ролята на висшите учебни заведения е жизненоважна, като се има предвид, че повече от 60% от изследователите са разположени в университети (RiCyT, 2020 г [91]). Съществува потенциал за по-тясно привеждане на системите за оценка към ЦУР и към движенията за отворена наука и гражданска наука, които имат процъфтяваща традиция в региона.

Понастоящем съществува голяма фрагментация на системите за оценка на научните изследвания на национално, местно и институционално ниво, поставяйки научните изследвания в конкуренция с други функции, като преподаване, разширяване и копродукция. Системите за оценка на научните изследвания и награждаване на изследователите в LAC като цяло подкрепят идеята за върхови постижения, закотвена в методологиите на „Глобалния север“, основана изключително на импакт фактора на списания и класации на университети (CLACSO, 2020 г [92]). Признаването на различните форми на производство на знания и комуникация, както и множеството академични кариери (напр. преподаване, обучение и наставничество, гражданска наука и публична комуникация на науката) до голяма степен отсъстват в практиките за оценка на научните изследвания. Това е особено проблематично за изследователите в социалните и хуманитарните науки, където монографиите и местните езици се използват широко (CLACSO, 2021 г [93]). Регионалните списания и показатели се обезценяват или не се признават в такива процеси на оценка. Всичко това се влошава от слабите информационни системи и слабата оперативна съвместимост на (особено собственост на общността) инфраструктури, недостатъчно финансирани, защото оскъдните средства се насочват към плащания на APC за списания с отворен достъп.

Въпреки това някои университети в региона започват да прилагат практики за оценка, които използват комбинация от качествени и количествени методологии, особено при оценката на изследователите и ориентираните към мисии изследвания (Грас, 2022 г [94]). Преходът към по-всеобхватни схеми за оценка на научните изследвания ще изисква съвместно проектиране на повече качествени критерии; отговорното използване на количествени данни и укрепване на процесите на партньорска проверка; постепенни промени, които хармонизират и координират политики и методологии към споделени принципи за отговорна оценка на научните изследвания и отворена наука; нови методологии и данни за по-добро оценяване на интер/трансдисциплинарни научни, екологични и местни проблеми; споделени, оперативно съвместими, устойчиви, обединени инфраструктури, които поддържат библиоразнообразието и многоезичието; и проекти за участие, отдолу нагоре, които разширяват участието на гражданите и социалните движения и включването на слабо представени изследователски групи.

За да се справи с тези предизвикателства, регионът е приел набор от принципи и насоки за оценка на научните изследвания. The CLACSO-FOLEC Декларация на принципите за оценка на научните изследвания [95], одобрен през юни 2022 г., има за цел да гарантира и защити качествената и социално значима наука и да приеме принципите на DORA и отворената наука, разнообразието от научни резултати и изследователски кариери, стойността на регионалните списания и услугите за индексиране, и на интердисциплинарност, местен език и местни знания. Към днешна дата има над 220 привърженици и вече има положителни тенденции в отговорната оценка на научните изследвания и примери за реформи. Някои национални примери са предоставени в следните текстови полета.

Национален пример: Колумбия

Финансирани от награда за ангажираност на общността на DORA, колумбийските асоциации на университети, университетски издатели, изследователски мениджъри и мрежа за управление на науката и технологиите, наред с други, работят заедно по възможностите и предизвикателствата на отговорните показатели в Колумбия. Чрез поредица от семинари и консултации, включително с международни организации като критерии, те са разработили рубрика, за да помогнат на колумбийските институции да проектират свои собствени REF. Тази рубрика се стреми да отчете предизвикателствата, идентифицирани на местно ниво, които – за висшите учебни заведения – включват липсата на знания относно алтернативите за оценка на научните изследвания, естеството на националната екосистема за оценка на научните изследвания и съпротивата срещу промяната. А специален уебсайт е разработена заедно с инфографики за подпомагане на изследователите, а разпространението и обучението продължават да се споделят в цялата страна.

Повече информация: Колумбийският проект за отговорна метрика: към колумбийски институционален, методологичен инструмент за оценка на научните изследвания | ДОРА (sfdora.org)

Национален пример: Аржентина

Интересен опит за реформа в Национален съвет за научни и технически изследвания (Consejo Nacional de Investigaciones Científicas y Técnicas – CONICET) е създаването на специална резолюция за социалните и хуманитарните науки, която поставя списанията, индексирани в основната верига, на същото ниво със списанията, индексирани в регионални бази като напр. SciELO, Редалик or Latindex-Catálogo. Регламентът в момента се преразглежда, за да се изяснят някои неясноти при прилагането му и да се разширят критериите му. На свой ред през 2022 г. Бордът на директорите на CONICET се присъедини към Сан Франциско DORA, като публично призна ангажимента си да подобри научните изследвания чрез укрепване на оценката и непрекъснато подобряване на своите процеси.

- Национална агенция за насърчаване на научните изследвания, технологичното развитие и иновациите (Agencia Nacional de Promoción de la Investigación, el Desarrollo Tecnológico y la Innovavión – AGENCIA I+D+i), съгласно Министерство на науката, технологиите и иновациите, е основният финансиращ изследовател в страната поради разнообразието и обхвата на своите силно конкурентни покани. В момента AGENCIA изпълнява a програма за укрепване на процесите на оценка на научните изследвания в техните основни финансови фондове. Текущите подобрения включват възнаграждение на рецензентите, за да се стимулира тяхната ангажираност с тези процеси, стимул за свободен достъп, тъй като резултатите от проекта трябва да бъдат предназначени за публично достояние чрез публикации или документи за свободно разпространение (в съответствие със задълженията на „Институционални цифрови хранилища с отворен достъп' Национален закон 26.899) и включването на измеренията на равнопоставеността и приобщаването чрез пол, недостатъчно представени групи от поколения и/или институционално укрепване на изравнителни механизми в процесите на оценка на научните изследвания. Въпреки това, в различни дисциплинарни комисии, учебната подготовка на водещи изследователи, отговорни за предложенията, все още се оценява от техните връстници с помощта на индикатори за въздействие върху цитирането.

И накрая, финансиран от грант за ангажиране на общността на DORA, Факултетът по психология към Националния университет на Плата беше домакин на виртуално събитие през септември 2022 г. за оценяване по психология и социални науки, което привлече над 640 (предимно студенти) от 12 държави, демонстрирайки интереса на младите хора на континента. Събитието помогна за оформянето на четиригодишния план за управление на факултета и ще информира за книга за реформата на академичното оценяване в испаноезичния контекст.

Национален пример: Бразилия

Оценката на научните изследвания е горещо обсъждана в Бразилия сред изследователските институции и изследователите, ако не и щатските и федералните правителства. Въпреки това, въпреки най-големия брой институции, подписали DORA в света, примерите за реформа в оценката на научните изследвания са изненадващо малко. След проучване на подписалите DORA в страната, институционални консултации и публично събитие, финансирано от грант за ангажиране на общността на DORA, ръководи е подготвен за ръководителите на университети, за да проучат практиките за отговорно оценяване.

Ръководството се фокусира върху три основни действия: (1) повишаване на осведомеността за отговорното оценяване във всичките му форми; (2) обучение и изграждане на капацитет на оценителите и тези, които се оценяват; и (3) изпълнение и оценка. Следващите стъпки са да се изгради мрежа от практици – или десет университетски разузнавателни офиса – за да се осъществи промяна в практиките за оценяване и пилотни модели, чувствителни към контекста, и в крайна сметка да се разработи пътна карта за бразилските институции, които желаят да доведат до промяна.

Projeto Métricas (2022). Институционални предизвикателства и перспективи за отговорно оценяване в бразилското висше образование: Резюме на констатациите на партньорството на Projeto Métricas DORA. Университет на Сао Пауло, Бразилия.

Налице е продължаващо изместване от чисто количествени показатели в Северна Америка, ускорено от дневния ред на отворената наука. Отворената наука и отвореният преглед помагат да се направят практиките за оценяване по-прозрачни, предоставяйки възможност за саморефлексия и извеждане на повърхността на проблеми, напр. Продължават дебати относно необходимостта от разработване на по-интелигентни, интелигентни показатели и смесени методи за оценка, с потенциал за хибриден, конвергентен модел на оценка, който служи на фундаменталната наука (напредък в знанията) и приложната наука (въздействие върху обществото).

Съществува също признание, че университетите се нуждаят от академично пространство и свобода, за да се откажат от инструментите, които в момента използват за оценяване, без никакви „недостатъци на първия ход“, и че потребителската общност трябва да бъде част от процеса на оценяване, за да помогне за измерване на използваемостта на знания, тяхното усвояване и въздействие. Но има и условна съпротива срещу промяната („умишлена слепота“) от горната и долната част на изследователската екосистема – от онези, които се възползват от статуквото, и тези, които наскоро са влезли в него. Много малко американски университети са подписали DORA и нов проект DORA се опитва да разбере защо това е така (ТАРА). Въпреки това както в Канада, така и в САЩ има някои интересни примери за национални и институционални инициативи, предназначени да доведат до системна промяна (вижте следващите текстови полета).

Национален пример: САЩ

В САЩ Националната научна фондация е водещ глас за промяна чрез своите Напредък на въздействието на изследванията в обществото програма и съпътстващи инструментариум за по-широко въздействие за изследователи и оценители. Справедливостта, многообразието и приобщаването, включително ангажирането на местни и традиционно маргинализирани общности, са ключови движещи сили. Член на IAP и ISC, Националните академии на науките на САЩ също се стремят да стимулират широка реформа, предоставяйки платформа за обмен на информация и обучение за реформиране на традиционната автобиография на изследовател (Стратегически съвет на NAS, 2022 г). Породен от работата на американските академии, Инициатива за лидерство във висшето образование за отворена стипендия е кохорта от повече от 60 колежи и университети, ангажирани с колективни действия за насърчаване на отворените стипендии, включително преосмисляне на оценката на научните изследвания, за да се възнагради откритостта и прозрачността.

Националният здравен институт например създаде нов биоскица (SciENcv) за персонала в заявленията за безвъзмездни средства, за да се сведат до минимум системните пристрастия и тежестта за докладване и в същото време да бъдат по-ориентирани към въздействието.

Национален пример: Канада

В Канада има множество разговори за реформата на оценката на научните изследвания, движена от DORA; и трите федерални научни съвета са подписали. Съветът по природни науки и инженерство има предефинирани критерии за качество на изследванията, освобождавайки се от библиометрия, цитати и h-индекс, в съответствие с принципите на DORA: показателите за качество сега включват добри изследователски данни и управление на достъпа до данни, справедливост, разнообразие и включване и отговорности за обучение. Другите два изследователски съвета вероятно ще последват примера.

Канадските изследователи са склонни да се фокусират върху „мобилизирането на знания“, целенасочено усилие за подобряване на общественото въздействие на научните изследвания, чрез съвместно производство с потребителски общности (ISI, 2022 г). Research Impact Canada е мрежа от над 20 университета, която има за цел да изгради институционален капацитет чрез грамотност за въздействие или способност за „идентифициране на подходящи цели и показатели за въздействие, критична оценка и оптимизиране на пътищата за въздействие и отразяване на уменията, необходими за адаптиране на подходи в различни контексти“, за да максимизиране на въздействието на изследванията за общественото благо.

Струва си да се отбележи, че много малко канадски университети са подписали DORA. Основният мотиватор за всяка промяна вероятно ще бъде приемането на местни стипендии: това се е превърнало в морален императив в Канада.

Системите за стимулиране и възнаграждение за научни изследвания в Африка са склонни да отразяват „международните“, предимно западни, норми и конвенции. Африканските институции се стремят да ги следват, когато развиват своя подход към „качеството“ и „отличните постижения“ в научните изследвания, но те не винаги са подходящи за местните знания и нужди. „Качеството“, „отличните постижения“ и „въздействието“ на научните изследвания не са добре дефинирани на континента и някои изследователи не са свикнали с културата на „изследователско въздействие“.

Системите за оценка в Африка са склонни да не отчитат изследванията в полза на обществото, преподаването, изграждането на капацитет, администрацията и управлението на научните изследвания. Моделите на публикации не са чувствителни към контекста, като APC създават бариери пред резултатите от африканските изследвания. Реформата на системите за оценка на научните изследвания би могла да помогне за коригиране на асиметриите в приноса на африканските изследвания към обществените предизвикателства, както и да подобри достъпа до ресурси, за да помогне на африканската изследователска общност да направи това. Премахването на бариерите пред междусекторното и междудисциплинарното сътрудничество е наложително, за да се даде възможност на разнообразието от възгледи и системи от знания да процъфтяват и да помогне за тълкуването на това, което представлява качеството на научните изследвания за Африка. Механизмите, които интегрират местни, местни и „конвенционални“ възгледи за света относно оценката на качеството и високите постижения на научните изследвания, трябва да бъдат взети под внимание във всяка реформа.

Около RRA на континента се изграждат силни партньорства. Финансиран от международен консорциум от агенции за развитие, the Инициатива на съветите за отпускане на научни средства (SGCI) [96], ангажирайки 17 африкански държави, проведе проучване за върховите научни постижения в Африка, разглеждайки агенциите за финансиране на науката и оценката на изследователите от гледна точка на глобалния юг (Tijssen и Kraemer-Mbula, 2017 г [97], [98]). Той изследва въпроса за високите научни постижения в Субсахарска Африка и необходимостта от подход, който разширява понятието за високи постижения отвъд публикациите (Tijssen и Kraemer-Mbula, 2018 г [99]); изготвяне на документ с насоки, който в момента се актуализира, относно добрите практики при провеждането на конкурси за научни изследвания (SGCI [100]). На Световния научен форум през 2022 г., под егидата на SGCI и GRC, Южна Африка Национална изследователска фондация (NRF) и Министерството на науката и иновациите събраха международни и местни партньори, за да обсъдят ролята на финансиращите агенции в напредъка на RRA и да споделят опит, да усъвършенстват добрите практики и да оценят напредъка в изграждането на капацитет и сътрудничеството (NRF, 2022 [101]).

- Африканска мрежа за доказателства [102], панафриканска междусекторна мрежа от над 3,000 практици е извършила известна работа по оценка на трансдисциплинарни изследвания (Африканска мрежа за доказателства [103]), но все още не е ясна степента, до която това е включено в националните и регионалните системи за оценка. The Африканска мрежа за изследвания и въздействия [103] работи върху карта с показатели, включваща колекция от индикатори за оценка на качеството на оценката на науката, технологиите и иновациите (STI) в Африка, която се надява да развие в уеб базиран инструмент за вземане на решения, който да насочва инвестиционните решения за STI .

На национално ниво започнаха постепенни промени – някои примери са дадени в следващите текстови полета. Други държави, в които агенциите за финансиране на научни изследвания поемат водеща роля, включват Танзания (COSTECH), Мозамбик (FNI) и Буркина Фасо (FONRID). Инициативата RRA на GRC се оказва важна платформа за промяна на континента, както и поуките от международния сектор за развитие, най-вече от IDRC Рамка за оценка на качеството плюс (RQ+). [104], с разликата, че вече е прилаган, изучаван и усъвършенстван. Базираният в Африка Международна академия за оценяване [105] също може да предостави интересна възможност.

Национален пример: Кот д'Ивоар

В сърцето на Кот д'Ивоар Програма Appui Stratégique à la Recherche Scientifique (PASRES) (Програма за стратегическа подкрепа за научни изследвания) е убеждението, че високите постижения в научните изследвания трябва да надхвърлят броя на научните публикации и да включват измерението „усвояване на научните изследвания“. Адаптиране към националния контекст, процесът на оценка на научните изследвания се основава на критерии, свързани с научна и социална значимост, участие на партньори, обучение на студенти, мобилизиране на знания и осъществимост. Групите за оценка включват научни експерти (за преценка на качеството на извършеното изследване), частния сектор (за преценка на икономическото обогатяване) и други институции (за измерване на културния и социален потенциал на изследването).

PASRES създаде две местни списания (едното за социални науки и лингвистика, а другото за околна среда и биоразнообразие) и покрива всички разходи за публикуване в тях. И накрая, PASRES финансира дейности за изграждане на капацитет и тематични конференции, за да даде възможност на изследователите да представят своите изследвания пред частния сектор и гражданското общество.

Повече информация: Ouattara, A. и Sangaré, Y. 2020 г. Подпомагане на изследванията в Кот д'Ивоар: процеси за подбор и оценка на проекти. E. Kraemer-Mbula, R. Tijssen, ML Wallace, R. McLean (Eds.), African Minds, стр. 138–146

PASRES || Program d'Appui Stratégique Recherche Scientifique (csrs.ch)

Национален пример: Южна Африка

Оценката на научните изследвания в Южна Африка (СА) е фокусирана предимно върху библиометрията. От 1986 г., когато Министерството на висшето образование (DHET) въведе политика за изплащане на субсидии на университетите за научни публикации, публикувани в списания с акредитирани индекси, резултатите от университетските научни публикации нарастват едновременно със стойността на Rand, присъдена на публикация. В стремежа си да осигурят финансиране на научните изследвания и да напреднат в кариерата си, изследователите от SA публикуваха колкото се може повече статии възможно най-бързо, създавайки извратени и непредвидени последици.

Академията на науките на Южна Африка (ASSAf) поръча доклад за научното публикуване в страната (2005–2014) и откри индикации за съмнителни редакционни практики и хищническо публикуване (ASSAf, 2019). Използвайки нюансирана система за категоризация, приблизително 3.4% от общите статии през последните десет години бяха оценени като хищнически, като цифрите нарастват по-рязко от 2011 г. Списанията, оценени като хищнически, бяха включени в DHET „приемливи за финансиране“ беше установено, че са замесени списък и академици във всички университети в SA (Mouton и Valentine, 2017).

Докладът на ASSAf направи препоръки на системно, институционално и индивидуално ниво и последвалите контрамерки от страна на DHET, NRF и някои университети изглежда са ограничили хищническите практики в SA, като честотата на хищническо публикуване от академици на SA (в акредитирани от DHET списания) достига своя връх през 2014 г. – 2015 г. и впоследствие намалява. Сред изследователите имаше също опасения, че политиките за DHET в SA обезсърчават сътрудничеството и не признават приноса на отделните лица в рамките на големи изследователски екипи, което изисква преразглеждане на схемите за оценка на изпълнението/оценка на научните изследвания. Използването на системата от единици за публикация сега се признава като лош заместител за оценка на качеството и производителността на научните изследвания и за подбора и повишението на академичните среди.

Повече информация:

Академия на науките на Южна Африка (ASSAf). 2019. Дванадесет години: Втори доклад на ASSAf за публикуване на изследвания в и от Южна Африка. Претория, ASSAf.

Mouton, J. и Valentine, A. 2017. Степента на южноафрикански авторски статии в хищнически списания. Южноафриканско списание за наука, том. 113, № 7/8, стр. 1–9.

Mouton, J. et al. 2019. Качеството на изследователските публикации в Южна Африка. Стеленбош.

2019_assaf_collaborative_research_report.pdf

Национален пример: Нигерия

Университетите в Нигерия оценяват изследователите в три основни области: преподаване, научноизследователска продуктивност и обществени услуги. От тях изследователската производителност е по-тежко претеглена, с акцент върху публикуваните рецензирани изследователски статии и като се вземат предвид броят и ролите на авторите (първо авторство и/или съответстващо авторство) в тези публикации. В опит да станат по-конкурентоспособни в световен мащаб, повечето университети придават по-голямо значение на списанията, индексирани от International Scientific Indexing или SCOPUS, за да поставят по-голям акцент върху качеството и международното сътрудничество; и използвайте процента на статиите в тези списания като критерии за повишение.

Нещастна последица от това е, че много изследователи, особено тези в хуманитарните науки, нямат достатъчно финансиране и/или капацитет да публикуват в тези списания. Вместо това те публикуват повече рецензии, отколкото научни статии, или се чувстват принудени да включат влиятелни старши колеги като съавтори по силата на техния финансов, а не интелектуален принос. Плагиатството нараства, както и хищническото публикуване. Въпреки това, общото глобално класиране на нигерийските университети се е увеличило, като по този начин удовлетворява правителството и финансиращите агенции и се възприема като успех. Нигерия не е сама в това отношение.

Нигерийската академия на науките възстанови свое собствено рецензирано списание като водещо списание, в което учените могат да публикуват (в момента безплатно) и да бъдат високо оценени от своите институции.

Силно конкурентни системи за оценяване, основани на количествени показатели, доминират в региона, като англоговорящите държави обикновено оформят рамки за оценка, а други страни следват примера им. В Австралия, например, има конкурентна система за финансиране, базирана на библиометрия и университетски класации: „дори ЦУР се превръщат в показатели за ефективност“. Подобни предизвикателства съществуват в Малайзия и Тайланд и други страни от АСЕАН вероятно ще ги последват. Важно изключение е Китай, където правителството играе значителна роля в създаването на големи системни промени и което може да има дълбоки последици в световен мащаб (вижте текстовото поле).

Насърчаващо е, че има нарастваща осведоменост и загриженост сред изследователската общност в региона относно ограниченията на настоящите системи за оценка на научните изследвания и тяхната заплаха за целостта на научните изследвания. Въпреки че ECR, включително Националните млади академии и мрежата на младите учени на АСЕАН, заедно с движенията на местните жители, все повече се ангажират по този въпрос, те се борят да бъдат чути. Правителството и финансиращите общности, включително ръководството на университетите, до голяма степен отсъстват от дебата: те придават значение на количествените показатели, но не оценяват последиците за научните изследвания. Наистина, консултираните докладват, че се добавят повече количествени критерии, до степента, в която институциите и изследователите започват да играят със системата, подхранвайки неправомерно поведение при изследванията.

Но има значителни възможности за промяна, както е показано в следващите текстови полета.

Национален пример: Китай

Сега най-продуктивната в научните изследвания държава в света (Толефсън, 2018 г; Статиста, 2019), а второто по отношение на инвестициите в научни изследвания (ОИСР, 2020 г), случващото се в Китай има потенциала да повлияе на реална системна промяна. Нова политика на държавно ниво има за цел да възстанови „научния дух, качеството на иновациите и приноса на услугите“ на научните изследвания и да „насърчи връщането на университетите към първоначалните им академични цели“ (МОСТ, 2020 г). Индикаторите на Web of Science вече няма да бъдат преобладаващ фактор за решенията за оценка или финансиране, нито броят на публикациите и JIF. Публикациите във висококачествени китайски списания ще бъдат насърчавани и тяхното развитие ще бъде подкрепено. „Представителни публикации“ – 5–10 доклада по избор, а не изчерпателни списъци – се търсят в панели за оценка, заедно с критерии, които оценяват приноса на изследванията за разрешаване на важни научни въпроси, предоставяне на нови научни знания или въвеждане на иновации в и истински напредък на, определено поле.

При разработването на система за оценка на качеството и високите постижения в научните изследвания, която е по-добре съобразена със собствените ѝ нужди, най-голямата китайска агенция за финансиране на фундаментални изследвания, Националната фондация за природни науки на Китай (NSFC), извърши системни реформи от 2018 г. насам, за да отрази промените в науката: промяна в глобалния свят научни пейзажи, значението на трансдисциплинарността, комбинацията от приложни и фундаментални изследвания и взаимодействието между научни изследвания и иновации (Манфред Хорват, 2018 г), отдалечаване от библиометрията към система, която укрепва местното значение на научните изследвания в Китай (Джан и Сивертсен, 2020 г). Той подобри своята система за партньорска проверка за оценка на предложенията, за да се вмести по-добре в разрушителни изследвания, водени от любопитство, горещи проблеми на границите на научните изследвания, отлична наука, приложена към икономически и социални изисквания, и трансдисциплинарни изследвания, които се справят с големи предизвикателства. През 2021 г. 85% от предложенията са подадени и прегледани с помощта на тези категории. Наскоро, през ноември 2022 г., беше обявен двугодишен пилотен план за реформа за оценка на талантите в областта на науката и технологиите, който включва осем министерства, дванадесет изследователски института, девет университета и шест местни власти. Неговата цел ще бъде да проучи показатели и методи за оценка на таланти в областта на науката и технологиите, ангажирани в различни части на иновационната система.

Подрегионален пример: Австралия и Нова Зеландия

И Австралия, и Нова Зеландия в момента са на важни етапи. В Австралия текущите едновременни прегледи на Австралийския съвет за научни изследвания, Превъзходните постижения в научните изследвания в Австралия и преговорите за отворен достъп за злато кумулативно представляват прозорец от възможности (Рос, 2022 г).

След обществена консултация относно бъдещето на финансирането на науката, Нова Зеландия разработва нов системна програма за бъдещето на своята национална система за научни изследвания и иновации. Както Австралия, така и Нова Зеландия допринесоха за разработването на метрична система за техните местни изследователски групи (Принципи на ГРИЖА).

Национален пример: Индия

Центърът за политически изследвания (DST-CPR) на Министерството на науката и технологиите проведе скорошни проучвания относно оценката на научните изследвания и тяхната реформа в Индия, водещи семинари с ключови заинтересовани страни (национални агенции за финансиране, изследователски институции и академии), интервюта и проучвания. Установено е, че докато университетите и много институции с национално политическо значение (като селското стопанство) се фокусират почти изключително върху количествени показатели, някои финансиращи агенции и институции като Индийските технологични институти също приемат по-качествени мерки. Този по-качествен подход в институции от най-високо ниво вече служи за отклоняване на повече финансиране към изследвания по национални приоритети, въпреки че е твърде рано да се каже дали има някакъв количествено измерим ефект върху качеството и въздействието на изследванията.

Основният критерий за оценка е партньорската проверка въз основа на становището на експертната комисия, но само след първоначален преглед на заявленията, базиран изцяло на количествени показатели. Съществуват и фундаментални предизвикателства при тези комисии: липсата на разнообразие и разбиране на практиките на отворената наука, слабото отчитане на общественото въздействие на изследванията и слабият капацитет и пристрастия. Тези проблеми и методологиите за оценяване като цяло са слабо разбрани и има недостиг на насоки и литература по темата.

Въпреки това, има нарастващо осъзнаване на необходимостта от реформиране на оценката на научните изследвания. Финансирана от безвъзмездна помощ за ангажиране на общността DORA, Индийската национална млада академия на науките си партнира с Индийския институт на науката (IISc) и DST-CPR, за да проучи начини, по които оценката на научните изследвания може да бъде подобрена – техните обсъждания бяха споделени с ключови заинтересовани страни с с оглед на стимулиране на национален разговор относно необходимостта от реформиране и в крайна сметка промяна на изследователската култура на Индия, така че нейните изследвания да бъдат по-иновативни и/или обществено значими. DST-CPR предвижда разработването на рамка за научни постижения, която може да бъде интегрирана в неговата национална рамка за институционално класиране.

Повече информация:

Battacharjee, S. 2022 г. Върши ли работата си начинът, по който Индия оценява изследванията си? – Науката за жицата

DORA_IdeasForAction.pdf (dstcpriisc.org).

Suchiradipta, B. и Koley, M. 2022. Оценка на изследванията в Индия: Какво трябва да остане, какво може да бъде по-добро? DST-CPR, IISc.

Национален пример: Япония

Протоколите за оценка на научните изследвания са силно децентрализирани в Япония: въпреки че има „Национални насоки за оценка на научноизследователска и развойна дейност“, издадени от Съвета за наука, технологии и иновации към кабинета на кабинета, Министерството на образованието, културата, спорта, науката и технологиите (MEXT) и други министерствата също са разработили свои собствени насоки. Освен това университетите и изследователските институти разполагат със собствени системи за оценка на изследванията и изследователите, които – както в много части на света – са свързани с институционалното представяне и разпределението на бюджета.

Налице са нарастващи опасения относно прекомерното разчитане на количествената оценка. В отговор Научният съвет на Япония подготви препоръка за бъдещето на оценката на научните изследвания в Япония (2022 г.), като призовава за по-малко наблягане върху количествените и повече върху качествените мерки, по-голямо признаване на изследователското разнообразие и отговорност при оценката на научните изследвания и наблюдението на международните тенденции в реформата на практиките за оценка на научните изследвания. В крайна сметка изследователските интереси и насърчаването трябва да бъдат в основата на оценката на научните изследвания и да се положат всички усилия за предотвратяване на умората, демотивацията и прекомерния натиск върху изследователите.

Проучване на MEXT относно индикаторите за оценка установи, че JIF е един от многото индикатори и като такъв не е имал силно въздействие върху японските изследвания, въпреки че това зависи от дисциплината: например използването на JIF е по-често в медицинските науки – и по-малко традиционни изследователски дейности, като отворени данни, е по-малко вероятно да бъдат оценени.

Повече информация: ПРЕПОРЪКА – Към оценка на научните изследвания за напредъка на науката: Предизвикателства и перспективи за желана оценка на научните изследвания (scj.go.jp)

В заключение, има нарастващ импулс за реформа на оценката на научните изследвания в някои региони, държави и институции. Примерите, илюстрирани тук, включват национални реформи, изграждане на консорциуми или коалиции от сходно мислещи институции, търсещи промяна, насочване/насочване на конкретни сектори и интервенции за справяне с погрешни стимули и поведения.

Това все още не е последователен и приобщаващ глобален разговор, нито практиките и прозренията непременно се споделят открито. Някои членове на GYA, IAP и ISC вече са проактивни в това пространство и могат да бъдат намерени полезни възможности, които да им помогнат да споделят своето обучение и добри практики помежду си и с по-широкото членство. Стартирането на Global Observatory of Responsible Research Assessment (AGORRA) от Research on Research Institute (RoRI) по-късно през 2023 г. ще предостави допълнителна платформа за споделяне на наученото, за сравнителен анализ на национални и международни системи за реформи и за ускоряване на двустранните начин за обмен и тестване на добри идеи в тези системи.

Този документ излага основните двигатели, възможности и предизвикателства за реформата в оценката на научните изследвания и събира илюстративни примери за промяна, случваща се на глобално, регионално, национално и институционално ниво. Целта на това е да се мобилизират GYA, IAP и ISC и съответните им членове като важни участници в глобалната изследователска екосистема.

Въз основа на научната литература и застъпническата работа през последното десетилетие има пет основни заключения.

1. Необходимостта от преосмисляне на начина, по който изследователите се оценяват на отделни лица, институции и резултати, е ясна и неотложна. Поддържането на целостта и качеството на научните изследвания, увеличаването на разнообразната, приобщаваща и недискриминационна наука и оптимизирането на науката за глобалното обществено благо са основни движещи сили в контекста на един бързо променящ се свят.

2. Начинът, по който изследванията се възлагат, финансират, доставят и комуникират, се развива с темпове. Преминаването към ориентирана към мисия и трансдисциплинарна наука, отворени научни рамки, развиващи се модели на партньорска проверка, използването на AI и машинно обучение и бързият възход на социалните медии променят традиционните начини за извършване и комуникиране на изследвания, изисквайки ново мислене относно системите за оценка на изследванията и показателите и процесите на партньорска проверка, които го подкрепят. Необходими са повече и спешни изследвания, за да бъдат надеждни тези системи.

3. Съществува императив за по-балансирани системи за оценка на научните изследвания с количествени и качествени показатели, които оценяват множество форми на изследователски резултати, процеси и дейности. Заявяването обаче, че процесите на качествена партньорска проверка са поне толкова важни, колкото и библиометрията, не е лесно и се усложнява допълнително от това, че различните части на света са на различни етапи в разработването на своите системи за оценка: в някои дебатите относно реформата за оценка на научните изследвания са доста напреднали, в други те се появяват или липсват.

4. Необходима е съгласувана и наистина глобална и приобщаваща инициатива за мобилизиране на общностите от ключови заинтересовани страни за разработване и прилагане на съгласувани начини за оценка и финансиране на научни изследвания; учене един от друг и от други сектори (по-специално от финансиращите научни изследвания и агенциите за развитие). Колективното, приобщаващо действие към трансформираща промяна ще трябва да признае взаимосвързаността, а не интернационализацията или универсализацията, т.е. да бъде чувствително към контекста, да осъзнава различните предизвикателства, пред които са изправени различните части на света и богатата хетерогенност на научноизследователската екосистема, като в същото време гарантира достатъчно хомогенност, за да се даде възможност за съвместими научни изследвания и системи за финансиране и мобилност на изследователите, за да се сведат до минимум различията и фрагментацията. Един частичен, ексклузивен разговор рискува допълнително да пристрасти и да постави в неблагоприятно положение онези, които исторически са били изключени.

5. Необходима е промяна на всички нива – глобално, регионално, национално и институционално – защото показателите каскадно преминават през цялата изследователска екосистема и всички тези нива са взаимосвързани. Всички заинтересовани страни трябва да играят своята роля като партньори, а не противници – включително финансиращи организации, университети, асоциации на университети и изследователски институти, междуправителствени организации (МПО), правителства и правителствени мрежи, академии, създатели на научна политика, ръководители на изследвания и иновации и отделни изследователи. Членството в GYA, IAP и ISC, колективно, покрива голяма част от този богат пейзаж (Фигура 1, Приложение C).

Фигура 1: Карта на заинтересованите страни спрямо членството в GYA, IAP и ISC (Щракнете, за да видите)

Обединяващата сила на организации като GYA, IAP и ISC може да помогне за обединяването на разнообразие от гледни точки и опит в голяма част от изследователската екосистема: експериментиране, учене от и изграждане на съществуващи и нови инициативи. Най-важното е, че те могат да се свържат с ключовите заинтересовани страни в насърчаването на промяна – правителства, финансиращи научни изследвания и университети и жизненоважни глобални движения като DORA – за да помогнат за мобилизирането на архитектура от участници. Заедно те могат да служат като:

● застъпници – повишаване на осведомеността относно дебатите за оценка на научните изследвания, разработките и реформите като признание, че техните членове служат като (i) наставници и супервайзери на младши колеги, (ii) ръководители на висши учебни заведения, (iii) членове на управителни съвети на органи за управление на финансиране и публикуване и ( iv) съветници на политици;

● новатори – изследване на различни подходи за оценяване на фундаментални и приложни изследвания по приобщаващи и иновативни начини;

● примери – промяна на собствената им институционална култура – ​​обновяване на тяхното членство, награди, издателски и конферентни практики и водене чрез пример;

● оценители – капитализиране на ролята на членове както на институционално, така и на индивидуално ниво, чийто бизнес е да оценяват изследователи, научни изследвания и институции, и тези, които имат издателски, редакторски роли и роли на партньорска проверка;

● финансиращи – черпейки от финансиращите агенции, представени в ISC, по-специално, и членовете, които управляват и разпръскват големи национални и международни грантове;

● сътрудници – подкрепящи вече установени кампании за реформа, напр. DORA, CoARA на ЕС и ангажимента на ЮНЕСКО за отворена наука.

Авторите на този документ насърчават GYA, IAP и ISC и организации като тях да се ангажират по следните начини:

ДЕЙСТВИЕ 1: Споделете наученото и добрите практики

Този документ подчертава примери за интервенции и иновации от цял ​​свят. Пространството за споделяне на опит и изграждане на силна и приобщаваща „коалиция на желаещите“ е жизненоважно.

1.1: Осигурете платформа за членове, които вече са проактивни в това пространство, за да споделят своето обучение и да изграждат стратегически връзки, особено на национално ниво. Използвайте тези примери, за да помогнете за попълването Таблото на DORA [106] на обучение и добра практика.

1.2: Проучване и картографиране на водените от членовете развития в реформата за оценка на научните изследвания, за идентифициране на институционални, национални и регионални подходи и за намиране и споделяне на добри практики. Съберете тези, които вече са ръководили/участвали в големи национални и международни инициативи за изграждане на застъпничество и обучение сред членовете.

ДЕЙСТВИЕ 2: Дайте пример

Членството в GYA, IAP и ISC обхваща много части от изследователската екосистема и всеки може да играе важна роля в оформянето на това как изглежда успехът като учен.

2.1: Преход към по-прогресивни методологии за оценка на научните изследвания сред широките членове. Водят с пример и помагат за промяна на културата на оценка на научните изследвания чрез собствените си философии и практики на членство, като същевременно черпят от ученето от DORA и GRC. Академиите, като традиционно елитни организации, имат особена роля тук – те трябва да бъдат насърчавани да разширят своите собствени критерии за избор и подбор, за да отразяват по-широко и по-плурализирано разбиране за качеството и въздействието на изследванията, за да отразят този плурализъм (и с това повече включване и разнообразие) в тяхното членство.

2.2: Стимулиране на регионалното сътрудничество и лидерство. Насърчете регионалните мрежи на членовете на GYA и Националните млади академии, мрежите на регионалните академии на IAP и регионалните фокусни точки на ISC да обмислят подражаване на Борда на ALLEA инициатива, съобразени с техния собствен контекст.

ДЕЙСТВИЕ 3: Изградете стратегически партньорства с ключови избиратели.

Трите основни действащи лица, отговорни за стимулирането на реформата в оценката на научните изследвания, са правителствата, финансиращите изследователски организации и университетите. GYA, IAP и ISC могат да помогнат за привличането на изследователската общност в техните усилия за реформиране и преодоляване на прекъсванията, които съществуват в момента.

3.1: Ангажирайте се с ръководството на GRC, за да проучите начини за съвместна работа – по същество, за да стимулирате членовете и техните съответни национални представители на GRC да проучат как техните изследователски общности могат да се включат.

3.2: Ангажиране с глобални и регионални мрежи от университети, като Международната асоциация на университетите (IAU), за разработване на нови инструменти за обучение за изследователската общност; използвайте ръководството на HEI в рамките на колективното членство на GYA, IAP и ISC като застъпници.

3.3: Свързване на институции-членове в страните, получаващи безвъзмездна помощ от DORA (Аржентина, Австралия, Бразилия, Колумбия, Индия, Япония, Холандия, Уганда и Венецуела) с безвъзмездни средства от DORA, за да споделяте идеи и потенциално да увеличите мащаба на тези местни инициативи.

3.4: Изградете отношения с водещи международни агенции за развитие, които вече прилагат иновативни и въздействащи стратегии за оценка на научните изследвания в страните с ниски и средни доходи и най-слабо развитите страни.

3.5: Работете с ЮНЕСКО, за да помогнете за оформянето на националните ангажименти за оценка на научните изследвания по нейните Препоръка за отворена наука.

ДЕЙСТВИЕ 4: Осигурете интелектуално лидерство за бъдещето на оценката на научните изследвания.

Фокусирането върху конкретни и неотложни предизвикателства за реформата в оценката на научните изследвания е наложително. GYA, IAP и ISC и международните мрежи като тях могат да разчитат на съответните си правомощия за свикване, интелектуалната тежест и влияние на своите членове и връзките с ключови групи.

4.1: Съвместно свикване с ключови групи от поредица дискусионни форуми с множество заинтересовани страни или „Лаборатории за трансформация“, за да преосмислите и приложите реформа за оценка на научните изследвания – ангажирайте лидерите на висшите учебни заведения и техните глобални (напр. IAU и IARU) и регионални мрежи (напр. LERU и AAU [107) ]), финансиращи изследвания (включително национални представители на GRC), международни агенции за развитие и водещи издатели, между другото. Съберете нови или разгърнете съществуващи ресурси, за да финансирате тази работа (вижте Приложение D за някои предварителни идеи).

4.2: Разработване на ново проучване на важен аспект от бъдещото развитие на оценката на научните изследвания като (1) въздействието на технологичния напредък върху оценката на научните изследвания и партньорската проверка (включително употреба и злоупотреба) и как те могат да се развият в бъдеще и ( 2) по-широко реформиране на системата за партньорски проверки (по отношение на нейната прозрачност, откритост, капацитет, признаване и обучение). И двата въпроса са неразделна част от надеждността на знанието и достоверността на науката.

В основата на всички тези усилия трябва да стоят три основни неща:

• Разширяване на критериите за оценка на научни изследвания и изследователи отвъд традиционните академични показатели, за да се включат множество форми на изследователска продукция и функция, включително количествени критерии, които могат да измерват социалното въздействие на изследванията.

• Насърчаване на ръководителите на висшите учебни заведения и финансиращите изследователи да приемат и насърчават тези нови критерии за оценка като мерки за качество и стойност на научните изследвания.

• Работа с тези лидери върху нови форми на повишаване на осведомеността и обучение за бъдещите поколения изследователи, за да ги оборудва с необходимите умения да комуникират и да се ангажират ефективно с политиците, обществеността и други ключови групи; и да насърчава многообразието и включването в изследователското начинание.

Авторите на този документ заключават, че мрежи като GYA, IAP и ISC, заедно с и подкрепящи други ключови групи, могат да помогнат за изграждането на съгласувана, глобална инициатива за участие за мобилизиране на изследователски общности, университети и други висши учебни заведения около тази програма и да се обмисли как да приложим нови начини за оценка и финансиране на изследванията, за да ги направим по-ефективни, справедливи, приобщаващи и въздействащи.

Изтегли

Този документ е съставен от членовете на групата за обхват на GYA-IAP-ISC, която е работила с прекъсвания между май 2021 г. и февруари 2023 г. (повече подробности в Приложение A):

• Sarah de Rijcke (Председател, Холандия)

• Клеменсия Косентино (САЩ)

• Робин Крю (Южна Африка)

• Карло Д'Иполити (Италия)

• Шахин Мотала-Тимол (Мавриций)

• Noorsaadah Binti A Rahman (Малайзия)

• Лаура Ровели (Аржентина)

• Дейвид Вокс (Австралия)

• Яо Юпенг (Китай)

Работната група благодари на Трейси Елиът (старши консултант на ISC) за нейната координация и работа по изготвяне. Благодаря и на Алекс Ръшфорт (Център за научни и технологични изследвания (CWTS), Лайденски университет, Холандия) и Сара Мур (ISC) за допълнителен принос и подкрепа.

Работната група също така благодари на всички онези, които бяха консултирани при изготвянето на този документ (Приложение Б), които отделиха от времето си и споделиха своите гледни точки относно оценката на научните изследвания в съответните им страни и региони, както и на рецензентите, номинирани от GYA, IAP и ISC:

• Карина Батияни, изпълнителен директор, Латинскоамерикански съвет за социални науки (CLACSO) (Уругвай)

• Ричард Катлоу, професор изследовател, Университетски колеж в Лондон (Великобритания)

• Сибел Екер, асистент, Radbound University (Холандия)

• Encieh Erfani, научен изследовател, Международен център за теоретична физика (Иран, Италия)

• Мотоко Котани, изпълнителен вицепрезидент, Riken (Япония)

• Прадип Кумар, професор и старши изследовател, Университет на Витватерсранд (Южна Африка)

• Бун Хан Лим, доцент, Университет на Тинку Абдул Рахман (UTAR) (Малайзия)

• Присила Колибеа Манте, старши преподавател, Университет за наука и технологии Kwame Nkrumah (KNUST) (Гана)

• Алма Ернандес-Мондрагон, президент, Мексиканска асоциация за напредък на науката (AMEXAC) (Мексико)

• Khatijah Mohamad Yusoff, старши професор, University of Putra Malaysia (UPM) (Малайзия)

1. ЮНЕСКО. 2021. Научен доклад на ЮНЕСКО: Състезанието с времето за по-интелигентно развитие (Глава 1). ЮНЕСКО. https://unesdoc.unesco.org/ark:/48223/pf0000377250

2. Кралското общество. (2012). Науката като отворено предприятие. Центърът за научна политика на Кралското общество. https://royalsociety.org/~/media/policy/projects/sape/2012-06-20-saoe.pdf

3. Haustein, S. и Larivière, V. 2014. Използването на библиометрия за оценка на научните изследвания: възможности, ограничения и неблагоприятни ефекти. I. Welpe, J. Wollersheim, S. Ringelhan, M. Osterloh (eds.), Incentives and Performance, Cham, Springer, стр. 121–139.

4. Macleod, M., Michie, S., Roberts, I., Dirnagi, U., Chalmers, I., Ioadnnidis, J., Al-Shahi Salman, R., Chan., AW и Glasziou, P. 2014 г. Биомедицински изследвания: увеличаване на стойността, намаляване на отпадъците. Ланцетът, том. 383, № 9912, стр. 101–104.

5. Bol, T., de Vaan, M. и van de Rijt, A. 2018. Ефектът на Матю във финансирането на науката. Сборник на Националната академия на науките на Съединените американски щати, том. 115, № 19, стр. 4887–4890.

6. Международен научен съвет. 2021. Отваряне на архива на науката: Направете научното публикуване да работи за науката в цифровата ера. Париж, Франция, ISC. https://doi.org/10.24948/2021.01

7. Мюлер, Р. и де Рике, С. 2017. Мислене с индикатори. Проучване на епистемичните въздействия на показателите за академично представяне в науките за живота. Оценка на изследванията, том. 26, № 3, стр. 157–168.

8. Ansede, M. 2023. Един от най-цитираните учени в света, Рафаел Луке, отстранен без заплащане за 13 години. Ел Паис. https://english.elpais.com/science-tech/2023-04-02/one-of-the-worlds-most-cited-scientists-rafael-luque-suspended-without-pay-for-13-years. html

9. IAP. 2022. Борба с хищническите академични списания и конференции. Триест, Италия, IAP. https://www.interacademies.org/publication/predatory-practices-report-English

10. Elliott, T., Fazeen, B., Asrat, A., Cetto, AM., Eriksson, S., Looi, LM и Negra, D. 2022. Възприятия за разпространението и въздействието на хищническите академични списания и конференции: глобално проучване на изследователи. Learned Publishing, том. 3, № 4, стр. 516–528.

11. Collyer, TA 2019. „Рязането на салам“ помага на кариерата, но вреди на науката. Nature Human Behaviour, Vol. 3, стр. 1005–1006.

12. Abad-García, MF 2019. Плагиатство и хищнически списания: заплаха за научната почтеност. Anales De Pediatría (английско издание), том. 90, № 1, стр. 57.e1–57.e8.

13. Omobowale, AO, Akanle, O., Adeniran, AI и Adegboyega, K. 2013. Периферна стипендия и контекстът на чуждестранното платено публикуване в Нигерия. Актуална социология, бр. 62, № 5, стр. 666–684.

14. Ордуей, Д.-М. 2021. Академични списания, журналисти поддържат дезинформация при обработката на оттегляния на изследвания. Ресурсът на журналиста. https://journalistsresource.org/home/retraction-research-fake-peer-review/

15. Curry, S., de Rijcke, S., Hatch, A., Pillay, D., van der Weijden, I. и Wilsdon, J. 2020. Променящата се роля на финансиращите в отговорната оценка на научните изследвания: напредък, препятствия и Пътят напред. Лондон, Обединеното кралство, Изследователски институт.

16. Глобалният север обикновено се отнася за индустриализирани или развити икономики, както е дефинирано от ООН (2021 г.), докато глобалният юг се отнася до новоиндустриализирани икономики или такива, които са в процес на индустриализиране или развитие и които често са актуални или бивши поданици на колониализма.

17. Междуакадемично партньорство. Сесия 12: Печалба от по-голямо включване: Връзка между разнообразието и академичната култура. IAP. https://www.interacademies.org/page/session-12-winning-greater-inclusion-relation-between-diversity-and-academic-culture

18. Global Young Academy. Работна група за научни постижения. Берлин, Германия, GYA. https://globalyoungacademy.net/activities/scientific-excellence/

19. ISC. 2021. Отприщване на науката: Изпълнение на мисии за устойчивост. Париж, Франция, ISC. doi: 10.24948/2021.04

20. ISC. 2022. Откъс от Peter Реч на Глукман пред симпозиума „Безкрайни граници“. Париж, Франция. ISC. https://council.science/current/blog/an-extract-from-peter-gluckmans-speech-to-the-endless-frontier-symposium/

21. Белчър, Б., Клау, Р., Давел, Р., Джоунс, С. и Пинто, Д. 2021 г. Инструмент за планиране и оценка на трансдисциплинарни изследвания. Прозрения за интегриране и внедряване. https://i2insights.org/2021/09/02/transdisciplinary-research-evaluation/

22. Belcher, BM, Rasmussen, KE, Kemshaw, MR и Zornes, DA 2016. Дефиниране и оценка на качеството на изследванията в трансдисциплинарен контекст. Оценка на изследванията, том. 25, № 1, стр. 1–17.

23. Wilsdon, J. et al. 2015. Метричната вълна: Доклад от независимия преглед на ролята на показателите в оценката и управлението на научните изследвания. HEFCE.

24. ЮНЕСКО. Препоръка на ЮНЕСКО за отворена наука. Париж, Франция, ЮНЕСКО. https://unesdoc.unesco.org/ark:/48223/pf0000379949

25. Източник на ЮНЕСКО разкри, че тази работа в момента е спряна, тъй като дебатът е доминиран само от малцина и не е непременно в резонанс с много: обширен диалог трябва да предхожда разработването на препоръки.

26. Barroga, E. 2020. Иновативни стратегии за партньорска проверка. Journal of Korean Medical Science, том. 35, № 20, стр. e138.

27. Woods, HB, et al. 2022. Иновации в партньорската проверка в научното публикуване: мета-резюме. SocArXiv, doi: 10.31235/osf.io/qaksd

28. Kaltenbrunner, W., Pinfield, S., Waltman, L., Woods, HB и Brumberg, J. 2022. Иновиране на партньорската проверка, преконфигуриране на научната комуникация: Аналитичен преглед на текущите иновационни дейности за партньорска проверка. SocArXiv, doi: 10.31235/osf.io/8hdxu

29. Холм, Дж., Уолтман, Л., Нюман-Грифис, Д. и Уилсдън, Дж. 2022 г. Добри практики при използването на машинно обучение и изкуствен интелект от организации, финансиращи изследвания: Прозрения от серия семинари. Лондон, Обединеното кралство, Изследователски институт. https://doi.org/10.6084/m9.figshare.21710015.v1

30. Проктър, Р., Глоувър, Б. и Джоунс, Е. 2020 г. Изследвания 4.0 Изследвания в ерата на автоматизацията. Лондон, Великобритания, DEMOS.

31. Бейкър, М. 2015. Интелигентният софтуер забелязва статистически грешки в статии по психология. Природа, https://doi.org/10.1038/nature.2015.18657

32. Van Noorden, R. 2022. Изследователите, използващи AI, за да анализират партньорската проверка. Nature 609, 455.

33. Severin, An., Strinzel, M., Egger, M., Barros, T., Sokolov, A., Mouatt, J. и Muller, S. 2022. Arxiv,

34. Gadd, E. 2022. Базирани на AI инструменти за оценка на цитиране: добри, лоши или грозни? Библиомагът. https://thebibliomagician.wordpress.com/2020/07/23/ai-based-citation-evaluation-tools-good-bad-or-ugly/

35. Foltýnek, T., Meuschke, N. и Gipp, B. 2020. Откриване на академично плагиатство: систематичен преглед на литературата. ACM Computing Surveys, том. 52, № 6, стр. 1–42.

36. Quach, K. 2022. Издателите използват AI, за да уловят лоши учени, които подправят данни. Регистърът. https://www.theregister.com/2022/09/12/academic_publishers_are_using_ai/

37. Van Dis, E., Bollen, J., Zuidema., van Rooji, R и Bockting, C. 2023. ChatGPT: пет приоритета за изследване. Природа, бр. 614, стр. 224–226.

38. Chawla, D. 2022. Трябва ли AI да играе роля в оценката на качеството на изследванията? Природа, https://doi.org/10.1038/d41586-022-03294-3

39. Cyranoski, D. 2019. Изкуственият интелект избира рецензенти на субсидии в Китай. Природа, бр. 569, стр. 316–317.

40. Майк, Т. 2022. Може ли качеството на публикуваните статии в академични списания да бъде оценено с машинно обучение? Количествени научни изследвания, том. 3, № 1, стр. 208–226.

41. Chomsky, N., Roberts, I. и Watumull, J. 2023 г. Фалшивото обещание на ChatGPT. Ню Йорк Таймс. https://www.nytimes.com/2023/03/08/opinion/noam-chomsky-chatgpt-ai.html

42. Clarivate. 2022. Оценка на изследването: произход, еволюция, резултати. Clarivate. https://clarivate.com/lp/research-assessment-origins-evolutions-outcomes/

43. Blauth, TF, Gstrein, OJ и Zwitter, A. 2022. Престъпления с изкуствен интелект: преглед на злонамерената употреба и злоупотребата с AI. IEEE Access, том. 10, стр. 77110–77122.

44. Кастелвеки, Д. 2019 г. Пионер в областта на ИИ: „Опасностите от злоупотреба са много реални“. Природа, doi: https://doi.org/10.1038/d41586-019-00505-2

45. Джордан, К. 2022. Възприятията на академиците за въздействието и ангажираността на научните изследвания чрез взаимодействия в социалните медийни платформи. Обучение, медии и технологии, doi: 10.1080/17439884.2022.2065298

46. ​​Wouters, P., Zahedi, Z. и Costas, R. 2019. Социални медийни показатели за оценка на нови изследвания. Glänzel, W., Moed, HF, Schmoch U., Thelwall, M. (eds.), Springer Handbook of Science and Technology Indicators. SpringerLink.

47. Рафолс, И. и Стърлинг, А. 2020 г. Проектиране на индикатори за отваряне на оценка. Прозрения от оценка на изследването. ResearchGate, doi: 10.31235/osf.io/h2fxp

48. Rich, A., Xuereb, A., Wrobel, B., Kerr, J., Tietjen, K., Mendisu, B., Farjalla, V., Xu, J., Dominik, M., Wuite, G ., Hod, O. и Baul, J. 2022 г. Обратно към основите. Хале, Германия, Global Young Academy.

49. Джонг, Л., Франсен, Т. и Пинфийлд, С. 2021. Отлични постижения в изследователската екосистема: Преглед на литературата. Лондон, Обединеното кралство, Изследователски институт.

50. Hatch, A. и Curry, S. 2020. Изследователска култура: Промяната на начина, по който оценяваме изследванията, е трудна, но не и невъзможна. eLife, том. 9, стр. e58654.

51. IAP. 2022. Борба с хищническите академични списания и конференции. Триест, Италия, IAP.

52. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. и Rafols, I. 2015. Библиометрия: Лайденският манифест за изследователски показатели. Природа, бр. 520, стр. 429–431.

53. Publons. 2018. Глобално състояние на партньорската проверка. Лондон, Великобритания, Clarivate. https://doi.org/10.14322

54. Kovanis, M., Porcher, R., Revaud, P. и Trinquart, L. 2016. Глобалната тежест на партньорската проверка на списанието в биомедицинската литература: силен дисбаланс в колективното предприятие. PLoS ONE, том. 11, № 11, стр. e0166387.

55. Forrester, B. 2023. Омръзнал и изгорял: „тихото напускане“ удря академичните среди. Природа, бр. 615, стр. 751–753.

56. Hatch, A. и Curry, S. 2020. Изследователска култура: промяната на начина, по който оценяваме изследванията, е трудна, но не и невъзможна. eLife, том. 9, стр. e58654.

57. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Har Sham, M., Barbour, V., Coriat, AM, Foeger, N. и Dirnagi, U. 2020. The Hong Принципи на Kong за оценяване на изследователи: насърчаване на почтеността на изследванията. PLoS биология, том. 18, № 7, стр. e3000737.

58. Wilsdon, J., Allen, L., Belfiore, E., Campbell, P., Curry, S., Hill, S., Jones, R., Kain, R. и Kerridge, S. 2015. Метриката Прилив: Доклад от независимия преглед на ролята на показателите в оценката и управлението на научните изследвания. doi:10.13140/RG.2.1.4929.1363

59. Curry, S., Gadd, E. и Wilsdon, J. 2022. Използване на метричния прилив: индикатори, инфраструктури и приоритети за оценка на отговорните изследвания в Обединеното кралство. Лондон, Обединеното кралство, Изследователски институт.

60. Редакция на природата. 2022. Подкрепете смелата визия на Европа за отговорна оценка на научните изследвания. Природа, бр. 607, p. 636.

61. Декларация за оценка на научните изследвания (DORA). https://sfdora.org/about-dora/

62. Hicks, D., Wouters, P., Waltman, L., de Rijcke, S. и Rafols, I. 2015. Библиометрия: Лайденският манифест за изследователски показатели. Природа, бр. 520, стр. 429–431.

63. Curry, S., Gadd, E. и Wilsdon, J. 2022. Използване на метричния прилив: индикатори, инфраструктури и приоритети за оценка на отговорните изследвания в Обединеното кралство. Лондон, Обединеното кралство, Изследователски институт. https://rori.figshare.com/articles/report/Harnessing_the_Metric_Tide/21701624

64. ДОРА. Декларация от Сан Франциско за оценка на научните изследвания. https://sfdora.org/read/

65. ДОРА. Инструменти за напреднала изследователска оценка. ДОРА. https://sfdora.org/project-tara/

66. ДОРА. Грантове за ангажираност на общността DORA: Подкрепа на реформата на академичното оценяване https://sfdora.org/dora-community-engagement-grants-supporting-academic-assessment-reform/

67. Ненорми. SCOPE Рамка за оценка на научните изследвания. https://inorms.net/scope-framework-for-research-evaluation/

68. Ненорми. Рамката SCOPE. https://inorms.net/scope-framework-for-research-evaluation/

69. Торфин, С. 2018. Качество на изследванията плюс. Международен изследователски център за развитие. https://www.idrc.ca/en/rqplus

70. Reid, C., Calia, C., Guerra, C. и Grant, L. 2019. Етични действия в глобалните изследвания: Инструментариум. Единбург, Шотландия, Университет на Единбург. https://www.ethical-global-research.ed.ac.uk/

71. Valters, C. 2014. Теории за промяна в международното развитие: комуникация, учене или отчетност? Фондация Азия. https://www.alnap.org/system/files/content/resource/files/main/jsrp17-valters.pdf

72. Fraser, C., Nienaltowski, MH, Goff, KP, Firth, C., Sharman, B., Bright, M. и Dias, SM 2021. Отговорна изследователска оценка. Световен изследователски съвет. https://globalresearchcouncil.org/news/responsible-research-assessment/

73. Световният изследователски съвет. GRC Отговорна изследователска оценка. YouTube. https://www.youtube.com/watch?v=CnsqDYHGdDo

74. Curry, S., de Rijcke, S., Hatch, A., Dorsamy, P., van der Weijden, I. и Wilsdon, J. 2020. Променящата се роля на финансиращите в оценката на отговорните изследвания. Лондон, Обединеното кралство, Изследователски институт. https://doi.org/10.6084/m9.figshare.13227914.v1

75. Световен изследователски съвет. Отговорна работна група за оценка на изследванията. GRC. https://globalresearchcouncil.org/about/responsible-research-assessment-working-group/

76. Глобална млада академия. Научни постижения. GYA. https://globalyoungacademy.net/activities/scientific-excellence/

77. Адамс, Дж., Биърдсли, Р., Борнман, Л., Грант, Дж., Сомзор, М. и Уилямс, К. 2022 г. Оценка на изследването: произход, еволюция, резултати. Институт за научна информация. https://clarivate.com/ISI-Research-Assessment-Report-v5b-Spreads.pdf

78. ДОРА. Библиотека с ресурси. https://sfdora.org/resource-library

79. Saenen, B., Hatch, A., Curry, S., Proudman, V. и Lakoduk, A. 2021. Преосмисляне на оценката на академичната кариера: истории за иновации и промяна. ДОРА. https://eua.eu/downloads/publications/eua-dora-sparc_case%20study%20report.pdf

80. Коалиция за напредък в оценката на научните изследвания (CoARA). https://coara.eu/

81. CoARA. 2022 г. Споразумение за реформиране на оценката на научните изследвания. https://coara.eu/app/uploads/2022/09/2022_07_19_rra_agreement_final.pdf

82. Редакция на природата. 2022. Подкрепете смелата визия на Европа за отговорна оценка на научните изследвания. Природа, бр. 607, p. 636.

83. Отворена и универсална наука. Начало на OPUS – Проект за отворена и универсална наука (OPUS). https://opusproject.eu/

84. Vergoulis, T. 2023. GraspOS се придвижва напред към по-отговорна изследователска оценка. OpenAIRE. https://www.openaire.eu/graspos-moving-forward-to-a-more-responsible-research-assessment

85. Европейски съвет за научни изследвания. 2022 г. Научният съвет на ERC решава промени във формулярите и процесите за оценка за поканите за 2024 г. ERC. https://erc.europa.eu/news-events/news/erc-scientific-council-decides-changes-evaluation-forms-and-processes-2024-calls

86. Всички европейски академии. 2022. Изявление на ALLEA за реформиране на оценката на научните изследвания в рамките на европейските академии. АЛЕЯ. https://allea.org/wp-content/uploads/2022/10/ALLEA-Statement-RRA-in-the-Academies.pdf

87. Eurodoc, MCAA, YAE, ICoRSA и GYA. 2022 г. Съвместно изявление относно заключенията на Съвета на ЕС относно оценката на научните изследвания и прилагането на отворена наука. Zenodo, doi: 10.5282/zenodo.7066807.

88. Overlaet, B. 2022. Път към многоизмерна академична кариера – Рамка на LERU за оценка на изследователи. LERU, Льовен, Белгия. https://www.leru.org/files/Publications/LERU_PositionPaper_Framework-for-the-Assessment-of-Researchers.pdf

89. Кралско общество. Резюме за изследователи. https://royalsociety.org/topics-policy/projects/research-culture/tools-for-support/resume-for-researchers/

90. Grove, J. 2021. Разказват ли наративните автобиографии правилната история? Times Higher Education (THE). https://www.timeshighereducation.com/depth/do-narrative-cvs-tell-right-story

91. РИЦИТ. Изследователи по сектор на заетостта (FTE) 2011-2020. app.ricyt.org/ui/v3/comparative.html?indicator=INVESTEJCSEPER&start_year=2011&end_year=2020

92. КЛАКСО. 2020. Оценяване на оценката на научните изследвания. Поредица „Към трансформация на оценката на научните изследвания в Латинска Америка и Карибите“ от Латинскоамериканския форум за оценка на научните изследвания (FOLEC). CLACSO, Буенос Айрес, Аржентина. https://www.clacso.org/wp-content/uploads/2020/05/FOLEC-DIAGNOSTICO-INGLES.pdf

93. КЛАСО. 2021. Към трансформация на системите за оценяване в Латинска Америка и Карибите, инструменти за насърчаване на нови политики за оценяване. Серия от Латинскоамериканския форум за оценка на научните изследвания (FOLEC). CLACSO, Буенос Айрес, Аржентина. https://www.clacso.org/wp-content/uploads/2022/02/Documento-HERRAMIENTA-2-ENG.pdf

94. Грас, Н. 2022. Форми на изследователска оценка, ориентирана към проблемите на развитието. Практики и перспективи от национални научни и технологични организации и институции за висше образование в Латинска Америка и Карибите. ФОЛЕК. CLACSO, Буенос Айрес, Аржентина. 2022-07-27_Report Forms-of-research-assessment.pdf ENG.pdf (dspacedirect.org)

95. CLACSO е Съветът за социални науки в региона и водещ шампион за социално значима и отговорна наука. Латинскоамериканският форум за оценка на научните изследвания (FOLEC) е регионално пространство за дебат и споделяне на добри практики и разработва регионални насоки за оценка на научните изследвания в подкрепа на тези принципи. И двете осигуряват силно регионално лидерство.

96. SGCI. Инициатива за съвети за отпускане на наука (SGCI) в Субсахарска Африка. https://sgciafrica.org/

97. SGCI. Tijssen, R. и Kraemer-Mbula, E. 2017 г. Политическа справка: Перспективи за върхови научни постижения в глобалния юг – оценка, мониторинг и оценка в контекста на развиващите се страни. SGCI. https://sgciafrica.org/wp-content/uploads/2022/03/Policy-Brief-Perspectives-on-research-excellence-in-the-Global-South_-Assessment-monitoring-and-evaluation-in-developing- държави-контексти.pdf

98. Tijssen, R. и Kraemer-Mbula, E. 2018. Отлични научни постижения в Африка: Политики, възприятия и резултати. SGCI. https://sgciafrica.org/research-excellence-in-africa-policies-perceptions-and-performance/

99. Tijssen, R. и Kraemer-Mbula, E. 2018. Отлични научни постижения в Африка: Политики, възприятия и резултати. Наука и обществена политика, бр. 45 № 3, стр. 392–403. https://doi.org/10.1093/scipol/scx074

100. SGCI. Насоки за добри практики относно качеството на конкурсите за научни изследвания. https://sgciafrica.org/eng-good-practice-guideline-on-the-quality-of-research-competitions/

101. NRF. NRF е домакин на стратегически срещи за напредък в изследователските партньорства в Африка – Национална изследователска фондация

102. Belcher, BM, Rasmussen, KE, Kemshaw, MR и Zornes, DA 2016. Дефиниране и оценка на качеството на изследванията в трансдисциплинарен контекст, Research Evaluation, Vol. 25, стр.: 1–17, https://doi.org/10.1093/reseval/rvv025

103. АРИН. 2020. Показатели за научни технологии и иновации (STI) – Африканска мрежа за изследване и въздействие (arin-africa.org)

104. McLean R., Ofir Z., Etherington A., Acevedo M. и Feinstein O. 2022. Качество на изследванията плюс (RQ+) – Различно оценяване на изследванията. Отава, Център за изследване на международното развитие. https://idl-bnc-idrc.dspacedirect.org/bitstream/handle/10625/60945/IDL-60945.pdf?sequence=2&isAllowed=y

105. Международна академия за мониторинг и оценка

106. ДОРА. Табло TARA. https://sfdora.org/tara-landing-page/

107. IARU, Международна асоциация на университетите с интензивни изследвания; LERU, Лига на европейските изследователски университети; AAU, Африканска асоциация на университетите