Bollettino telematico di filosofia politica

PDF

Sommario

Abstract
L’Agreement on Reforming Research Assessment
Il contesto culturale e politico in cui nasce la riforma della valutazione
Come si è arrivati alla definizione dell’accordo: il processo di stesura
Primi elementi per la definizione di Roadmap e Action Plan
Gli studi della Commissione europea sui nuovi criteri e indicatori
Due esempi: monitoraggio di istituzioni di ricerca e valutazione dei progetti di ricerca
Un esempio di implementazione degli impegni fondamentali: la valutazione del ricercatore
Riflessioni conclusive
Appendice: i quattro impegni fondamentali dell’Accordo per la riforma della valutazione della ricerca
Ringraziamenti

Abstract

L’Agreement on Reforming Research Assessment  è stato pubblicato il 20 luglio 2022, al termine di un processo avviato dalla Commissione europea all’inizio del 2021. L’articolo espone gli elementi fondamentali dell’accordo, ricostruisce la genesi e le tappe del processo e presenta il contesto culturale e politico in cui si è definito. Inoltre, vengono proposti alcuni primi elementi per la definizione di roadmap e piani d’azione necessari a tradurre i principi e gli impegni dell’accordo in una serie di criteri e indicatori per la valutazione di istituzioni, di progetti di ricerca e di singoli ricercatori. In conclusione sono presentate alcune riflessioni sulle sfide da affrontare e sulle opportunità che la riforma della valutazione offre.

Parole chiave

scienza aperta, valutazione della ricerca, riforma della valutazione della ricerca, CoARA

Come citare questo testo

Francesca Di Donato, Una questione di qualità o una formalità? L’Agreement on Reforming Research Assessment e il processo di riforma della valutazione della ricerca in Europa, in «Bollettino telematico di filosofia politica», 2022, pp. 1-30, https://commentbfp.sp.unipi.it/francesca-di-donato-una-questione-di-qualita-o-una-formalita-lagreement-on-reforming-research-assessment-e-il-processo-di-riforma-della-valutazione-della-ricerca-in-europa/

L’Agreement on Reforming Research Assessment

“La nostra visione è che la valutazione della ricerca, dei ricercatori e delle organizzazioni di ricerca riconosca i diversi risultati, le pratiche e le attività che massimizzano la qualità e l’impatto della ricerca stessa. Ciò richiede di fondare la valutazione principalmente sul giudizio qualitativo, per il quale la peer-review è centrale, supportata da un uso responsabile degli indicatori quantitativi”.¹

Pubblicato il 20 luglio 2022, l’Agreement on Reforming Research Assessment (ARRA) è un documento snello e di alto livello, che stabilisce una direzione comune per la riforma delle pratiche di valutazione della ricerca, nel rispetto dell’autonomia delle organizzazioni.

Il documento si basa sulla volontà di stabilire le condizioni effettive per riformare la valutazione della ricerca e per avviare azioni concrete in tal senso, e si compone di sei parti:

1. un’introduzione in cui si definisce la visione;
2. i principi su cui basare i criteri e i processi di valutazione; e le sezioni principali che sono costituite da:
3. i dieci  “commitment”, gli  impegni concreti che i firmatari e gli aderenti si impegnano a rispettare;
4. il calendario, che definisce i passi da fare secondo un arco temporale preciso, stabilito nell’accordo;
5. una prima definizione della (costituenda) coalizione (Coalition on Reforming Research Assessment – CoARA), che nasce per tradurre in pratica tali impegni;
6. una serie di appendici che ricostruiscono le motivazioni alla base dell’accordo (Annex 1), includono un glossario (Annex 2), e presentano due validi strumenti per tradurre in pratica gli impegni, vale a dire un percorso di riforma suggerito in alcuni passaggi (Annex 3) e un “toolbox” che include esempi di strumenti per tradurre in pratica gli impegni e i passaggi organizzativi richiesti (Annex 4).

La visione su cui si basa l’ARRA è che la valutazione della ricerca, vale a dire dei ricercatori, dei progetti, e delle organizzazioni di ricerca, sia di supporto alla ricerca di qualità e alla massimizzazione dell’impatto a diversi livelli. Ciò può avvenire riconoscendo una molteplicità di prodotti e di risultati, ma anche di pratiche e di attività che costituiscono e definiscono la ricerca.

È qui evidente il nesso con il supporto dell’ARRA verso l’adozione delle pratiche della scienza aperta, che contribuiscono a garantire una ricerca di qualità, cioè fondata su trasparenza, rigore e integrità, apertura e collaborazione. Ciò comporta anche valutare la ricerca principalmente su base qualitativa, e fare uso di indicatori quantitativi solo con una funzione di supporto.

La parte centrale dell’accordo è costituita dai dieci impegni che i firmatari si obbligano a rispettare. Gli impegni indicano una serie di regole di alto livello che danno la direzione che i processi di riforma dovranno seguire e si distinguono in due tipologie:

I primi quattro impegni fondamentali (core commitment) sono quelli che favoriscono e promuovono la riforma verso il riconoscimento di una varietà di risultati, pratiche e attività, e sostengono una valutazione della ricerca che possa evolversi nella direzione di un progressivo abbandono dell’uso di indicatori quantitativi, soprattutto se inappropriato².

Il primo impegno richiede di “riconoscere la molteplicità di contributi e delle carriere nella ricerca, in accordo con i bisogni e la natura della ricerca”.

Si tratta dunque di riconoscere e valorizzare contributi scientifici che non si limitino alle pubblicazioni su rivista ma che includano le diverse tipologie di risultati (tra cui software, data set, workflow, metodologie, etc.), ma anche le pratiche che contribuiscono alla solidità, all’apertura, alla trasparenza e all’inclusività della ricerca e dei suoi processi, e le attività complementari alla ricerca in senso stretto come la didattica, la leadership, la supervisione e il tutoraggio.

Il secondo impegno impone di “basare la valutazione della ricerca principalmente sulla valutazione qualitativa per la quale la revisione tra pari è centrale, supportata da un uso responsabile di indicatori quantitativi”.

Si afferma dunque che la valutazione della ricerca dovrebbe basarsi principalmente su una valutazione qualitativa fondata sulla peer-review, che è il metodo più solido riconosciuto per la valutazione della qualità e che ha il vantaggio di essere nelle mani della comunità scientifica. L’uso di indicatori quantitativi può essere di supporto a patto che siano usati in modo responsabile. Per incentivare l’adozione della revisione tra pari è anche fondamentale riconoscere e valorizzare il lavoro di peer-review.

Il terzo impegno chiede di “abbandonare gli usi inappropriati nella valutazione della ricerca di metriche basate su riviste e pubblicazioni, in particolare usi inappropriati di Journal Impact Factor (JIF) e h-index”.

Il testo chiarisce anche che cosa si intende con “usi inappropriati”, che includono: utilizzare soltanto metriche basate sull’autore (come il conteggio di documenti, brevetti, citazioni) per valutare qualità e/o impatto; valutare i risultati sulla base di metriche relative a asa editrice, tipologia di pubblicazioni o lingua utilizzata; e fare affidamento su qualsiasi altra metrica che non registri adeguatamente la qualità e/o l’impatto.

Infine, il quarto impegno richiede di “evitare l’uso delle classifiche (ranking) degli organismi di ricerca nella valutazione della ricerca”.

Tale impegno aiuta a evitare che le metriche utilizzate nei ranking internazionali degli organismi di ricerca, che si basano su metodi e strumenti definiti da società commerciali e che sono inadeguate per la valutazione dei ricercatori, si riversino nella valutazione dei ricercatori per i quali sono inadeguate.

I sei impegni di supporto (supporting commitment) sono obblighi aggiuntivi che facilitano la creazione di nuovi criteri, strumenti e processi di valutazione della ricerca e sono di sostegno all’apprendimento reciproco, favorendo la collaborazione tra le organizzazioni firmatarie e la comunicazione dei progressi ottenuti nei processi di riforma avviati. La figura 1 ne riporta il testo.

Figura 1 – I sei impegni di supporto³.

Gli impegni di supporto comprendono azioni da intraprendere sia all’interno dell’organizzazione, coinvolgendo i ricercatori in attività di definizione e sviluppo e revisione dei nuovi indicatori, di informazione e formazione, sia verso l’esterno (si vedano in particolare gli impegni 8, 9 e 10).

Vale la pena sottolineare che un impegno specifico, in particolare, richiede di fare sì che criteri, strumenti e processi utilizzati nella valutazione siano basati sull’evidenza, e che possano e debbano sempre evolversi sulla base delle informazioni che verranno condivise. Secondo la nota legge di Goodhart, “when a measure becomes a target, it ceases being a good measure”; è dunque indispensabile investire in Research on Research per fare sì che le scelte e le decisioni siano fondate sui risultati della ricerca sul tema e che continuino ad essere oggetto di ricerca.

L’accordo dunque presenta alcune caratteristiche fondamentali che è opportuno richiamare.

La prima è la flessibilità: fin dalle consultazioni iniziali⁴ è infatti risultato chiaro che affinché l’iniziativa ottenesse successo era fondamentale tener conto delle diversità tra le organizzazioni, le discipline, i paesi e le missioni delle organizzazioni, e tra le fasi della carriera dei ricercatori. Per questo si tratta di un documento che definisce principi e impegni generali (ma non generici) che possano includere tutti, ma anche essere declinati nei diversi contesti nella valorizzazione e nel rispetto delle differenze. La flessibilità va anche intesa a livello di implementazione, come un approccio graduale verso il cambiamento

La seconda caratteristica è il rispetto dell’autonomia delle organizzazioni. Nel quadro dell’Agreement, flessibilità e autonomia sono coerenti col fatto che l’ARRA stabilisce principi comuni; perciò l’accordo costituirà un importante strumento per evitare la frammentazione e per facilitare lo sviluppo di un percorso collettivo e coordinato da parte di organizzazioni e stati membri.

Un terzo aspetto estremamente importante è che l’ARRA non implica il completo abbandono degli indicatori quantitativi, ma dei loro usi inappropriati, che in esso vengono specificamente definiti⁵. L’ARRA indica anche che cosa (principi e pratiche) concorre a definire la qualità; pertanto, specifici indicatori dovranno essere sviluppati, testati e utilizzati per valorizzare e incentivare le pratiche della ricerca che concorrono a definirne la qualità e l’impatto a diversi livelli, e che comprendono le pratiche che contribuiscono a facilitare solidità, apertura, trasparenza e inclusività della ricerca e del processo di ricerca, inclusi peer-review, lavoro di gruppo e collaborazione.

Il quarto elemento riguarda il coinvolgimento dei ricercatori, soprattutto giovani, nel processo di riforma. Si tratta di un punto fondamentale, poiché sono loro quelli su cui la riforma avrà un impatto maggiore e anche per questa ragione le associazioni dei ricercatori sono state coinvolte sin dal principio, e i loro feedback sono stati tenuti in grande considerazione e inclusi nella versione finale dell’Agreement⁶.

Un penultimo elemento è il forte carattere pratico dell’accordo, i cui firmatari si impegnano entro un lasso di tempo definito a individuare nuovi criteri e sperimentare nuove forme di valutazione e a condividerne i risultati.

Infine, è opportuno tenere presente che l’ARRA costituisce il punto di partenza e non quello di arrivo del percorso avviato. Esso infatti costituisce il framework di riferimento entro il quale avverranno le trasformazioni degli attuali sistemi di valutazione.

L’Annex 3 individua in particolare i passaggi organizzativi da attuare, enucleati in azioni o punti, e riportati nella tabella che segue, per aiutare a tradurre in pratica le prescrizioni contenute nel testo dell’accordo e in particolare negli impegni di supporto.

Tabella 1 – “Reform journey: a suggested process for achieving the Commitments”, Annex 3 dell’Agreement on Reforming Research Assessment. Il percorso viene presentato secondo un ordine cronologico, ma può essere adattato a seconda dei contesti e delle necessità delle singole istituzioni.

Due mesi dopo la pubblicazione dell’Accordo, il 28 settembre 2022, è stata lanciata CoARA, la Coalition for the advancement of the research assessment, organo operativo per tradurre i principi e gli impegni in pratica, e a cui è possibile aderire sottoscrivendo l’Agreement. Da allora, il numero dei firmatari cresce di giorno in giorno e in poche settimane le adesioni hanno raggiunto le trecentosessanta firme⁷. Tra queste ci sono università ed enti di ricerca, enti finanziatori, agenzie di valutazione e associazioni di ricercatori. Le organizzazioni italiane che hanno aderito fino a oggi sono quarantanove e comprendono, oltre all’ANVUR, il CNR e trentotto università italiane. La Commissione europea ha sottoscritto l’accordo l’8 novembre.

La fase che si sta avviando ha visto come primo passaggio l’assemblea costituente di CoARA, tenutasi il 1° dicembre 2022, che ne ha eletto gli organi e ha approvato l’organizzazione secondo i documenti sulla governance pubblicati sul sito della coalizione⁸.

Lo scopo di CoARA è fornire supporto ai firmatari nelle attività di apprendimento reciproco, nella sperimentazione di nuovi processi, e nella condivisione di buone pratiche. Il lavoro della Coalition sarà organizzato all’interno di Working group proposti dall’assemblea, che lavoreranno su diverse tematiche, e che funzioneranno come Community of Practice. I gruppi di lavoro potranno discutere di argomenti e criteri di natura orizzontale o verticale; le tipologie individuate al momento includono gruppi su temi specifici (Interest communities); gruppi disciplinari, per discutere e definire criteri sulla base delle specifiche esigenze delle diverse discipline; Institution communities, incentrate su tematiche che riguardano tipologie particolari di istituzioni; e National communities, dedicate alle comunità nazionali.

Un ruolo fondamentale di CoARA sarà effettuare un monitoraggio delle riforme in atto. La tempistica, anch’essa inclusa nell’accordo e in quanto tale oggetto di impegno, prevede infatti che i membri della Coalition garantiscano:

• di rendere pubblica una Roadmap del piano di riforma e un piano di azioni con relative Milestone da rispettare entro la fine del 2023 (o un anno dalla firma);
• di rendere noto in forma pubblica, periodicamente, lo stato di avanzamento delle riforme avviate. La comunicazione dei progressi dei singoli membri nell’attuazione degli impegni si baserà principalmente su un’auto valutazione condivisa pubblicamente. Tale approccio, basato sulla fiducia, favorirà lo scambio di informazioni e la collaborazione, compresa la sperimentazione congiunta, ove opportuno.
• di aver realizzato, entro 5 anni dalla firma, almeno un ciclo di revisione e di sviluppo dei nuovi criteri, processi e strumenti di valutazione.

Il contesto culturale e politico in cui nasce la riforma della valutazione

L’iniziativa europea di riforma del sistema della valutazione è stata avviata circa due anni fa dalla Commissione europea⁹  per un insieme di motivi che è opportuno brevemente richiamare, e che aiutano a ricostruire il contesto entro cui tale iniziativa ha visto la nascita e si è sviluppata.

Il primo motivo risiede nelle trasformazioni delle modalità e delle pratiche della comunicazione scientifica avvenute per via della digitalizzazione e dell’affermarsi di internet, del Web e dell’Information Technology. Il modo di fare ricerca è cambiato, evolvendo e trasformando le sue pratiche, e aprendo nuove possibilità nella generazione, condivisione e disseminazione del sapere, possibilità che investono tutti gli ambiti disciplinari; tale cambiamento riguarda sia i processi, vale a dire il modo di lavorare dei ricercatori, sia i “prodotti” della ricerca, che non si limitano più alle pubblicazioni, ma che oggi comprendono tutti gli elementi del ciclo della ricerca, dati, software, metodologie, protocolli e una molteplice varietà di altre tipologie di risultati. Il cambiamento consiste anche nel prevalere dei valori e delle pratiche della collaborazione aperta e quindi nel riconoscimento dell’importanza della scienza aperta e di una condivisione tempestiva di risultati e di pratiche, che interessano l’apertura di tutto il processo di ricerca e non soltanto dei suoi prodotti finali¹⁰, secondo il principio “il più aperto possibile e il prima possibile”. Questa trasformazione ha portato ad interrogarsi sull’adeguatezza del sistema attuale di valutazione nell’incentivare le pratiche di condivisione e nella considerazione di ogni elemento del processo di ricerca ai fini valutativi. La risposta è stata negativa¹¹.

L’attuale sistema infatti valorizza esclusivamente le pubblicazioni (in particolare gli articoli su rivista), e il prestigio percepito della casa editrice o della sede editoriale, spesso inducendo i ricercatori a truccare il meccanismo¹². Gli indicatori che abbiamo oggi a disposizione e i criteri sostanzialmente quantitativi che sono in uso risultano inadatti a valorizzare e a incentivare le diverse pratiche di ricerca che sono invece necessarie a garantirne la qualità; inoltre, il sistema della valutazione attuale non supporta e non facilita l’integrità della ricerca  – perché si focalizza solo sul prodotto finale e non sul processo, che spesso non è trasparente – e la diffusione tempestiva dei risultati – perché deve attendere gli esiti di una peer review tradizionale, che spesso impiega mesi e mesi, producendo un impatto negativo su qualità ed efficienza della ricerca stessa. Tutto questo ha portato alla necessità di rivedere e trasformare i criteri esistenti.

Principi condivisi sono da diversi anni disponibili, come risultato di ampie discussioni e di processi di co-creazione tra la comunità accademica e una molteplicità di importanti parti interessate, tra cui agenzie di finanziamento, valutatori esterni, reti di ricercatori, organizzazioni di ricerca, finanziatori e decisori politici e le rispettive “umbrella organizations”¹³. La San Francisco Declaration on Research Assessment del 2012 (DORA) fornisce raccomandazioni per migliorare la valutazione vagliando il merito intrinseco della ricerca e abbandonando l’uso inappropriato di indicatori bibliometrici come JIF e H-index. Il Leiden Manifesto del 2015 e gli Hong Kong Principles¹⁴ del 2020 individuano i principi sulla base dei quali incentivare l’adozione di pratiche che supportino l’integrità della ricerca. Lo stesso fanno iniziative nazionali come la Room for everyone’s talent che ha visto la collaborazione delle università olandesi della Norwegian Career Assessment Matrix (NOR-CAM) per definire i termini di un cambiamento della valutazione della ricerca.

Quelle sopra menzionate sono solo una parte delle iniziative e delle buone pratiche avviate in tempi recenti; nonostante gli esempi virtuosi¹⁵, nella maggior parte dei casi i principi e le raccomandazioni non vengono applicati per un insieme di ragioni:

• la necessità di una valutazione a diversi livelli, che tenga conto di molteplici aspetti e necessità: il bisogno di valutare diverse tipologie di soggetti, vale a dire ricercatori a livello individuale, organizzazioni che svolgono attività di ricerca, e progetti di ricerca; la necessità di valutazione nelle diverse discipline accademiche: la valutazione della ricerca è e dovrebbe essere ben allineata con una ricca diversità di discipline e culture epistemiche che presentano metodologie, processi e risultati assai diversi tra loro; la valutazione in differenti contesti politici: istituzionale, nazionale e internazionale). Questa varietà restituisce un panorama frammentato, in cui i progressi compiuti finora risultano disomogenei¹⁶;
• il fatto che la maggior parte dell’attenzione continua a essere data a un “output” singolo e specifico (invece che a una pluralità di risultati) poiché le pubblicazioni (in particolare gli articoli su rivista) sono ancora al centro della maggior parte dei sistemi di valutazione, il che porta a una monocultura invece di incoraggiare la bibliodiversità¹⁷; inoltre, nell’era della carta la pubblicazione come sintesi finale della ricerca era tutto ciò che si poteva condividere, mentre oggi, grazie al Web, si può dar conto dell’intero processo – rispondendo non solo a istanze di trasparenza ma anche di solidità e integrità della ricerca;
• l’aumento della concorrenza tra le istituzioni e la cultura del “publish or perish”, che ha dato origine a un sistema in cui la quantità prevale sulla qualità e in cui le pratiche di valutazione della ricerca si basano su metriche facilmente confrontabili o sul prestigio degli editori tra paesi e discipline¹⁸; questa spinta ipercompetitiva ha inoltre creato fra i ricercatori non solo comportamenti adattivi ma anche pratiche non ortodosse pur di raggiungere le agognate riviste ad alto impatto¹⁹;
• il fatto che i criteri e i processi di valutazione sono opachi, e difettano di trasparenza (apertura, accessibilità);²⁰
• e, infine, la mancanza di monitoraggio degli effetti della valutazione della ricerca sulle pratiche e sui comportamenti dei ricercatori²¹, il che implica che l’attuale dibattito su nuove procedure di valutazione e incentivi non sia ben supportato da dati empirici.

La considerazione di tutto ciò ha portato alla nascita dell’iniziativa avviata a livello europeo con lo scopo di armonizzare e di coordinare una riforma della valutazione, la quale si inscrive in un quadro politico che è opportuno richiamare.

Raccomandazioni per una efficace adozione delle pratiche della scienza aperta e per una riforma del sistema della valutazione provengono dal Consiglio dell’Unione Europea e dalla Commissione europea da alcuni anni. Già nella Amsterdam Call for Action on Open science, nel 2016, la riforma della valutazione figurava al primo posto fra le 12 azioni da implementare per creare una cultura aperta della ricerca²². Una forte consapevolezza a livello europeo era poi arrivata all’interno della Open Science Policy Platform, l’advisory group nominato dalla Commissione per avere indicazioni su come sviluppare la sua politica  per la scienza aperta. In questa sede la discussione sull’implementazione delle politiche della scienza aperta, ha evidenziato che la valutazione della ricerca non solo non incentiva ma di fatto è una barriera verso l’adozione di queste pratiche²³.

Altre iniziative importanti sono venute dagli Stati membri. Nel 2021 il Consiglio dell’Unione Europea, che rappresenta gli stati attraverso i loro ministri, nelle sue conclusioni sulla futura governance dello spazio europeo della ricerca stabilisce che, all’interno dell’agenda politica 2022-2024, la riforma della valutazione costituisce una delle priorità della nuova European Research Area, ed è stata tradotta nell’azione 3, Advance towards the reform of the assessment system for research, researchers and institutions to improve their quality, performance and impact, sulla quale si sono impegnati ventidue stati membri (inclusa l’Italia)²⁴.

Un supporto importante all’iniziativa europea è venuto dalla presidenza francese dell’Unione che, con la Paris Open Science European Conference (OSEC), un evento internazionale organizzato nel febbraio 2022, ha ribadito l’importanza della creazione di una coalizione di attori coinvolti nella riforma del sistema della valutazione della ricerca.

Infine, le Conclusioni sulla valutazione della ricerca e sull’attuazione della scienza aperta, adottate dal Consiglio nella 3877ª sessione tenutasi il 10 giugno 2022 significativamente riconoscono gli effetti negativi del sistema attuale e incoraggiano Commissione e Stati Membri a far proprie le pratiche della scienza aperta e a riformare le pratiche di valutazione correnti, che di fatto limitano bibliodiversità, valorizzazione delle diverse attività, multilinguismo e interdisciplinarietà e invitano a sviluppare sistemi di valutazione più qualitativi²⁵.

Le Conclusioni del Consiglio sono estremamente importanti poiché chiariscono una serie di punti che fungono da premessa e sono elementi essenziali dell’Agreement.

In primo luogo, esse ribadiscono l’importanza dell’adozione delle pratiche della scienza aperta per aumentare qualità, impatto e benefici rendendo il processo di ricerca più affidabile, efficiente e solido. La scienza aperta, e il suo paradigma di trasparenza, è una condizione necessaria al fine di valutare la scienza secondo criteri di qualità. I principi, ribadiscono le Conclusioni del Consiglio, sono promuovere “l’indipendenza, l’apertura, la riproducibilità e la trasparenza dei dati e dei criteri necessari per valutare la ricerca e determinarne gli impatti”²⁶.

La riforma della valutazione, e la progettazione di nuovi sistemi di incentivi e di ricompensa, servono a migliorare la qualità della ricerca. Prendendo atto di una serie di raccomandazioni e report programmatici il Consiglio “RICONOSCE che, al fine di accelerare l’attuazione e l’impatto delle politiche e delle pratiche in materia di scienza aperta in tutta Europa, è necessario adottare misure per progredire verso un approccio nuovo alla valutazione della ricerca, compresi i regimi di incentivi e ricompensa…”²⁷;

La premessa, richiamata in apertura di questo articolo, è che il sistema vigente non funziona e la scienza aperta può contribuire a riformarlo. Il Consiglio infatti “RICORDA che attualmente i sistemi di valutazione della ricerca esistenti sono per lo più troppo concentrati sull’uso di alcuni indicatori quantitativi fondati su riviste e pubblicazioni e sulla valutazione di una gamma ristretta di risultati della ricerca; RITIENE che un tale approccio possa comportare distorsioni negative in termini di qualità, riproducibilità e integrità della ricerca; [e] SOTTOLINEA che la valutazione della ricerca dovrebbe comprendere altri risultati e processi di ricerca e promuovere la condivisione precoce delle conoscenze e la collaborazione al fine di accelerare l’attuazione delle politiche e pratiche in materia di scienza aperta;²⁸;

Si sottolinea inoltre che la comunità scientifica dovrebbe essere al centro di questa evoluzione²⁹, e la necessità di integrare i principi di valutazione della ricerca nell’elaborazione del quadro europeo per le carriere della ricerca definito nello European Competence Framework for Researchers della CE, che sarà pubblicato a breve³⁰.

Nelle Conclusioni il Consiglio definisce poi i principi verso i quali “l’evoluzione dei sistemi di valutazione della ricerca in Europa dovrebbe orientarsi, rispettando al tempo stesso l’autonomia delle istituzioni di ricerca e la libertà della ricerca scientifica, oltre che la diversità dei contesti nazionali e disciplinari, tenendo conto della loro coerenza con le iniziative internazionali”³¹. Questi comprendono:

“a. passare a un approccio più equilibrato tra la valutazione quantitativa e quella qualitativa della ricerca rafforzando gli indicatori qualitativi della valutazione della ricerca e intensificando al contempo l’uso responsabile degli indicatori quantitativi;

b. riconoscere i risultati e i processi di ricerca e innovazione in tutte le loro forme, compresi, tra l’altro, set di dati, software, codici, metodologie, protocolli e brevetti, e non solo le pubblicazioni;  [si] SOTTOLINEA che  i dati dovrebbero essere reperibili, accessibili, interoperabili e riutilizzabili, in linea con i principi FAIR;

c. prendere in considerazione diversi percorsi di carriera e tutte le attività di ricerca e innovazione, compresi il tutoraggio, i ruoli di leadership, l’imprenditorialità, la gestione dei dati, l’insegnamento, la valorizzazione delle conoscenze, la cooperazione tra industria e mondo accademico, il sostegno all’elaborazione di politiche basate su dati concreti, l’interazione con la società, compresi la scienza dei cittadini e l’impegno pubblico;

d. prendere in considerazione le specificità delle varie discipline di ricerca, l’intera gamma delle attività di ricerca, da quella di base a quella applicata, le fasi della carriera nel settore della ricerca e le missioni degli istituti di ricerca;

e. garantire che etica e integrità siano ritenute della massima priorità e non siano compromesse da contro-incentivi;

f. garantire la diversità e la parità di genere e promuovere attivamente il coinvolgimento delle donne nella scienza.”³²

Infine, con un esplicito riferimento al processo avviato intorno alla definizione dell’Agreement on Reforming Research Assessment, la Conclusione invita gli stati membri a incoraggiare gli stakeholder a unirsi all’iniziativa europea di riforma già avviata, anche sostenendo le loro organizzazioni nazionali nell’attuare i cambiamenti a livello locale, e invita la Commissione europea a lavorare con gli stati membri per la rimozione delle barriere che ostacolano o impediscono tale attuazione.

Come si è arrivati alla definizione dell’accordo: il processo di stesura

Il processo che ha portato alla pubblicazione dell’Agreement on Reforming Research Assessment si è avviato all’inizio del 2021, quando la Commissione europea ha aperto una consultazione sulla riforma della valutazione con numerosi stakeholder, che è avvenuta principalmente attraverso una serie di incontri bilaterali³³.

Uno dei risultati di questa fase è stata la considerazione che una trasformazione delle pratiche di valutazione della ricerca si poteva attuare solo attraverso un meccanismo dal basso, che vedesse il coinvolgimento diretto dei diversi stakeholder, sostenuto da un coordinamento top-down. Per poter procedere in modo congiunto si doveva arrivare a una forma di accordo tra le varie organizzazioni responsabili della valutazione della ricerca.

I risultati di questa fase di consultazione sono contenuti nello Scoping Report di novembre 2021: Towards a reform of the research assessment system. Il Report evidenzia le ragioni e le necessità della riforma e ne individua i principi, che sono ripresi nell’Agreement, per una valutazione che favorisca una ricerca di maggiore qualità, più produttiva e di maggiore impatto.

Tali principi consistono nel valorizzare qualità e impatto della ricerca a diversi livelli, dove la qualità “implica che la ricerca sia condotta attraverso processi e metodologie di ricerca trasparenti e attraverso una gestione della ricerca che consenta il riutilizzo sistematico dei risultati precedenti. L’apertura della ricerca e i risultati verificabili e riproducibili ove applicabile contribuiscono fortemente alla qualità. L’apertura coincide con la conoscenza precoce e la condivisione dei dati, nonché la collaborazione aperta, compreso il coinvolgimento della società ove appropriato”³⁴.

In particolare, l’obiettivo è facilitare e accelerare una riforma basata sui seguenti punti chiave:

• promuovere la valutazione qualitativa basata sul peer review, supportata da un uso più responsabile degli indicatori quantitativi;
• valore e impatto di una pluralità di output di ricerca (bibliodiversità) e riconoscere il valore del multilinguismo
• riconoscere la diversità delle attività svolte da un ricercatore, supportare la scienza collaborativa (team science) e la ricerca interdisciplinare;
• incentivare la collaborazione aperta e la condivisione di risultati e dati preliminari.

In seguito alla pubblicazione dello Scoping Report, la Commissione europea ha aperto una “call for expression of interest” in cui ha invitato le organizzazioni a partecipare al processo di definizione e stesura dell’accordo. Alla call di dicembre 2021 hanno risposto oltre trecentocinquanta organizzazioni, di diversa tipologia, provenienti da quaranta paesi, tra cui ventitré istituzioni italiane (inclusi MUR e ANVUR)³⁵.

Al processo che è stato utilizzato per la stesura dell’accordo hanno partecipato un numero consistente di organizzazioni; avviato a gennaio e conclusosi a luglio, ha visto in particolare coinvolti i seguenti attori e gruppi con i relativi ruoli:

• Drafting Team, composto dalla European University Association, che comprende oltre 800 università in Europa, da Science Europe, che rappresenta i maggiori enti finanziatori in Europa, e dalla ricercatrice indipendente Karen Stroobant, e facilitato dalla stessa Commissione europea. Il Drafting Team ha implementato le migliaia di commenti arrivati durante la stesura, avvalendosi del supporto di un core group.
• Il Core Group, composto da venti rappresentanti di varie organizzazioni europee, tra cui il CNR, che è stata l’unica istituzione italiana rappresentata. Il Core Group si è consultato in diverse iterazioni col Drafting Team e ha contribuito alla stesura dei vari draft dell’accordo.
• Oltre 350 organizzazioni sono state inoltre coinvolte attraverso 3 assemblee e un questionario,  grazie al quale sono stati raccolti ulteriori commenti.
• Gli stati membri, che sono stati consultati attraverso l’ERA Forum e ERAC, hanno avuto il ruolo fondamentale di rimuovere le barriere, ad esempio a livello legislativo e amministrativo, per consentire alle organizzazioni di attuare la riforma.

Uno schema del processo è rappresentato nella figura 2.

Fig. 2 – Diagramma schematico del processo e degli attori coinvolti³⁶

Primi elementi per la definizione di Roadmap e Action Plan

La sottoscrizione dell’accordo è solo il primo passo verso la riforma. Nella prossima fase, le organizzazioni, le università, gli enti di ricerca e gli enti valutatori che hanno sottoscritto l’accordo dovranno definire le loro roadmap e i piani di azione per attuare i principi e rispettare gli impegni in esso contenuti.

L’Annex 4 dell’Agreement presenta un ricco “Toolbox”, con strumenti pratici e indicazioni su come tradurre in pratica gli impegni, attraverso alcuni esempi concreti che si basano su un’ampia ricerca pregressa nel campo che è opportuno richiamare.

Gli studi della Commissione europea sui nuovi criteri e indicatori

La Commissione europea è da anni impegnata nello studio di indicatori e metriche in grado di rilevare, valorizzare e monitorare l’impatto della ricerca. Le ricerche e i rapporti che ha finanziato spaziano dalle Partnership europee³⁷, al Knowledge Transfer³⁸, alla valutazione e al monitoraggio dell’adozione pratiche della scienza aperta; questi ultimi in particolare si sono tradotti nei nuovi criteri per la valutazione dei progetti che la Commissione finanzia tramite Horizon 2020 e Horizon Europe.

In particolare, gli studi sui nuovi criteri, strumenti e indicatori necessari a incentivare l’adozione delle pratiche della scienza aperta rispondono alla necessità di migliorare la qualità della ricerca favorendo processi robusti e trasparenti, e di rendere la ricerca europea effettivamente riproducibile³⁹. La scienza aperta è un elemento essenziale per rendere la ricerca riproducibile, e pertanto motore della open innovation. Promuovere le pratiche della scienza aperta è dunque tra le priorità dell’Europa, e rientra tra gli Horizon Europe Key Impact Pathways⁴⁰.

I report del 2017 Evaluation of research careers fully acknowledging Open Science practices. Rewards, incentives and/or recognition for researchers practicing Open Science e Next generation metrics: responsible metrics and evaluation for open science⁴¹ presentano soluzioni pratiche alla necessità di valutare quello che è importante al fine di valorizzare le pratiche della scienza aperta. Il primo in particolare introduce la OS Career Assessment matrix(OS-CAM), una matrice che consente di valutare i ricercatori sulla base di un portfolio di attività divise in sei macro-aree di risultati, competenze ed esperienze. Le sei macro-aree, per ciascuna delle quali sono indicati possibili criteri di valutazione, sono:

• Risultati della ricerca (Research outputs),
• Processo di ricerca/metodologia (Research process),
• Incarichi di servizio e leadership (Service and Leadership),
• Impatto della ricerca (Research Impact),
• Incarichi di insegnamento e ruoli di supervisione(Teaching and Supervision),
• Esperienza professionale (Professional Experience).

La Norwegian Career Assessment Matrix (NOR-CAM) è un primo rilevante esempio di personalizzazione e applicazione della OS-CAM, che è stata adattata ai bisogni delle università norvegesi per valutare i risultati scientifici, le competenze e l’esperienza dei ricercatori.

Il rapporto European Commission, Directorate-General for Research and Innovation, Indicator frameworks for fostering open knowledge practices in science and scholarship⁴² fornisce un’analisi dettagliata di centoquarantanove possibili indicatori divisi in tre categorie (indicatori per il monitoraggio, per l’apprendimento, e per l’allocazione delle risorse e la valutazione delle carriere) e tre livelli (il sistema scientifico nell’insieme, le organizzazioni che svolgono attività di ricerca, e il singolo ricercatore o gruppo) e può essere d’ispirazione per la definizione di criteri e indicatori per i tre piani o tipologie di valutazione interessati dall’accordo, vale a dire istituzioni, enti e università di ricerca, progetti di ricerca e singoli ricercatori o gruppo.

I centoquarantanove indicatori del rapporto sono suddivisi in “Open Science Dimensions” che possono essere riassunte sotto i titoli di:

1. Adozione dell’accesso aperto
2. Condivisione e gestione dei dati
3. Innovazione nelle pratiche di peer-reviewing
4. Citizen science, comunicazione scientifica
5. Collaborazione
6. Public engagement e realizzazione istituzionale.

La OS-CAM presenta una divisione simile, ma il focus è sulla valutazione dell’individuo e quindi sulla carriera nel suo complesso, e sviluppa altre aree tra cui Leadership ed esperienza professionale.

Questi framework sono utili perché possono essere declinati a seconda delle finalità e degli ambiti della valutazione, che come abbiamo visto dipendono da una pluralità di dimensioni.  Tuttavia, la ricerca su questo tema necessita di ulteriori sviluppi, e, ad oggi, l’applicazione di indicatori per la scienza aperta risulta limitata. In particolare, gli indicatori esistenti si basano principalmente sui risultati della ricerca, che costituiscono i passaggi (discreti) del processo (continuo) della ricerca, e in quanto tali sono più facili da misurare rispetto ai processi. Concentrarsi sui processi di ricerca rende più complessa la definizione di indicatori, anche considerando le diverse esigenze e le pratiche delle comunità scientifiche.

La sezione che segue presenta due esempi concreti di applicazione di criteri e indicatori per valutare l’implementazione di pratiche della scienza aperta: nel primo sono utilizzati per il monitoraggio di istituzioni da OpenAIRE Monitor, nel secondo sono adottati dalla Commissione europea per la valutazione delle proposte progettuali in Horizon Europe.

Due esempi: monitoraggio di istituzioni di ricerca e valutazione dei progetti di ricerca

Un esempio di strumento che offre la vista su numerosi indicatori, divisi secondo cinque macro-tipologie, e che costituisce un utile strumento per il monitoraggio di istituti, enti e università è la Dashboard di OpenAIRE Monitor.
Gli indicatori per il monitoraggio comprendono:

• i Finanziamenti (con indicatori su “partecipazione a progetti” e “partecipazione a progetti europei”);
• I Risultati di ricerca (con indicatori per “pubblicazioni”, “dataset”, “software” e “altre tipologie di risultati”);
• Open Science (con indicatori relativi a “Open Access”, “dataset FAIR disponibili”, “software aperto”);
• Collaborazioni (tra cui “pubblicazioni co-finanziate”);
• Impatto (gli indicatori includono il numero di download, e, prossimamente, comprenderanno il conteggio delle citazioni e il contributo ai Sustainable Development Goals)

Figura 3. Gli indicatori in OpenAIRE Monitor

Le immagini che seguono mostrano i dati del CNR relativi ai criteri che monitorano l’apertura delle pubblicazioni (figura 4), e i download dei risultati di ricerca, considerandone l’accesso aperto e il tipo di policy open access adottata (figura 5)⁴³.

Fig. 4 – Distribuzione delle pubblicazioni CNR dal 2007 al 2021 per tipologia di accesso (Dashboard OpenAIRE monitor (versione beta))

Fig. 5a) Distribuzione dei download per anni e per diritti di accesso (Dashboard di OpenAIRE Monitor (beta)); fig. 5b) distribuzione dei download per anni e per tipologia di accesso aperto (Dashboard di OpenAIRE Monitor (beta)).

Un secondo esempio è costituito dai programmi di finanziamento della Commissione europea, e in particolare Horizon Europe, che implementa una valutazione dei progetti di ricerca che è già in linea con i principi e gli impegni indicati nell’Agreement. La Commissione ha infatti introdotto i primi obblighi in favore dell’adozione di pratiche di pubblicazione ad accesso aperto nel Settimo programma quadro, strumenti che si sono ampliati nel programma successivo, Horizon 2020, e che in Horizon Europe hanno visto un importante cambio di passo. A partire dal nono programma quadro, infatti, le pratiche della scienza aperta devono essere parte integrante della metodologia scientifica della proposta (Open Science embedded) stessa, e rientrano dunque nella valutazione ex-ante dei progetti. L’immagine che segue rappresenta l’evoluzione delle regole, criteri e incentivi nella valutazione delle pratiche della scienza aperta.

Figura 6. Le pratiche Open Science obbligatorie e raccomandate nei diversi Programmi Quadro⁴⁴.

Nella valutazione dei progetti di Horizon Europe è obbligatorio mettere a disposizione i risultati ad accesso aperto; è obbligatorio scrivere e pubblicare un Data Management Plan in linea coi principi FAIR in una prima fase del progetto, e aggiornarlo periodicamente; e i dati sono pubblicati come open data by default (sono previste eccezioni se necessario, secondo il principio “as open as possible, as closed as necessary”); vanno inoltre forniti tutti gli elementi atti a validare i risultati della ricerca. Tutti questi obblighi riguardano la valutazione ex-post del progetto, ed erano già presenti in Horizon 2020. Il cambiamento di rilievo introdotto nel 2021 consiste nel fatto che l’adozione delle pratiche della scienza aperta fa ora parte i criteri di valutazione della metodologia scientifica delle proposte, dei Curricula delle istituzioni proponenti e dei ricercatori coinvolti, e della solidità del consorzio⁴⁵.

In particolare, nella sezione del modello di proposta relativa all’Excellence⁴⁶ vengono esplicitamente menzionate alcune pratiche open science, che è necessario definire in una sezione ad hoc della metodologia e che comprendono:

• “condivisione tempestiva e aperta della ricerca (ad esempio tramite preregistrazione, report registrati, pre-print o crowdsourcing);
• gestione dei risultati della ricerca, inclusa la gestione dei dati della ricerca;
• misure per assicurare la riproducibilità dei risultati della ricerca;
• dare accesso aperto ai risultati della ricerca (es. pubblicazioni, dati, software, modelli, algoritmi e flussi di lavoro) depositandoli in “trusted repository”;
• partecipazione in processi di peer-review aperti;
• coinvolgimento di tutti gli attori rilevanti inclusi i cittadini, la società civile, e gli utenti finali nei processi di creazione delle agende e dei contenuti di ricerca e sviluppo (come nella citizen science)”⁴⁷.

Nella stessa sezione è inoltre richiesto di descrivere la strategia di gestione dei dati e dei risultati secondo i principi FAIR, attraverso uno schema estremamente sintetico di Data Management Plan (DMP) e una descrizione di come si intende affrontare la questione dei diritti di proprietà intellettuale (IPR).

Nella sezione relativa all’Impact si deve descrivere la strategia di comunicazione, disseminazione e sfruttamento dei risultati, tenendo conto di quali sono gli obblighi relativi alle politiche di comunicazione e disseminazione del progetto, verso i quali ci si impegna firmando il Grant Agreement, e del fatto che la promozione delle pratiche della scienza aperta rientra tra gli Horizon Europe Key Impact Pathways già menzionati, ed è spesso tra gli impatti attesi di medio e lungo periodo delle singole call.

Anche nella terza e ultima sezione, dedicata alla qualità dell’implementazione, l’esperienza nelle pratiche Open Science è uno dei criteri per valutare la qualità del piano di attuazione e le capacità del consorzio.

Infine, importanti novità sono state introdotte nel modulo on-line in cui si inseriscono i curricula dei partner coinvolti⁴⁸. L’istituzione viene valutata in base a una molteplicità di “output” divisi in tre aree: la prima riguarda i risultati, che comprendono non solo pubblicazioni come in passato, ma anche dataset di ampio utilizzo, software, servizi e ogni altro risultato rilevante per il contenuto della call for proposal. Per ciascuno (in un massimo di cinque) è richiesto il DOI, e di includere un’autovalutazione narrativa dell’impatto⁴⁹ evitando esplicitamente, come ricordato nella Guida di programma, di menzionare l’Impact Factor della rivista. Nella seconda è necessario indicare i progetti e le attività di rilievo fatte precedentemente, mentre la terza comprende le infrastrutture e le attrezzature tecniche significative.

Un esempio di implementazione degli impegni fondamentali: la valutazione del ricercatore

Questo paragrafo si concentra su un ultimo esempio, che riguarda la traduzione pratica degli impegni fondamentali (ad esclusione del quarto, che non è rilevante in questo contesto) considerando, nello specifico, la valutazione del singolo ricercatore e definendo per essa i possibili criteri.

Un aspetto da considerare a monte di ogni definizione di processi, criteri e indicatori, è che nella definizione dei criteri di valutazione del singolo ricercatore sarà indispensabile valorizzare i diversi profili di carriera dei ricercatori, anche individuandone di nuovi (l’accordo indica in particolare la necessità di valorizzare la carriera di data stewardship, in quanto è un ruolo di supporto alla ricerca che sarà fondamentale per garantire una corretta gestione dei dati  secondo i principi FAIR), così come tenere in considerazione i diversi stadi della carriera, distinguendo tra criteri per il reclutamento e criteri per gli avanzamenti di carriera. Inoltre, attenzione specifica dovrà essere data all’individuazione delle pratiche che caratterizzano l’ambito o gli ambiti disciplinari di riferimento. Tutto questo nel quadro, più generale, dell’autonomia dell’istituzione di appartenenza nel determinare i suoi scopi e la sua missione.

In linea con il primo impegno dell’ARRA “riconoscere la molteplicità di contributi e delle carriere nella ricerca, in accordo con i bisogni e la natura della ricerca”, le strategie per riconoscere e valorizzare una varietà di risultati, contributi e attività comprendono i seguenti elementi⁵⁰
1. Utilizzare formati di curriculum che consentano di prendere in considerazione diversi contributi alla conoscenza, alla formazione e allo sviluppo di altri ricercatori, alla più ampia comunità di ricerca e alla società intera⁵¹. I modelli che possono essere adattati agli scopi della valutazione includono la OS-CAM, il Position paper Room for everyone’s talent e l’esperimento Science in Transition dell’Università di Utrecht.

Una volta individuate le aree che rientrano nella missione dell’istituzione e tra le attività del ruolo in oggetto⁵², sarà possibile definire i relativi indicatori.

2. Valutare una molteplicità di risultati della ricerca (set di dati FAIR, replication study, registered report, pre-print, materiale didattico) in diverse lingue, in conformità con l’iniziativa di Helsinki.⁵³
3. Valutare pratiche diverse, comprese quelle che contribuiscono a solidità, apertura, trasparenza e inclusività della ricerca e del processo di ricerca, inclusi peer-review, lavoro di squadra (teamwork) e collaborazione. In particolare, alcune indicazioni sui criteri in base ai quali valutare solidità della ricerca e del processo di ricerca includono: valutare l’allineamento con i valori dell’integrità della ricerca e valorizzare la conoscenza di un processo sperimentale rigoroso, secondo quanto enunciato negli Hong-Kong Principles; valorizzare il lavoro di squadra e la collaborazione; valorizzare output associati a una ricerca solida, aperta e trasparente (come set di dati FAIR, replication study, registered report, pre-print). Le indicazioni per valutare l’apertura e la trasparenza della ricerca e del processo di ricerca comprendono: prendere in considerazione la UNESCO recommendation on open science⁵⁴; valorizzare attività complementari (come la didattica, attività di informazione, sensibilizzazione, e outreach) e risultati associati all’apertura (come data set FAIR, pre-print, open software, open code, traduzioni). Tra le indicazioni per valutare l’inclusività della ricerca e del processo di ricerca rientrano: valorizzare l’inclusione di altri attori nel processo di ricerca, dalla definizione delle domande prioritarie per la ricerca alla traduzione in conoscenza; considerare la diversità dei gruppi di ricerca a tutti i livelli, e dei contenuti di ricerca e innovazione; considerare la dimensione EDI (Equity, Diversity, Inclusion) e includere la dichiarazione EDI nei processi di valutazione⁵⁵; considerare referenze a 360° o comunque referenze di organizzazioni piuttosto che individuali; includere nella formazione per valutatori la formazione sul pregiudizio implicito e/o inconscio; considerare la possibilità di estrarre a sorte l’allocazione di risorse a domande di finanziamento che abbiano superato un processo di peer-review e risultino di egual valore; considerare l’inclinazione verso pregiudizi di genere, o verso altri pregiudizi.

In accordo con il secondo impegno di “basare la valutazione della ricerca principalmente sulla valutazione qualitativa per la quale la revisione tra pari è centrale, supportata da un uso responsabile di indicatori quantitativi”, la valutazione dovrà essere qualitativa, e le attività di revisione inter pares dovranno essere valorizzate.

Si tratterà dunque di riconoscere contributi come il peer review e i ruoli editoriali (ad esempio incentivando tra i ricercatori beneficiari di grant Horizon 2020 e Horizon Europe, l’utilizzo della piattaforma della Commissione europea Open Research Europe (ORE), che assegna un DOI ai contributi di peer review, riconoscendoli come contributi scientifici).

Una strategia per ottimizzare le procedure di valutazione in termini di costi e di tempo, sia per chi valuta che per chi viene valutato, è limitare il numero di risultati esaminati (andando verso una selezione di risultati chiave e del perché sono importanti)⁵⁶. Sarà inoltre possibile fare uso di indicatori basati sui criteri di cui sopra, che misurino apertura, trasparenza, collaborazione, integrità della ricerca, per supportare la valutazione qualitativa.

Infatti, l’impegno 3 richiede l’abbandono “[de]gli usi inappropriati nella valutazione della ricerca di metriche basate su riviste e pubblicazioni, in particolare usi inappropriati di Journal Impact Factor (JIF) e h-index” e definisce tali usi inappropriati con precisione⁵⁷.

Riflessioni conclusive

Le iniziative per la riforma del sistema di valutazione della ricerca non si limitano all’ambito europeo⁵⁸. Il G7 Research Compact del 2021 ha stabilito una serie di azioni concordate per la collaborazione sulla scienza aperta, tra cui migliorare la valutazione della ricerca. A tale scopo, all’interno del gruppo di lavoro sulla scienza aperta del G7, è stato istituito un sottogruppo di lavoro dedicato a Research assessment and incentives, che sta studiando incentivi per promuovere e premiare la collaborazione e portare a una cultura di ricerca fondata sulla condivisione tempestiva di conoscenze, dati, software, codice e altre risorse. Nel 2020 il Global Research Council (GRC) ha organizzato una conferenza sulla valutazione responsabile della ricerca e ha istituito nel 2021 un gruppo di lavoro dedicato. La raccomandazione dell’UNESCO sulla scienza aperta riconosce la necessità di rivedere i sistemi di valutazione della ricerca per allinearli ai principi della scienza aperta (Recommendation on Open Science from UNESCO). In più, recentemente l’UNESCO ha istituito un working group su Open science e valutazione. Tuttavia, le barriere e gli ostacoli da superare restano molti, e diversi sono ancora i passaggi da attuare.

In primo luogo, in alcuni casi la normativa nazionale confligge con gli impegni contenuti nell’ARRA. Un esempio è il caso recente del bando PRIN PNRR 2022 del 14 settembre 2022, che richiede dati bibliometrici a chi presenta un progetto di ricerca e si candida nel ruolo di principal investigator, con un richiamo anacronistico al Journal Impact Factor⁵⁹. Si tratta di un chiaro esempio che mostra come i criteri di valutazione a livello nazionale spesso sono in palese contraddizione con gli impegni contenuti nell’Agreement e con il conseguente processo di riforma, ma anche con la terza azione della ERA Policy Agenda⁶⁰, che l’Italia ha approvato. E’ dunque chiaro che il ricercatore italiano si trova ad essere valutato in modo diverso a seconda del contesto e, in particolare, a causa del doppio regime e delle scelte per le quali decide di optare, rischia di essere penalizzato nel confronto internazionale. Un esempio in tal senso è l’esclusione di Open Research Europe (ORE), la piattaforma di pubblicazione finanziata dalla Commissione europea – e che la Commissione stessa raccomanda per la pubblicazione dei risultati dei progetti di Horizon 2020 e Horizon Europe – dalle liste delle riviste scientifiche stilata da ANVUR. L’Agenzia infatti richiede l’adozione del peer-review doppio cieco come criterio per definire una rivista scientifica, mentre ORE adotta l’open peer review. Come dovrebbe comportarsi il ricercatore italiano?

Un secondo ostacolo consiste nell’assenza di roadmap, nazionali e istituzionali, per la scienza aperta e di piani di implementazione di tali roadmap. In Italia, ad esempio, esiste un Piano Nazionale per la Scienza Aperta, pubblicato a giugno 2022, che però al momento non ha una copertura finanziaria e un conseguente piano d’azione per attuarla. L’adozione di pratiche della scienza aperta, il loro riconoscimento e la loro valorizzazione sono infatti una condizione necessaria per attuare la riforma. Le roadmap dovranno includere alcuni elementi chiave per la valutazione della ricerca, e per il monitoraggio di criteri e indicatori. Un requisito per rendere possibile la riforma è la disponibilità di infrastrutture aperte e trasparenti, di strumenti adeguati (ad esempio dashboard) che valorizzino diverse tipologie di risultati e processi trasparenti, FAIR, e aperti, e la disponibilità dei dati sottostanti, in forma FAIR e aperta. Viceversa, a oggi vengono fatti ingenti investimenti per accedere ai dati proprietari esistenti, e la fragilità delle infrastrutture aperte resta motivo di preoccupazione.

Un terzo elemento che è opportuno considerare è che la riforma delineata richiederà un cambiamento culturale, che avrà effetti importanti sui comportamenti dei ricercatori. Sarà dunque fondamentale coinvolgere attivamente le comunità di ricerca a vari livelli, attraverso momenti di informazione e formazione, e raccoglierne le indicazioni, i feedback e i commenti in un processo partecipato e condiviso. In generale, sostenere l’alfabetizzazione dei ricercatori e degli attori coinvolti nel processo di cambiamento costituisce in sé una sfida. Ma affinché vi sia un’applicazione coerente e appropriata degli indicatori nelle diverse discipline è fondamentale che chi prende le decisioni, in particolare nelle agenzie di finanziamento, sia edotto su questi temi.

Un quarto punto è che i criteri sono per definizione provvisori, e che sarà necessario continuare a investire in Research on Research, in modo da garantire che ogni scelta e ogni criterio siano basati su fondamenti scientifici. Questo aspetto è legato al punto precedente. Il focus della ricerca e del dibattito internazionale su criteri e indicatori si sta recentemente spostando dalla definizione di “indicatori per l’open science” alla definizione di “indicatori trasparenti e aperti” per la valutazione della ricerca tout court. Infatti, se ci aspettiamo e vogliamo che i ricercatori adottino pratiche aperte, non dovremmo adottare le stesse pratiche aperte nella progettazione di indicatori? Gli indicatori devono cioè essere basati su dati aperti per fornire la trasparenza richiesta in una valutazione della ricerca che sia responsabile, devono essere accessibili attraverso infrastrutture aperte e devono essere basati su una partecipazione aperta per assicurarci che siano allineati con missioni, attività e risultati delle comunità di ricerca pertinenti⁶¹. Si tratta di un punto estremamente importante.

Inoltre, è importante assumere la prospettiva suggerita dall’iniziativa britannica SCOPE, un quadro di riferimento per la valutazione responsabile, che opera secondo tre principi: valutare solo quando necessario; valutare con chi è valutato, per ottenere risultati significativi attraverso la co-progettazione e la co-interpretazione delle valutazioni; e, poiché la valutazione è un processo iterativo, progredire sulla base delle competenze di valutazione acquisite. Decidere che cosa si valuta è cruciale, perché si valuta ciò cui si dà valore e viceversa ciò che viene valutato assume valore (principio S – Start with what you value) e modalità e indicatori devono costantemente essere monitorati e messi in discussione (P – Probe deeply) per evitare manipolazioni o possibili involontari effetti indesiderati⁶².

Infine, vale la pena ricordare e sottolineare che i cambiamenti progettati richiedono investimenti, in termini di risorse umane ed economiche, risorse che possono e devono essere reperite anche attraverso una loro redistribuzione. Tali risorse dovranno anche concentrarsi sulla valutazione e il monitoraggio dell’efficacia di nuovi criteri, indicatori e strumenti per verificare se i cambiamenti sono efficaci e in quale misura. Il risultato che ci aspettiamo di ottenere è una scienza più solida, probabilmente meno frenetica e quindi più lenta (documentare i processi richiede tempo) ma più efficiente e affidabile, e di maggiore qualità, e dunque capace di portare maggiori benefici alla società.

Appendice: i quattro impegni fondamentali dell’Accordo per la riforma della valutazione della ricerca

1. Riconoscere la molteplicità di contributi e delle carriere nella ricerca, in accordo con i bisogni e la natura della ricerca.

Finalità: Lo scopo di questo impegno è riconoscere e valorizzare un ampio spettro di pratiche e di attività di ricerca, indipendentemente dal formato⁶³ o dalla lingua utilizzati;

Ambito: I cambiamenti nelle pratiche di valutazione dovrebbero consentire il riconoscimento dell’ampia diversità di:

• contributi valutabili che i ricercatori danno alla scienza e che sono a beneficio della società, inclusi risultati diversi, al di là delle pubblicazioni su rivista e indipendentemente dalla lingua in cui vengono comunicati;
• pratiche che contribuiscono alla solidità, all’apertura, alla trasparenza e all’inclusività della ricerca e dei processo di ricerca, compresa la peer-review, il lavoro di gruppo, e la collaborazione;
• attività come l’insegnamento, la leadership, la supervisione, la formazione e il tutoraggio.

È inoltre importante che la valutazione favorisca il ​​riconoscimento e la valorizzazione di diversi ruoli e carriere nella ricerca, compresi: i ruoli di data steward, di ingegnere del software e di data scientist, i ruoli tecnici, la divulgazione, la diplomazia scientifica, la consulenza scientifica e i ruoli di comunicatore scientifico, solo per citarne alcuni⁶⁴.

È noto che la pratica [di valutazione] attuale è spesso troppo ristretta e limitante, quindi l’obiettivo non può essere quello di sostituire i criteri ristretti da cui desideriamo allontanarci con criteri diversi, ma ugualmente ristretti. Viceversa, l’obiettivo è permettere alle organizzazioni di ampliare lo spettro delle attività a cui danno valore nella ricerca, pur riconoscendo che questo può variare tra le discipline e che non ci si dovrebbe aspettare che ogni singolo ricercatore contribuisse necessariamente a tutte le attività.

2. Basare la valutazione della ricerca principalmente sulla valutazione qualitativa per la quale la revisione tra pari è centrale, supportata da un uso responsabile di indicatori quantitativi

Finalità: Questo impegno consentirà il passaggio a criteri di valutazione della ricerca che si concentrano principalmente sulla qualità, riconoscendo al contempo che l’uso responsabile degli indicatori quantitativi può essere di supporto alla valutazione laddove significativa e pertinente, e che tale uso dipende dal contesto.

Ambito: La valutazione della ricerca dovrebbe basarsi principalmente su una valutazione qualitativa per la quale la revisione tra pari (peer-review) è fondamentale, sostenuta da indicatori quantitativi utilizzati in modo responsabile, ove appropriato.

La peer-review è il metodo più solido riconosciuto per la valutazione della qualità e ha il vantaggio di essere sotto il controllo della comunità scientifica. È importante che i processi di revisione tra pari siano strutturati per soddisfare i principi fondamentali di rigore e trasparenza⁶⁵: valutazione da parte di esperti; trasparenza; imparzialità; adeguatezza; riservatezza, integrità e considerazioni etiche; e genere, uguaglianza e diversità. Per affrontare i pregiudizi e le imperfezioni a cui è soggetto qualsiasi metodo, la comunità di ricerca rivaluta e migliora regolarmente le pratiche di revisione tra pari. Possono essere studiati ulteriori criteri, strumenti e processi rivisti o potenzialmente nuovi che siano appropriati per la valutazione della qualità.

Il passaggio a pratiche di valutazione che siano basate in misura maggiore su metodi qualitativi potrebbe richiedere ulteriore impegno da parte dei ricercatori. I ricercatori dovrebbero ricevere un riconoscimento per questi sforzi, e i loro contributi alla revisione del lavoro dei colleghi dovrebbero essere valutati nella loro progressione di carriera.

3. Abbandonare gli usi inappropriati nella valutazione della ricerca di metriche basate su riviste e pubblicazioni, in particolare usi inappropriati di Journal Impact Factor (JIF) e h-index

Finalità: Questo impegno ridurrà il predominio di metriche basate su un ristretto numero di riviste e pubblicazioni.

Ambito: Gli usi inappropriati di metriche basate su riviste e pubblicazioni nella valutazione della ricerca dovrebbero essere abbandonati. In particolare, ciò significa abbandonare l’utilizzo di metriche come il Journal Impact Factor (JIF), l’Article Influence Score (AIS) e l’h-index nel misurare qualità e impatto. Gli “usi inappropriati” includono:

• fondare la valutazione di qualità e/o impatto esclusivamente su metriche basate sull’autore (es. conteggio di documenti, brevetti, citazioni, sovvenzioni, ecc.);
• valutare i risultati sulla base di metriche relative a casa editrice, tipologia di pubblicazioni o lingua utilizzata;
• fare affidamento su qualsiasi altra metrica che non registri adeguatamente la qualità e/o l’impatto.

4. Evitare l’uso delle classifiche (ranking) degli organismi di ricerca nella valutazione della ricerca.

Finalità: Questo impegno aiuterà ad evitare che le metriche utilizzate nei ranking internazionali degli organismi di ricerca, che sono inadeguate per la valutazione dei ricercatori, si riversino nella ricerca e nella valutazione dei ricercatori. Aiuterà la comunità di ricerca e le organizzazioni di ricerca a riconquistare l’autonomia necessaria a rimodellare le pratiche di valutazione, evitando che debbano attenersi a criteri e a metodologie stabiliti da società commerciali esterne. Ciò potrebbe comportare il mantenimento del controllo sulle metodologie e sui dati di classificazione.

Ambito: Riconoscendo che le graduatorie internazionali più spesso citate dalle organizzazioni di ricerca attualmente non sono “eque e responsabili”⁶⁶, i criteri utilizzati da tali graduatorie non dovrebbero ricadere nella valutazione dei singoli ricercatori, di gruppi di ricerca e di unità di ricerca. Inoltre, le organizzazioni di ricerca dovrebbero essere consapevoli del fatto che la comunicazione pubblica (ad esempio la pubblicità attiva della classificazione (ranking) di un istituto) può contribuire alla percezione che la qualità della ricerca si confonda con la posizione nel ranking. Laddove le classificazioni siano ritenute inevitabili, come potrebbe accadere in forme di valutazione che esulano dall’ambito di applicazione del presente accordo, come l’analisi comparativa e le revisioni delle prestazioni di Paesi o istituzioni, i limiti metodologici di tali approcci dovrebbero essere riconosciuti e le istituzioni dovrebbero evitare gli effetti delle ricadute sulla ricerca e sulla valutazione dei ricercatori⁶⁷.

Ringraziamenti

Tra febbraio e luglio del 2022 sono stata coinvolta nel processo di scrittura dell’Agreement on Reforming Research Assessment, partecipando alle riunioni del core group che ha coadiuvato il drafting team nel processo iterativo di redazione. Tale percorso è stato luogo di importanti e fruttuosi scambi, per i quali sono grata a tutti coloro che hanno partecipato, e dai quali ho imparato molto. Desidero inoltre ringraziare i colleghi Emma Lazzeri, Giovanni De Simone, Emanuela Reale, Luca Moretti, Michele Guerrini, Riccardo Coratella, e Massimo Spadoni, per gli scambi avvenuti e i feedback ricevuti nella fase di definizione e poi di presentazione e di lancio dell’accordo. Sono anche grata al sottogruppo di lavoro su Research assessment and incentives, del G7 Open Science Working Group, e in particolare ai coordinatori, per le discussioni avute tra ottobre 2021 e oggi, che hanno stimolato la mia riflessione su molti degli elementi presenti in questo testo. Infine, ringrazio i primi lettori: Maria Chiara Pievatolo, Donatella Castelli, Andrea Mannocci, Daniela Luzi, Paola Galimberti e Elena Giglia per tutti i commenti, per i suggerimenti e le integrazioni consigliate.