|

Roberto Caso, Una valutazione (della ricerca) dal volto umano: la missione impossibile di Andrea Bonaccorsi

1 Leave a comment on block 1 0

DOI sjscience.org/article?id=620SJS

In un libro recente – La valutazione possibile – Teoria e pratica nel mondo della ricerca, Il Mulino, 2015 – Andrea Bonaccorsi sostiene una tesi che si può condensare nella seguente affermazione: la valutazione è espressione delle norme mertoniane (imperativi istituzionali) della scienza. L’analisi dell’autore, tuttavia, offre una lettura distorta e parziale dell’opera mertoniana, tradendone il significato più profondo. Inoltre, trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e norme informali della scienza. Sotto altro profilo, il testo in esame prova a delineare un disegno democratico, dialogico, condiviso e trasparente della valutazione che collide frontalmente con la prassi italiana dell’ANVUR, motore immobile di orrori giuridici nonché di un gigantesco contenzioso che consegna la vera e ultima valutazione ai giudici.

1. Introduzione

In un libro recente – La valutazione possibile – Teoria e pratica nel mondo della ricerca, Il Mulino, 2015 – Andrea Bonaccorsi sostiene, con toni riflessivi e pacati, una tesi che si può condensare nella seguente affermazione: la valutazione è espressione delle norme mertoniane (imperativi istituzionali) della scienza. Nelle parole dell’autore:

Per quanto mi riguarda, non ho difficoltà a partire dal principale modello normativo della scienza moderna dovuto a Robert K. Merton. Nella formulazione più nota, gli scienziati sono universalisti, comunitari, disinteressati e scettici” (p. 19).

Si tratta di una tesi debole. Sebbene Bonaccorsi si impegni in una faticosa (e pur interessante) analisi interdisciplinare al fine di elaborare originali argomenti a favore della valutazione, i risultati teorici raggiunti non sembrano convincenti. L’analisi dell’autore offre una lettura distorta e parziale dell’opera mertoniana, tradendone il significato più profondo. Inoltre, trascura la dimensione giuridica del rapporto tra norme formali poste dallo Stato nel processo valutativo e norme informali della scienza.

Sotto altro profilo, il testo in esame prova a delineare un disegno democratico, dialogico, condiviso e trasparente della valutazione – si veda in particolare p. 89 – che, oltre a soffrire della debolezza della tesi di fondo, collide frontalmente con la prassi italiana dell’Agenzia Nazionale di Valutazione del Sistema Universitario e della Ricerca (ANVUR), motore immobile di orrori giuridici nonché di un gigantesco contenzioso amministrativo che consegna ai giudici (amministrativi) la vera e ultima valutazione.

2 Leave a comment on block 2 0

Il resto di questo scritto è organizzato come segue. Nel secondo paragrafo viene illustrata la tesi di fondo di Bonaccorsi, nel terzo paragrafo si ricostruisce il pensiero di Merton con riferimento agli imperativi istituzionali (norme informali) della scienza. Nel quarto paragrafo, in antitesi a quanto sostenuto da Bonaccorsi, si argomenta la tesi che vuole la “valutazione di Stato” espressione dell’ampio fenomeno della commercializzazione dell’università e della ricerca. Nel quinto paragrafo si sottolinea il fatto che la prassi dell’ANVUR costituisce la prova (inoppugnabile) di come si possa realizzare la valutazione secondo principi esattamente opposti a quelli teorizzati da Bonaccorsi, che producono un’impressionante serie di violazioni dei pilastri di una società democratica (proprio quella a cui guardava con tanto interesse Merton). Nel sesto paragrafo ci si sofferma sulle implicazioni dell’uso di un meccanismo che è parte della scienza aperta: la revisione paritaria in cui i nomi e i rapporti dei referees vengono pubblicati in accesso aperto su Internet assieme all’oggetto della valutazione. E’ un tema toccato tangenzialmente in un breve passaggio del volume di Bonaccorsi. L’autore del libro ritiene che tali esperimenti non rivelino un sufficiente grado di robustezza. Si prova a contraddire Bonaccorsi portando ad esempio un caso che lo riguarda personalmente. Nell’ultimo paragrafo si traggono alcune conclusioni sul rapporto tra sociologia della scienza e diritto.

3 Leave a comment on block 3 0

2. La tesi di Bonaccorsi

Il libro di Bonaccorsi è organizzato secondo un impianto che muove (capitolo primo) dalla ricostruzione di alcune tesi contrarie alla valutazione, per proporre (capitolo secondo) originali argomenti a favore della valutazione i quali vengono successivamente (capitolo terzo) applicati al dibattito epistemico nelle scienze umane e sociali e infine (capitolo quarto) conclude riportando argomenti e risultati di analisi empiriche che secondo l’autore confuterebbero le teorie ostili alla valutazione. L’ultimo capitolo del libro racchiude un dialogo con Carlo Olmo sulla ricezione della valutazione.

Nell’introduzione l’autore definisce la valutazione come un’innovazione giunta in ritardo in Italia. L’autore sembra dare per scontato che “innovazione” sia un termine con una connotazione intrinsecamente positiva. Bonaccorsi sta suggerendo implicitamente che la valutazione rappresenti la spia di un progresso – di un miglioramento – già sperimentato in paesi più avanzati del nostro.

L’affermazione che sostiene il carattere positivo della valutazione suona come una petizione di principio.

Ammesso (e non concesso) che si possa misurare con analisi empiriche il miglioramento di un fenomeno immensamente complesso come la scienza, l’arco temporale sul quale si potrebbero effettuare misurazioni degli effetti della valutazione di Stato è al momento molto piccolo (essendo essa frutto di idee e processi nati negli anni ’80 in Inghilterra). Il miglioramento a cui allude Bonaccorsi è in realtà l’omologazione della scienza alle regole della valutazione. Ma come vedremo nel corso di questo scritto non è punto scontato che l’omologazione sia un miglioramento nel senso di progresso della scienza.

Poi Bonaccorsi dichiara lo scopo dell’opera.

In questo libro cerco di prendere le distanze dall’oggetto specifico, per quanto ciò sia notoriamente difficile per chi, come me, è stato personalmente coinvolto a fondo nella vicenda […]

L’oggetto del libro non è quindi la esperienza italiana, ma il grande dibattito internazionale che da alcuni decenni si sta svolgendo sui meriti e i limiti della valutazione della ricerca, e che si allarga poi ad analisi sulla valutazione come strumento di governo della complessità in altre aree della vita pubblica dei paesi democratici (p. 7).

In questo modo egli prova a dichiarare il formale rispetto della norma mertoniana del disinteresse, nonostante il ruolo di primo piano che Bonaccorsi ha ricoperto nell’ANVUR, ruolo che lui stesso ricorda nell’incipit del testo.

Val la pena notare che curiosamente l’autore non definisca mai esattamente cosa egli intenda per valutazione, ma è indubbio che voglia riferirsi alla valutazione della ricerca da parte dello Stato (potere pubblico), insomma alla “valutazione di Stato” o valutazione governativa o “valutazione amministrata” 1. Lo si evince dall’intero libro e in particolare da alcuni passaggi. Ad esempio, quando accenna alle precedenti esperienze delle “istituzioni della valutazione” in Inghilterra, Paesi Bassi e Francia (p. 51 e ss.).

Occorre arrivare a pagina 89 del secondo capitolo per trovare un’affermazione che si avvicina a una definizione.

Nella mia concezione, quindi, la valutazione è un esercizio di esplicitazione, formalizzazione e aggregazione di giudizi già presenti nelle comunità dei competenti. Il giudizio nasce sempre e comunque come giudizio qualitativo, come apprezzamento del modo in cui gli altri membri della comunità contribuiscono alla conoscenza. Il grado in cui tale giudizio può essere successivamente aggregato dipende dalla diffusione di un linguaggio comune.

Si tratta di una teoria della valutazione che utilizza tutta la conoscenza disponibile in ogni momento. E’ inoltre una teoria adeguata alle società democratiche, nelle quali la ricerca scientifica gode di uno statuto di autonomia, costituzionale o di fatto, e si richiede che ogni procedura pubblica sia giustificabile razionalmente …

Non è però una teoria ingenua rispetto alla critica che le scienze sociali contemporanee hanno portato alla natura delle relazioni di potere …

Sarebbe dunque ingenuo trascurare la circostanza che la valutazione è, anche, irrimediabilmente, uno strumento di potere …

Vi è però una differenza fondamentale rispetto agli strumenti di esercizio del potere nel campo accademico: la valutazione è un processo nel quale, almeno in linea di principio, tutte le scelte devono essere giustificate razionalmente. Trattandosi di un processo «artificiale» tutto deve essere spiegato e argomentato. In questo senso non ho esitazioni a giustificare la teoria della valutazione come democratica, nel doppio senso di aumento della giustificazione delle scelte, internamente, e della difesa della autonomia della scienza nelle società democratiche, dall’altro” (pp. 89-90).

Bonaccorsi vede, quindi, la valutazione di Stato come “un esercizio di esplicitazione, formalizzazione e aggregazione di giudizi già presenti nelle comunità dei competenti”; per questo egli vorrebbe trovare fondamentale sostegno nelle opere del grande sociologo americano Robert K. Merton e della sua scuola. Il problema è, per l’autore della Valutazione possibile, rispondere a chi muove critiche al concetto di qualità della ricerca.

Per quanto mi riguarda, non ho difficoltà a partire dal principale modello normativo della scienza moderna dovuto a Robert K. Merton. Nella formulazione più nota, gli scienziati sono universalisti, comunitari, disinteressati e scettici. […] Il riferimento è del tutto pertinente, in quanto si può mostrare che la nascita della bibliometria e la teoria moderna delle citazioni non sarebbero state possibili senza la riflessione mertoniana” (p. 19).

Nel censire le tesi contrarie alla valutazione Bonaccorsi enumera quattro argomenti:

a) un primo e fondamentale riguarda la critica della possibilità di giudicare oggettivamente la qualità della scienza determinando un sistema di stratificazione dei livelli qualitativi che prescinde da rapporti di forza e potere;

b) un secondo che aggredisce la commensurabilità dei giudizi qualitativi;

c) un terzo che identifica la valutazione come un dispositivo di potere espressione della governamentalità2;

d) un quarto che inquadra la valutazione come uno strumento di privatizzazione della scienza.

Per confutare tali argomenti Bonaccorsi utilizza una tesi teorica e poi riporta i risultati di alcune analisi empiriche svolte da altri autori.

L’argomento teorico di Bonaccorsi può essere sintetizzato nei termini che seguono.

  1. Il giudizio sulla qualità della ricerca è una relazione di valore. Esiste sempre una relazione di valore.
  2. Se le relazioni di valore esistono, allora sono formulabili linguisticamente.
  3. È sempre possibile definire una scala di valori.
  4. Una volta formulati linguisticamente dei criteri, i soggetti sanno sempre esprimere un giudizio ordinale ed è sempre possibile aggregare tale giudizio tra vari soggetti.
  5. Le comunità vanno lasciate libere di elaborare tutti i criteri che vogliono, senza porre limiti. Unica condizione è che i criteri siano formulati in forma linguistica, e che quindi sia possibile costruire a partire da questi delle relazioni di valore utilizzabili nella comparazione. Il risultato sarà una lista di criteri, alcuni dei quali tradizionali, altri emersi dalla critica della valutazione.

L’autore del libro dice di propendere per “disegno istituzionale della valutazione di tipo fallibilista e aperto, non burocratico e non tecnocratico” (sic!).

La chiave di volta del ragionamento attiene all’argomento critico sub a) relativo alla possibilità di formulare giudizi di qualità e stratificarli su diversi livelli in modo oggettivo e indipendente dai rapporti di forza e potere.

Per Bonaccorsi il problema si identificherebbe con la necessità di scegliere tra la visione di Merton che guarda alla scienza come a una comunità che risponde a “imperativi istituzionali” (ethos) e quella dei suoi avversari (costruttivisti, Bourdieu e pensatori di ispirazione foucaultiana) che intendono la scienza essenzialmente come una comunità che si muove in base a rapporti di forza e potere, mettendo in discussione il fondamento oggettivo del concetto di qualità dei risultati della ricerca.

L’argomento favorevole alla valutazione afferma che le comunità scientifiche sono consapevoli delle differenze di qualità dei vari contributi pubblicati e che, se attribuiscono più importanza, lo citano più spesso. Questa posizione non nega che la qualità abbia una connotazione sociale, sia cioè il risultato di un’interazione sociale tra scienziati, ma insiste su un inseparabile contenuto epistemico. Se un lavoro scientifico non fa avanzare la conoscenza, non sarà citato, indipendentemente dalle relazioni sociali esistenti.

L’argomento contrario sostiene che la qualità è una costruzione sociale e che dipende da rapporti di forza. La stratificazione della scienza in livelli di qualità non ha niente a che fare con il valore epistemico dei contenuti, ma è creata e consolidata da comportamenti sociali (p. 35).

L’autore del libro ritiene che, una volta superate le obiezioni dei critici di Merton, egli possa tranquillamente proseguire nell’elaborazione della propria teoria della valutazione.

Preso dall’intento (non facile) di chiamare in soccorso la filosofia (Peirce e Chang), la sociologia (Pizzorno) e la matematica (Balinski e Laraki) non si avvede che il punto debole del suo ragionamento è a monte, cioè nella ricostruzione del pensiero di Merton in connessione al tema della valutazione imposta dallo Stato (tema che, è bene fin d’ora rimarcare, non rientrava negli interessi di Merton).

Merton, com’è noto, parla di ethos (norme informali) della scienza, Bonaccorsi non può che parlare di un processo artificiale qual è la valutazione di Stato. Merton parla di norme non codificate (appunto informali), Bonaccorsi non può che parlare “di esercizio di esplicitazione, formalizzazione e aggregazione di giudizi già presenti nelle comunità”. Se l’autore del libro si fosse dedicato a un’esplorazione – anche superficiale – del diritto, avrebbe potuto scoprire che i processi statali di formalizzazione delle norme sociali trasformano irreversibilmente quest’ultime in norme giuridiche. Ovviamente, la trasformazione delle norme informali in norme giuridiche non è senza conseguenze poiché da un lato le traduce nell’espressione del potere dello Stato, dall’altro le irrigidisce e le immette nel circuito di funzionamento del diritto (potere amministrativo, potere giudiziario). Una circostanza che l’immaginifico operato del MIUR e dell’ANVUR mette quotidianamente sotto gli occhi di tutti, generando un infinito (e costosissimo3 contenzioso che lascia ai giudici amministrativi l’ultima parola sulla valutazione4. Tuttavia, prima di approfondire questo aspetto, è il caso di rileggere Merton per ricordare qual era il suo pensiero e in quale contesto storico si poneva.

4 Leave a comment on block 4 0

3. Merton preso sul serio

Per ricostruire il pensiero di Merton, Bonaccorsi cita oltre alla raccolta di saggi contenuta nei tre volumi intitolati “Teoria e struttura sociale” anche una serie di articoli apparsi tra il 1957 e il 2000, tra i quali il primo celebre articolo sull’effetto San Matteo nella scienza del 19685.

Quella che vorrebbe essere la sintesi del pensiero mertoniano si trova essenzialmente nel primo capitolo (pp. 19-22 e 31-32).

E’ opportuno estrapolare alcuni passi per non tradire il pensiero di Bonaccorsi.

Nella scienza moderna, secondo Merton, accade dunque che:

  1. gli scienziati competono per la priorità della scoperta (vince chi arriva primo, non conta chi arriva secondo) (priority rule);
  2. il premio in termini di riconoscimento (recognition) assegnato alla priorità è proporzionalmente molto più elevato di quello attribuito ai risultati successivi (si tratta di una situazione di winner takes all);
  3. al fine di riconoscere la priorità occorre superare il giudizio dei pari, i quali subordinano la pubblicazione dei risultati ad un esame preventivo (peer review). Nasce in questo modo la pubblicazione scientifica moderna.

La citazione è quindi lo strumento essenziale per assegnare correttamente i riconoscimenti […]

E’ importante osservare che una conseguenza logica necessaria dell’impianto mertoniano è la presenza di effetti di stratificazione sociale della scienza. […] è possibile che nella loro carriera gli scienziati ricevano un volume complessivo diseguale di credito. Su questo fenomeno si innesta poi una dinamica sociale di tipo cumulativo, che Merton ha messo in luce nei suoi lavori teorici, e che amplifica le differenze originarie (effetto Matteo)’ (pp. 20-22).

E ancora.

La teoria della citazione presente in Merton deriva in modo stringente dal modello normativo. Gli scienziati sono universalisti, comunitari, disinteressati e scettici, non per virtù personali ma per la forza del sistema istituzionale. Essi quindi valutano la pretesa di validità avanzata da ciascuno dei colleghi nelle proprie pubblicazioni secondo regole non particolaristiche (ad esempio dipendenti dalle relazioni personali o dal prestigio) ma generali. La pretesa di originalità, che è essenziale ai fini del riconoscimento del merito scientifico, non può essere avanzata senza dimostrare che gli scienziati che hanno affrontato il problema in precedenza non sono giunti agli stessi risultati. Ecco il ruolo essenziale della citazione: se lo scienziato non cita correttamente gli autori precedenti, non viene riconosciuto il suo contributo. […] Per questa ragione, come si è già ricordato, vi è una peculiare congruenza tra il modello mertoniano e l’analisi delle citazioni introdotta da Garfield (pp. 31-32).

Tuttavia, Bonaccorsi non dice niente del contesto in cui Merton ha elaborato il modello normativo della scienza, né dice alcunché delle fortune (economiche) di Garfield legate alla c.d. “teoria della citazione”.

Merton ha sviluppato il discorso sull’ethos e le norme della scienza a partire da due articoli del 1938 e del 1942 che si leggono in traduzione italiana rispettivamente con i titoli di «Scienza e ordine sociale» e «Scienza e struttura sociale democratica» nel terzo volume della raccolta Teoria e struttura sociale 6

Nel saggio del ’38 al centro del suo discorso c’è l’autonomia della scienza dal potere politico, economico e religioso. In particolare, egli si sofferma sull’autonomia dal potere politico. Il bersaglio sono i regimi totalitari (e in particolare quello nazista).

Il conflitto fra lo Stato totalitario e lo scienziato deriva, quindi, da un’incompatibilità fra l’ethos della scienza e il nuovo codice politico che è imposto a tutti, senza riguardo ai codici professionali. L’ethos della scienza comporta l’esigenza funzionalmente necessaria che le teorie e le generalizzazioni siano valutate nei termini della loro coerenza logica e della loro corrispondenza con i fatti. L’etica politica vorrebbe introdurre i criteri precedentemente irrilevanti della razza e delle convinzioni politiche. La scienza moderna ha considerato il giudizio personale come una fonte potenziale di errore e ha fissato dei criteri impersonali per controllare tali errori (pp. 1040-1041).

In nota dà una definizione di ethos della scienza.

L’ethos della scienza si riferisce ad un complesso, che ha carattere anche emotivo, di regole, prescrizioni, abitudini, opinioni, valori e presupposti che sono considerati impegnativi per lo scienziato. […] L’ethos della scienza, come ogni altro codice sociale, è sostenuto dai sentimenti di coloro ai quali si applica. La trasgressione è impedita da inibizioni interne e da reazioni emotive di disapprovazione che sono messe in moto dai sostenitori dell’ethos. Una volta stabilito un efficiente ethos di questo tipo, il risentimento, il disprezzo e altri atteggiamenti di antipatia operano quasi automaticamente per stabilizzare la struttura esistente (p. 1040 alla nota 15).

E ancora.

Un sentimento che è assimilato dallo scienziato sin dall’inizio della sua formazione è quello che la scienza deve essere pura. La scienza non può tollerare di entrare al servizio della teologia, dell’economia e dello Stato. La funzione di questo sentimento è probabilmente quella di preservare l’autonomia della scienza (p. 1043).

Per concludere nel seguente modo.

finché il centro del potere sociale starà in altre istituzioni che non siano la scienza e finché gli stessi scienziati non sapranno con certezza a chi deve andare in primo luogo la loro lealtà, la loro posizione rimarrà debole e incerta (p. 1054).

Nell’articolo del 1942 il tema dell’autonomia e degli attacchi alla scienza viene ripreso e messo in connessione con la struttura (democratica o meno) della società nel suo complesso.

L’ethos della scienza è quel complesso di valori e norme a cui si ritiene sia impegnato, anche emotivamente, l’uomo della scienza. Le norme sono espresse in forma di prescrizioni, proibizioni, preferenze e permessi e sono legittimate in termini di valori istituzionali. […] Sebbene l’ethos scientifico non sia codificato, esso può dedursi dal consenso morale degli scienziati, come è espresso nell’uso e nelle abitudini, in innumerevoli scritti sullo spirito scientifico e nella indignazione morale diretta verso le infrazioni di questo ethos”. […] (p. 1057)

Per giungere a formulare la domanda di partenza.

dato per scontato che la scienza può svilupparsi in varie strutture sociali, quale di esse fornisce il contesto istituzionale più adatto per il suo massimo progresso? (p. 1059)

Sulle norme della scienza le affermazioni maggiormente rilevanti di Merton sono le seguenti.

Quattro serie di imperativi istituzionali costituiscono l’ethos della scienza moderna: universalismo, comunismo, disinteresse e dubbio sistematico. […] (p. 1059).

[Universalismo] L’universalismo trova immediatamente espressione nel canone che ogni verità che pretende di essere tale deve essere, qualunque sia la sua fonte, soggetta a criteri impersonali prestabiliti, in accordo con l’osservazione e con la conoscenza precedentemente confermata. […] (p. 1060).

Per quanto imperfettamente possa essere praticato l’universalismo è compreso nell’ethos della democrazia ed è uno dei suoi principi direttivi fondamentali. […]

Sono i criteri impersonali delle realizzazioni e non la considerazione delle caratteristiche di status attribuite dalla nascita ciò che qualifica la società democratica. […] (p. 1064).

Sotto condizioni che mutano continuamente, è necessario introdurre nuove forme tecniche di organizzazione per mantenere ed estendere l’eguaglianza delle possibilità. […] .

Nella misura in cui una società è democratica, essa fornisce un ambito sufficiente per l’esercizio di criteri universalistici nella scienza. […] (p. 1065).

[Comunismo] Il «comunismo», nel senso non tecnico ed esteso della proprietà comune dei beni, è un secondo elemento essenziale dell’ethos scientifico. Le scoperte sostanziali della scienza sono un prodotto della collaborazione sociale e sono assegnate alla comunità. […] (p. 1065).

A causa dell’importanza istituzionale attribuita al riconoscimento e al prestigio quale unico diritto di proprietà dello scienziato, è comprensibile come la preoccupazione per la priorità delle scoperte scientifiche divenga la risposta «normale». Le controversie sulla priorità delle scoperte che sono caratteristiche della storia della scienza moderna derivano dall’accento istituzionale sull’originalità. Ciò dà origine ad una cooperazione competitiva, i prodotti della competizione sono messi in comune e la stima per il produttore cresce. […] (p. 1066).

Il concetto istituzionale della scienza come parte del patrimonio comune è legato all’imperativo della comunicazione dei risultati. La segretezza è l’antitesi di questa norma, la comunicazione completa e senza vincoli è la sua attuazione pratica. […] (p. 1067).

Il carattere comunitario della scienza si riflette anche nel riconoscimento degli scienziati della loro dipendenza da un’eredità culturale su cui non avanzano alcuna pretesa di privilegio. L’osservazione di Newton: «Se io ho visto lontano è perché stavo sulle spalle dei giganti», esprime allo stesso tempo un senso di debito nei confronti del retaggio comune e il riconoscimento della qualità essenzialmente cooperativa e cumulativa delle realizzazioni scientifiche. […] .

Il comunismo dell’ethos scientifico è incompatibile con la concezione dell’economia capitalistica che la tecnologia sia «proprietà privata». Scritti correnti sulla «frustrazione della scienza» riflettono questo conflitto. I brevetti proclamano diritti esclusivi di uso e, spesso, di non uso. […] (p. 1068).

Come misura difensiva alcuni scienziati sono giunti a far brevettare il loro lavoro per poterlo rendere accessibile al pubblico […] (p.1069).

[Disinteresse] La scienza, come in generale le professioni, include fra le sue esigenze istituzionali fondamentali il disinteresse. […] (p. 1069).

La virtuale assenza di frode negli annali della scienza, che appare eccezionale se paragonata alla situazione di altre sfere di attività, è stata talvolta attribuita alle qualità personali degli scienziati. […] In realtà mancano dati soddisfacenti che possano confermare che sia proprio così e una spiegazione più plausibile può trovarsi in certe caratteristiche particolari della scienza stessa. Nella scienza vige il principio della verificabilità dei risultati: la ricerca di uno scienziato è sottoposta al rigoroso scrutinio dei colleghi specialisti. […] L’esigenza del disinteresse ha un fondamento solido nel carattere pubblico e controllabile della scienza e possiamo supporre che questa circostanza abbia contribuito all’integrità degli uomini di scienza. (p. 1070).

[Dubbio sistematico o scetticismo organizzato] […] Il dubbio sistematico è variamente interconnesso con gli altri elementi dell’ethos scientifico. Esso è un mandato istituzionale oltre che metodologico. La sospensione del giudizio fino a che i fatti non siano provati e l’esame distaccato di credenze secondo criteri logici ed empirici hanno condotto la scienza a conflitti con altre istituzioni. […] Nelle moderne società totalitarie l’antirazionalità e la centralizzazione del controllo istituzionale servono entrambe a limitare l’ambito concesso all’attività scientifica’ (pp. 1072-1073).

La lettura di prima mano di Merton fa riemergere il suo reale pensiero.

Al centro del discorso mertoniano ci sono l’autonomia della scienza nonché i rapporti tra scienza e struttura della società.

Una società con struttura democratica per quanto possa entrare in conflitto con la scienza è la più adatta a rispettarne l’autonomia. Anche perché la scienza condivide con la democrazia la norma dell’universalismo.

Inoltre, la concezione della sfida scientifica è, nel pensiero di Merton, non puramente individualistica e competitiva, ma piuttosto una mescolanza di competizione individualistica e cooperazione comunitaria. La limitazione della proprietà intellettuale al diritto di paternità, il riconoscimento del carattere cumulativo della conoscenza, la modestia dello scienziato, il discorso sull’eguaglianza delle possibilità sono al centro del ragionamento mertoniano. Colpisce, inoltre, l’attacco ai brevetti e la denuncia della minaccia che essi pongono alla norma del comunismo.

Si sa che la ricostruzione di Merton è stata criticata perché considerata da indagini più recenti più un’idealizzazione (prescrittiva) che una descrizione della realtà7.

Però il punto che interessa in questa sede è un altro. Le norme mertoniane della scienza rappresentano la difesa di valori come l’autonomia e la democrazia. Tutto il contrario della valutazione di Stato, che è figlia di un disegno autoritario e centralista.

5 Leave a comment on block 5 0

Di molti importanti passaggi del pensiero di Merton non c’è traccia nella ricostruzione di Bonaccorsi il quale è, invece, interessato a usare le norme mertoniane per metterle unicamente in relazione all’effetto San Matteo, alla stratificazione (dei giudizi di qualità) della scienza e alla teoria della citazioni.

In questa prospettiva, Bonaccorsi si mostra specialmente interessato ai rapporti tra Merton e Eugene Garfield (egli cita sul punto il capitolo di Merton inserito in un libro in onore di Garfield).

Anche su questo aspetto del pensiero mertoniano occorre ricostruire alcuni passaggi storici.

Innanzitutto, chi è Eugene Garfield?

Garfield (1925-2017), laurea in chimica nel 1949, master in scienze bibliotecarie nel 1954 e dottorato in linguistica strutturale nel 1961, è celebre per aver messo a punto i moderni indici citazionali e in particolare l’Impact Factor nonché per aver fondato l’Institute for Scientific Information (ISI)8.

Alessandro Figà Talamanca in un bellissimo articolo sull’Impact Factor traccia un’efficace ricostruzione dei primi passi della carriera di Garfield9.

Nonostante il nome altisonante, l’ISI non è una fondazione o un’associazione senza fini di lucro, non ha come scopo la promozione della scienza o dell’informazione scientifica, ma è invece un’azienda privata che, come tutte le aziende, ha come dovere principale e scopo ultimo quello di arricchire i soci. E’ importante avere ben presente questo fatto perché l’azienda, dall’alto della sua posizione dominante sul mercato, come detentrice di una formidabile base di dati sulle pubblicazioni e citazioni scientifiche, ha preso, come tutte le aziende, numerose decisioni dettate da interessi venali e basate su calcoli dei costi e dei benefici marginali. Per quanto quest’azienda, attraverso un’intelligente e penetrante azione di propaganda, cerchi di difendere l’utilità generale delle sue decisioni, o la rilevanza per il singolo ricercatore, o per chi gestisce le biblioteche, dei suoi calcoli, non possiamo dimenticare che i calcoli si riferiscono ai costi e benefici economici di un’azienda che non ha né il dovere né la vocazione di sostenere lo sviluppo delle scienze.

L’idea motrice della banca dati dell’ISI, attribuibile al suo fondatore, Eugene Garfield, è stata di pubblicare un repertorio delle pubblicazioni scientifiche, che includesse l’elenco dei lavori citati, da ciascun lavoro preso in esame. Lo scopo che si proponevano gli ideatori era di facilitare ricerche bibliografiche che, a partire da un lavoro importante del passato, consentissero di identificare i lavori recenti che ne sviluppavano i risultati. […]

E’ sempre stato possibile, ovviamente, fare ricerche bibliografiche a partire da un lavoro importante, andando indietro nel tempo. Si comincia a prendere in considerazione gli articoli riportati in bibliografia, poi si cercano i lavori citati da questi ultimi, e così per passi successivi si arriva alle prime fonti della problematica o della metodologia impiegata nel lavoro da cui si è partiti. Altro è invece la possibilità di fare una ricerca bibliografica andando avanti nel tempo, a partire da un lavoro importante degli anni passati. Questo è possibile, se si ha accesso ai lavori che citano il lavoro in questione. Una volta identificati questi lavori si possono identificare i lavori che li citano a loro volta e così via.

Un indice aggiornato delle citazioni scientifiche può fornire quindi uno strumento molto utile per seguire gli sviluppi di una problematica o di un settore molto particolare di una disciplina.

Quest’idea ha portato alla creazione di un archivio elettronico delle citazioni che è stato denominato appunto “Science Citation Index” (SCI). […]

Verso la metà degli anni sessanta l’esistenza di questo indice ha destato l’interesse di alcuni sociologi o storici della scienza. Fu in particolare lo storico della scienza Derek De Solla Price, che si entusiasmò della possibilità di studiare gli sviluppi della scienza contemporanea con gli strumenti statistici quantitativi che gli erano forniti dallo SCI.

L’interesse di Price e di altri autori fu utilizzato dai proprietari dello SCI come un’ottima occasione per un ‘marketing’ mirato alle istituzioni scientifiche ed ai singoli ricercatori.

Nell’ultima frase di Figà Talamanca è racchiuso il problema di fondo dell’attività scientifica di Garfield e cioè la sfrontata violazione della norma mertoniana del disinteresse. Poco importa che Merton non se ne avvedesse e che avesse instaurato rapporti con Garfield. Il dato di fatto rimane e pesa come un macigno.

Jean Claude Guédon ha spiegato bene il successo (e la deformazione dell’idea originaria) di Garfield.

La soluzione paradigmatica adottata da Garfield per risolvere un problema spinoso ovvero quello di trovare i modi per gestire le tracce di migliaia e migliaia di citazioni ha portato con sé una conseguenza di grande rilievo sul piano teorico. Nel fondere insieme ogni tipo di piccole riviste specialistiche, ritenute fondamentali, raccolte sia sulla base della copertura offerta da bibliografie di rilievo, sia sulla base delle interviste fatte a molti scienziati chiave, Garfield, in effetti, ha dato sostanza e realtà ad una nuova nozione: l’idea di riviste fondamentali (core journals) per una scienza fondamentale (core science). Quello che era considerato uno strumento utile per compiere scelte difficili è divenuto un concetto generale con pretese universali. D’un tratto esisteva la ‘scienza fondamentale’ e poteva essere resa ben visibile dando risalto ad una specifica lista di pubblicazioni. I disaccordi, certo, non mancarono, ma avevano a che fare con questa o quella specifica lacuna, piuttosto che con la concezione stessa di riviste fondamentali. Queste discussioni così rafforzarono, piuttosto che indebolire, il concetto di rivista fondamentale in quanto tale. Garfield aveva vinto!

L’intenzione fondamentale di Garfield era essenzialmente bibliografica, ma egli ha osservato che nessuno avrebbe potuto anticipare tutti gli usi che sono emersi dall’evoluzione dello SCI.

In ogni caso, la possibilità di valutare l’impatto di un dato articolo su successive pubblicazioni emerse piuttosto rapidamente. Alla fine degli anni Sessanta e ai primi degli anni Settanta, molte università e molti centri di ricerca rimuginarono sul modo migliore in cui costruire una scala oggettiva con la quale ‘dare un punteggio’ al lavoro dei ricercatori.

Lo strumento bibliografico migliorato che Garfield aveva concepito, sulla base dell’illuminazione che gli venne dalla meditazione di (Vannevar) Bush, d’un tratto apparve promettente a tal fine. Dopo un po’, l’ISI cominciò a pubblicare il fattore d’impatto delle riviste che utilizzava nello SCI, in realtà dando un punteggio a queste riviste l’una rispetto all’altra, come se tutte le discipline e tutte le specializzazioni all’interno delle discipline avessero pratiche comuni nell’uso delle citazioni, come se tutte le scienze non fossero che una grande cultura unificata. Con questa mossa, lo SCI era pronto a spostarsi verso un’area di attività totalmente nuova: quella di strumento per la gestione della carriera.

Merton era interessato agli indici citazionali di Garfield perché costituivano uno strumento di analisi empirica utile a testare le proprie teorie sulla citazione come riconoscimento della proprietà intellettuale dello scienziato, ma era molto scettico rispetto all’uso degli stessi indici ai fini della valutazione (decentrata) tra pari (da tenere distinta dalla valutazione di Stato accentrata di cui parla Bonaccorsi).

Merton lo dice espressamente in una prefazione a un libro di Garfield del 1979 (Citation Indexing – Its Theory and Application in Science, Technology, and Humanities) 10, ricordando i richiami alla cautela dello stesso inventore dello Science Citation Index e dell’Impact Factor.

The reader will find in this book a plentiful variety of other uses to which the data base of the Science Citation Index has been put. A good deal is said about one of the most disputed of these: the use – some of us would say, the abuse – of citation counts as the principal or determining basis for assessing the research performance and further potentialities of individual scientists. This was not unforeseen. As early as 1963, just as the first Science Citation Index was being published, a cautionary note was sounded about the possible ‘promiscuous and careless use of quantitative citation data for . . . evaluation, including personnel and fellowship selection.’ That forewarning came, properly enough, from Gene Garfield. He went on to say, ‘It is preposterous to conclude blindly that the most cited author deserves a Nobel prize’.

The closing chapter of this book reexamines the subject in light of the intervening 15 years of research. That chapter can be read less as a newly developed defense of the use of citation analysis for assessing individual scientific performance than as a methodological manual for those who venture into those dangerous waters. A recurring theme in the chapter is the strong reminder that citation counts cannot be responsibly taken as the controlling basis for appraisals of individual performance. At best, they are ancillary to detailed judgments by informed peers. The forensic use of citation counts to compare the impact of scientific contributions by individuals only provides an extreme type of occasion for subjecting such practices to the organized skepticism that is one of the fundamental characteristics of science.

Insomma, Garfield è un imprenditore che scrive nel campo scientifico che è l’oggetto della sua attività imprenditoriale. Non risponde alla norma mertoniana del disinteresse, bensì all’interesse (economico) della sua impresa. Le sue opinioni soffrono di un problema analogo a quelle di Andrea Bonaccorsi il quale, quando scrive il libro “La valutazione possibile”, si riveste di neutralità (disinteresse) dopo aver per anni risposto all’interesse valutativo dello Stato progettando e attuando la valutazione dell’ANVUR.

6 Leave a comment on block 6 0

Ma torniamo ancora per un attimo al pensiero di Merton.

Il mondo mertoniano degli anni ’30 e ’40 è probabilmente finito per sempre. Di certo la sua affermazione sull’integrità morale degli scienziati sembra oggi contraddetta dalla crescita esponenziale di frodi e plagi11. Così come la norma nel comunismo appare sempre più contrastata da altri interessi.

Nell’ultima parte della sua lunga carriera Merton si rende conto che il mondo stava cambiando e si sofferma sulle minacce rivolte al carattere pubblico e comunista della scienza. Correva l’anno 1986 quando, tornando a riflettere sull’effetto San Matteo, affermava:

Convalidare il lavoro di una persona attraverso l’apprezzamento del suo valore da parte di altri competenti, e l’apparente anomalia, anche in una società capitalistica, di pubblicare il lavoro di qualcuno senza che questi sia direttamente compensato per ogni pubblicazione hanno permesso la crescita della conoscenza pubblica e il declino delle tendenze private che favorivano la conservazione per sé della conoscenza privata (segretezza), ancora molto in uso nel XVII secolo. Le nuove tendenze attuali verso la segretezza, e non solo quello che Henry Etzskowitz ha descritto come «scienza imprenditrice», introdurranno, se si protrarranno nel tempo, un cambiamento ancora più grande nel funzionamento istituzionale e cognitivo della scienza.

4. La commercializzazione dell’università e la valutazione

Bonaccorsi dedica più pagine del secondo capitolo del suo libro alle teorie che criticano la valutazione come espressione del neoliberismo.

Un influente filone di analisi sociologica e antropologica legge la valutazione come strumento necessario del neoliberismo (p. 54).

L’autore nel sintetizzare l’analisi anti-neoliberale attribuisce a quest’ultima la narrazione di tre linee di trasformazione dell’università.

a) A seguito dell’esplosione dell’università di massa gli Stati cambiano il sistema di finanziamento introducendo forme di finanziamento basate sulla performance. Viene in questo modo incentivata la competizione tra università e la spinta a procurarsi finanziamenti di natura privata.

b) Per far fronte alla pressione sui finanziamenti le università rispondono dotandosi di modelli gestionali e orientamenti di lungo termine che assomigliano a quelli delle grandi imprese. L’apparato tecnico-amministrativo (il management) diventa fondamentale e addirittura sembra prendere il sopravvento sull’apparato accademico.

c) Le ricadute tecnologiche della ricerca scientifica inducono a ripensare i meccanismi di trasferimento della conoscenza e i confini tra pubblico e privato. Si incentivano i brevetti universitari e l’imprenditoria accademica (imprese spin-off nate dalla ricerca scientifica). La legge simbolo di queste forme di incentivazione è il Bayh-Dole Act statunitense del 1980.

Bonaccorsi chiosa nel seguente modo:

L’insieme di questi processi ha portato alcuni autori a coniare l’espressione «capitalismo accademico» e a denunciare un processo progressivo di privatizzazione (marketization) delle università. […] (p. 56).

E poi aggiunge citando Richard Münch12:

L’argomento principale è che, poiché l’università si occupa di beni pubblici non è soggetta a meccanismi di prezzo, la imposizione di meccanismi competitivi allo scopo di ottenere efficienza è un esercizio allo stesso tempo illusorio e dannoso. Illusorio perché l’attività dell’università non si presta alla oggettivizzazione necessaria al fine di comparare tra loro le prestazioni, allo stesso modo con cui si confrontano prodotti sul mercato; dannoso perché limita la libertà di ricerca inducendo le università a produrre conoscenza secondo le richieste della amministrazione, la quale a sua volta risponde agli incentivi creati con il sistema della valutazione dal governo […] .

La critica al capitalismo accademico si sviluppa in varie direzioni. Possiamo riassumerle in questo modo: il nuovo regime di capitalismo accademico implica la trasformazione delle principali attività dell’università, insegnamento e ricerca, in prodotti oggetti di competizione analoga a quella del mercato (quindi suscettibili di marketization) e richiede un’organizzazione interna omologata alle imprese private (pp. 56-57).

A questi argomenti critici Bonaccorsi risponde nel capitolo quarto con tre principali rilievi.

a) La critica all’applicazione di logiche competitive è frutto di un grande equivoco. La competizione tra università non è la competizione del mercato.

b) Gli argomenti contro la privatizzazione attengono a contesti nazionali diversi da quello italiano dove il finanziamento pubblico rimane la principale fonte di denaro per le università.

c) Le denunce contro i rischi connessi ai brevetti universitari e allo sfruttamento commerciale delle ricerche sono contraddette dall’analisi empirica.

Con riguardo al rilievo sub a) Bonaccorsi afferma:

La competizione non è quindi utile perché imita il mercato, ma perché consente di correggere gli errori e di migliorare la propria attività prima e meglio di altri meccanismi [quali?, ndr]. E si potrebbe dire la stessa cosa della valutazione: essa serve a fornire elementi utili per migliorare (p. 164).

Ma se non si tratta della competizione del mercato13 a quale competizione intende alludere Bonaccorsi? E quando l’autore parla di miglioramento a cosa si riferisce?

Forse Bonaccorsi intende il termine “competizione” nel significato di “gara”. Ma se così è, allora occorre comprendere come la valutazione interagisce con la gara14. Inoltre, serve capire chi detta le regole della gara, chi svolge la funzione di arbitro, quali garanzie di imparzialità offre quest’ultimo e così via.

Sono temi giuridici che rivestono una grande importanza, ma di cui Bonaccorsi purtroppo non si occupa.

Ad esempio, se la valutazione dello Stato è basata un sistema che concentra molteplici poteri in un organo centralistico di espressione governativa i cui vertici non sono eletti dalla comunità scientifica, allora si pone un problema di democraticità della politica valutativa. La democrazia liberale contemporanea si fonda sulla separazione dei poteri. Se l’organo valutativo concentra su di sé potere normativo e paragiurisdizionale sorge un problema di democraticità della valutazione. Se, poi, l’organo valutativo pone ex post e non ex ante le regole in base alle quali si deve operare la valutazione, allora si pone un problema di conflitto con il fondamentale principio del nostro ordinamento in base al quale la norma vale (normalmente) per il futuro e non per il passato. Se, ancora, non vengono applicate serie e robuste regole di pubblicità e trasparenza delle norme, sorge un gigantesco problema di “democraticità”. Se, infine, membri dell’agenzia governativa di valutazione si esprimono su libri e riviste scientifiche nel tentativo di dare giustificazione scientifica alle prassi adottate dall’agenzia si pone un problema di violazione della norma mertoniana del disinteresse. In altri termini, si pone un problema di conflitto di interessi.

7 Leave a comment on block 7 0

Circa il “miglioramento” occorre intendersi. Se Bonaccorsi vuole sostenere che miglioramento significa confrontarsi con gli altri per vincere la gara della valutazione, ciò dà per dimostrato quello che vorrebbe dimostrarsi. In altre parole, occorrerebbe provare che la competizione (la gara) è migliore di meccanismi alternativi (anzi, di tutti i meccanismi alternativi a cui allude Bonaccorsi senza nominarli). Vale a dire, sarebbe necessario effettuare una comparazione tra sistemi istituzionali alternativi. Ad esempio, sarebbe necessario dimostrare che la formalizzazione delle regole di giudizio dei pari da parte della valutazione di Stato è un sistema migliore rispetto al sistema basato sul giudizio autonomo dei pari. Non risulta che una comparazione istituzionale di questo genere sia stata mai tentata (e se ne può intuire la ragione).

8 Leave a comment on block 8 0

Quanto al rilievo sub b) Bonaccorsi dimentica di descrivere le linee di tendenza del finanziamento pubblico all’università. Vero è che il “conto terzi”, come ricorda l’autore, copre una porzione ridotta sul bilancio delle università, ma è altresì vero che in Italia la contribuzione studentesca è cresciuta in modo esponenziale negli ultimi anni ed il diritto allo studio è modestamente supportato. Di più, com’è noto a tutti, il finanziamento pubblico si è drammaticamente contratto negli ultimi dieci anni mentre altri paesi facevano scelte di segno opposto15.

In ogni caso, il problema della privatizzazione dell’università non attiene solo ai finanziamenti ma a mutamenti sul piano organizzativo, etico e, in definitiva, di mentalità16.

Questo fronte del discorso concerne l’ultimo argomento avanzato sub c) da Bonaccorsi. L’autore del libro guarda alla privatizzazione dei beni pubblici della conoscenza occupandosi solo del fenomeno dei brevetti e dell’imprenditoria accademica. Citando alcune analisi empiriche – invero un po’ stagionate17 – e rinviando alle bibliografie di altri autori18, Bonaccorsi sostiene che l’impatto dei brevetti e dell’imprenditoria accademica sulla circolazione della conoscenza e sulla norma mertoniana del comunismo sarebbe limitato. In definitiva, le pratiche di brevettazione e di imprenditoria accademica non si sostituirebbero alla missione fondamentale della libera diffusione della conoscenza.

Nelle sue parole:

Un giudizio bilanciato delle evidenze disponibili porta a concludere che prevalgano gli effetti di complementarietà. Laddove si riscontrano effetti di sostituzione, la dimensione dell’impatto non è tale da giustificare un allarme. Gli effetti più severi si riscontrano non tanto sulla circolazione dei risultati della ricerca, quanto sull’impegno nell’insegnamento.

In generale i ricercatori mostrano un’elevata resilienza rispetto ai valori della ricerca pubblica. […] (p. 166).

Ma i fugaci richiami di Bonaccorsi alla letteratura empirica non sgombrano il campo dai dubbi.

Con riferimento alla realtà italiana, sarebbe interessante disporre dei dati relativi all’impatto sulla ricerca dei vincoli di segretezza contenuti nelle convenzioni di ricerca tra privati e università. In contratti di questo tipo si finanziano, tra l’altro, dottorati e assegni di ricerca, obbligando i beneficiari alla riservatezza con riferimento alla ricerche in corso. Peccato che finora in Italia non si disponga di dati sulla materia 19. Questo rappresenta solo un esempio che dimostra come l’analisi empirica debba fare molta strada – soprattutto in Italia – per giungere a conclusioni (anche solo sui limitati campi sui quali può dare risposte) affidabili.

9 Leave a comment on block 9 0

C’è di più (molto di più), l’impatto della privatizzazione della conoscenza non deriva solo dai brevetti ma anche da altre forme di proprietà intellettuale.

Bonaccorsi dimentica che il più esteso e capillare fenomeno di privatizzazione riguarda i diritti d’autore sulle pubblicazioni scientifiche. Un fenomeno che si connette al ruolo oligopolistico che i grandi editori scientifici giocano nel campo della valutazione (in quella decentrata dei pari e in quella accentrata di Stato).

L’oligopolio denunciato a suo tempo da Jean Claude Guédon è, infatti, il frutto dell’interazione tra prassi valutative dei pari e diritto d’autore.

L’autore scientifico normalmente cede i diritti economici d’autore sui propri scritgatekeepers). Gli scienziati sono interessati ad accrescere la propria reputazione. L’accrescimento della reputazione produce potere accademico, maggiori possibilità di avanzamento di carriera (e quindi di livelli stipendiali), più chances di vincere progetti di ricerca ecc. I grandi editori scientifici invece vogliono acquisire il maggior controllo possibile sulle informazioni di cui è composta la ricerca scientifica (pubblicazioni, dati di ricerca ecc.). Grazie al meccanismo degli indici citazionali e degli indicatori bibliometrici come l’Impact Factor tenuto a battesimo da Garfield negli anni ’60 del secolo scorso, alcuni editori hanno acquisito un potere di mercato superiore a quello di altri, e alcuni editori hanno associato a tale potere un ulteriore potere: quello valutativo (si pensi ad Elsevier che, reificando un gigantesco conflitto d’interessi, commercializza sia risorse editoriali sia strumenti per la valutazione bibliometrica come la banca dati Scopus). Gli editori acquisiscono gratuitamente i diritti economici d’autore dagli autori scientifici e li concedono in licenza d’uso applicando la tecnica del bundling ovvero della commercializzazione di pacchetti editoriali (c.d. big deal) alle biblioteche di ricerca delle istituzioni scientifiche (università, enti di ricerca ecc.). Questo sistema è analizzato da un’ampia letteratura che ne ha messo in evidenza i notevoli effetti negativi (primo tra i quali è la restrizione della concorrenza e la creazione di oligopoli). Mentre l’attenzione si è concentrata sugli effetti economici racchiusi nella formula della “crisi del prezzo dei periodici scientifici” e su alcuni effetti culturali indiretti (come la prevalenza della lingua inglese e il declino della spesa per le monografie a fronte di quella per gli abbonamenti a riviste), in realtà l’impatto della concentrazione del potere editoriale e valutativo è molto più esteso e profondo. Ad esempio, nella dimensione digitale, con riferimento alle risorse ad accesso chiuso, una grossa fetta di potere di filtro della conoscenza si è spostata dalle biblioteche agli editori e agli altri intermediari commerciali del mercato dell’informazione scientifica (motori di ricerca, social networks generalisti e scientifici e così via).

Quindi, l’impatto della proprietà intellettuale (intesa in senso ampio come comprensiva di brevetti per invenzione, diritti d’autore e segni distintivi) sulla commercializzazione dell’università e della ricerca è molto più rilevante di quanto non pensi Bonaccorsi.

10 Leave a comment on block 10 0

Ancora, la valutazione di Stato interagisce con la commercializzazione, producendo effetti perversi.

Ad esempio, l’ANVUR individua normativamente, per la valutazione nei c.d. settori bibliometrici, le banche dati ISI WoS e Scopus come gli unici due punti di riferimento per il calcolo degli indicatori di riferimento 20. Questa è una delle conseguenze della formalizzazione per via statale di prassi valutative spontanee. Un conto è che i pari utilizzino volontariamente i più accorsati indici citazionali, altro è che la valutazione di Stato obblighi per via normativa a utilizzare solo due banche dati commerciali 21. L’indicazione per via normativa rafforza, per intervento dello Stato, il duopolio. Inoltre, demanda il potere valutativo a imprese commerciali. Se, per ipotesi, le imprese che gestiscono le banche dati citazionali dovessero fallire che ne sarebbe degli esercizi valutativi dell’ANVUR?

Queste considerazioni costituiscono solo cenni a un dibattito molto ampio sull’incrocio problematico tra proprietà intellettuale e università, ma bastano a rendere l’idea di come la discussione di Bonaccorsi sul punto sia alquanto carente.

Più in generale, il ragionamento di Bonaccorsi è gravato da un limite pesante e cioè l’eccessiva fiducia verso l’analisi empirica quale strumento in grado di misurare in modo raffinato e dettagliato su archi temporali ristretti fenomeni duraturi e complessi come le dinamiche di evoluzione della scienza e dell’università.

11 Leave a comment on block 11 0

Bonaccorsi ammette che la valutazione (della ricerca) ha alcune controindicazioni.

Primo gli indicatori quantitativi, una volta prodotti, tendono ad assumere vita propria. Pur essendo degli artefatti umani, finiscono per esercitare effetti ulteriori rispetto a quelli loro assegnati e previsti nelle intenzioni. […]

Secondo, le procedure di aggregazione sono soggette a errori di misura. […] Tradotto in pratica, gli indicatori quantitativi sono difendibili a livello aggregato, non a livello individuale. La valutazione individuale deve essere lasciata in ogni caso ad un giudizio qualitativo complessivo, anche nel caso nel quale si rendano disponibili indicatori quantitativi. […]

Terzo, occorre monitorare le distorsioni dei comportamenti di pubblicazione e di produzione della ricerca scientifica. […]

Ciascuno di questi effetti distorsivi viene documentato con riferimento a uno o pochi casi, con una aneddotica che viene poi ripetuta all’interno di uno specifico genere letterario, allo scopo di generare una impressione complessiva di pericolosità della valutazione e sollevare il grido di allarme.

Come ho mostrato più sopra, non esiste, a mio modo di vedere, una evidenza empirica robusta sul fatto che la valutazione o anche i sistemi di publish or perish, inducano nel lungo periodo effetti distorsivi permanenti sulla ricerca. Gli unici effetti documentati, che richiedono ulteriori approfondimenti, hanno a che fare con il disincentivo alla ricerca interdisciplinare indotto dalla specializzazione delle riviste scientifiche (pp. 169-170).

Per concludere trionfalmente:

La ricerca scientifica appare resiliente non solo rispetto alle intromissioni del mondo esterno (politica, imprese), ma anche alle distorsioni dei comportamenti all’interno (p. 170).

In sintesi, la tesi dell’autore è che la valutazione di Stato migliora la ricerca (non si capisce però rispetto a quale termine di paragone) e non distorce l’ethos degli scienziati.

Prudenza consiglierebbe di non giungere a conclusioni premature e affrettate. L’analisi empirica sul fenomeno della valutazione della ricerca è, come si è già rilevato, troppo giovane per dare risposte dirimenti.

In ogni caso, il capitalismo accademico (o, se si preferisce, la commercializzazione dell’università) non rappresenta solo un mutamento delle prassi, ma un radicale cambiamento di mentalità i cui effetti, ammesso (e non concesso) che siano misurabili, si proiettano in un futuro lontano.

5. La prassi italiana della “valutazione di Stato”: una piccola (e incompleta) galleria degli orrori

Nel concludere sull’infondatezza delle tesi che denunciano la privatizzazione e commercializzazione dell’università Bonaccorsi si esprime nei seguenti termini:

Il punto essenziale è che la valutazione in Italia non è al servizio di un disegno di privatizzazione, ma al contrario di una concezione pubblica e democratica della scienza e della istruzione superiore, che intende preservare ad ogni costo le buone ragioni del lavoro accademico. L’uso di argomenti sviluppati nei paesi anglosassoni, in particolare Inghilterra e Australia, o per ragioni diverse in Francia, per attaccare la valutazione in Italia, sono fuorvianti (rectius, è fuorviante, ndr). (p. 168)

Bonaccorsi dovrebbe chiarire cosa intende per concezione pubblica e democratica della scienza. E’ un onere probatorio aggravato dalla recente storia del MIUR e dell’ANVUR dalla quale l’autore si vorrebbe tener distante. Umanamente è un pudore comprensibile, ma per le finalità del libro non è possibile prescindere da quello che succede nella realtà della valutazione di Stato.

È superfluo ricordare che il termine “democrazia” esprime plurimi significati e non solo quello che gli attribuisce Bonaccorsi e cioè che le “procedure pubbliche devono essere giustificate razionalmente”.

Quando si guarda alla democrazia liberale contemporanea occorre riferirsi, come si accennava nel precedente paragrafo, a un meccanismo decisionale che implica almeno l’elettività delle cariche rappresentative, la separazione dei poteri, il primato della legge, la pubblicità degli atti normativi.

Niente di ciò che siamo abituati a identificare con la democrazia ha a che fare con il sistema valutativo del MIUR e dell’ANVUR. Questo sistema risponde piuttosto a una diversa logica: la tecnocrazia.

Bastano solo alcuni esempi per rammentare al lettore vicende tristemente note e più volte discusse. Insomma, sobbarchiamoci solo per un attimo l’inutile fatica dell’ovvio.

L’ANVUR, a dispetto del suo nome, non è un’agenzia indipendente dal potere politico e governativo. E’ invece un braccio operativo del MIUR che concentra nel suo seno poteri valutativi che riguardano gli ambiti più disparati: dalla ricerca, alle carriere accademiche, alla didattica e così via22. I membri del consiglio direttivo non sono eletti dalla comunità scientifico-accademica ma sono nominati con decreto del Presidente della Repubblica, su proposta del Ministro (dell’Università), sentite le competenti Commissioni parlamentari, in altre parole sono espressione del Governo23.

12 Leave a comment on block 12 0

La non elettività dei ruoli chiave è poi un principio (non democratico) che viene replicato nella valutazione della ricerca. Ad esempio, nella VQR i Gruppi Esperti della Valutazione (GEV) non sono eletti dalla comunità accademica, ma sono nominati dall’ANVUR24. Peraltro, i verbali delle procedure di selezione dei GEV non sono pubblici. Inutile rimarcare che si tratta di un insulto alle più elementari regole di trasparenza dell’azione amministrativa. Anzi, con una bizzarra e grottesca procedura, i criteri e i metodi di selezione dei GEV nell’ultima VQR sono stati modificati in corso d’opera25. In altre parole, solo a cose fatte si è potuto conoscere le modalità e i criteri effettivamente utilizzati per la selezione. Inoltre, non esistono regole che garantiscano il carattere turnario della carica, di modo che si è può essere indicati come componenti dei GEV per più volte consecutive26.

13 Leave a comment on block 13 0

Sul piano della separazione dei poteri, è evidente che l’ANVUR interviene nell’emanazione delle norme della valutazione, ma al tempo stesso giudica (ad esempio, quando seleziona i GEV). Perciò, l’operato dell’ANVUR si pone in frontale contrasto con il principio della separazione dei poteri e comprime (per non dire che polverizza) l’autonomia dell’università27.

14 Leave a comment on block 14 0

Negli esercizi valutativi finora compiuti, le regole sono state applicate retroattivamente28. Ad esempio, nelle prime procedure della VQR e dell’ASN nessuno dei valutati ha potuto sapere ex ante i criteri valutativi. Anzi gli stessi sono stati applicati retroattivamente con riferimento ad estesi lassi temporali del passato. Poiché i criteri sono cambiati per le procedure successive, il problema della retroattività dei criteri si ripropone costantemente.

15 Leave a comment on block 15 0

Tornando sulla pubblicità e sulla trasparenza dell’azione normativa, basti ricordare quanto è stato messo in evidenza più volte su Roars. Sebbene l’ANVUR sia gravata da uno speciale onere di trasparenza29, la sua prassi è improntata alla più totale opacità30. È impossibile determinare – nell’era della firma digitale! – con certezza la data di molti documenti diffusi sul sito Internet dell’agenzia. A mero titolo di esempio, si prenda il recente regolamento di classificazione delle riviste nei settori non bibliometrici31 Nel momento in cui si sta scrivendo è disponibile sul sito dell’agenzia un file in formato pdf privo di data e di qualsiasi tipo di firma. Nel testo del regolamento si dice che l’ANVUR lo ha approvato il 21 luglio del 2016. Nelle proprietà del file il pdf risulta essere stato generato nel novembre 2016. Evidentemente il file è stato modificato, ma non è possibile tracciare le modifiche.

16 Leave a comment on block 16 0

Immaginiamo per un momento di vivere in una democrazia in cui la gazzetta ufficiale sia priva di data e i documenti in essa pubblicati siano sprovvisti delle coordinate e dei nomi degli autori dell’atto. Immaginiamo poi che i testi della gazzetta mutino nel tempo senza lasciare traccia dei cambiamenti. Sarebbe ritenuto un dettaglio di poco conto relativo al funzionamento della repubblica democratica?

17 Leave a comment on block 17 0

Si potrebbe continuare quasi all’infinito, ma è sufficiente – per carità di patria – arrestarsi qui.

Evidentemente Bonaccorsi si riferisce nel suo libro a un’idealizzazione della valutazione di Stato che niente a che fare con l’operato dell’ANVUR.

Il paradosso attinente alla prassi dell’ANVUR è che la valutazione governativa in Italia è stata spacciata dalla narrazione dominante come un antidoto all’opaco potere dei baroni universitari. Un capolavoro di mistificazione della realtà.

6. Dalla scienza pubblica alla scienza aperta: un esempio di robustezza

Il movimento della scienza aperta è nato affermando principi che attengono alla gratuità dell’accesso e ai diritti di riuso dei risultati della ricerca scientifica (pubblicazioni, dati, software ecc.)32. Secondo questi principi, i risultati della ricerca devono essere immediatamente disponibili in forma digitale su Internet, ad accesso gratuito e con diritti di riuso (diritti di riproduzione, elaborazione, distribuzione ecc.). In altre parole, il nucleo primigenio dell’apertura sembra essere una riaffermazione, nella dimensione di Internet, della norma mertoniana del comunismo. Ma i suoi scopi sono ampi e attengono, almeno in base a una delle accezioni di open science, al contrasto di oligopoli e oligarchie della scienza. In questa prospettiva, la scienza aperta si muove su una frontiera che mira a ribaltare l’attuale sistema basato sulla concentrazione di potere accademico, economico, giuridico e valutativo nelle mani di pochi attori istituzionali, contrapponendosi alla commercializzazione della scienza e dell’università33. Più specificamente, la scienza aperta contrasta l’abuso della bibliometria e guarda con scetticismo alla revisione paritaria tradizionale che si basa su oscure procedure di giudizio34. Per queste ragioni l’open science si interessa a forme alternative di controllo della qualità dei risultati della ricerca come la revisione paritaria aperta.

Anche su questo punto rileva il pensiero mertoniano. Esiste un nesso molto stretto tra la norma del comunismo e quella del disinteresse. In un passo già riprodotto sopra Merton lo spiega bene:

Nella scienza vige il principio della verificabilità dei risultati: la ricerca di uno scienziato è sottoposta al rigoroso scrutinio dei colleghi specialisti. […] L’esigenza del disinteresse ha un fondamento solido nel carattere pubblico e controllabile della scienza e possiamo supporre che questa circostanza abbia contribuito all’integrità degli uomini di scienza’. (p. 1070).

Il libro di Bonaccorsi non parla di open science ma contiene un fugace accenno alle nuove forme di revisione paritaria.

Così si esprime l’autore del libro:

La proposta di sostituire la revisione dei pari ex ante con la pubblicazione libera dei manoscritti, da sottoporre a valutazione ex post da parte delle comunità scientifiche, pure suggestiva, non sembra avere le proprietà di robustezza necessarie per essere generalizzabile” (p. 155).

In nota aggiunge:

Si tratta comunque di una prospettiva da monitorare attentamente […] (p. 155 alla nota 10)’.

Evidentemente l’autore ha mantenuto fede al suo proposito ed ha sperimentato assieme ad alcuni funzionari dell’ANVUR nuove forme di pubblicazione e revisione.

Infatti, Bonaccorsi, Cicero, Ferrara e Malgarini hanno pubblicato nel luglio del 2015 un articolo intitolato «Journal ratings as predictors of articles quality in Arts, Humanities and Social Sciences: an analysis based on the Italian Research Evaluation Exercise» su F1000, una piattaforma Internet dove si può diffondere – ad accesso aperto e senza l’intermediazione di un editore – risultati della ricerca scientifica (articoli, poster, slide). Un’ulteriore caratteristica della piattaforma è che il processo di referaggio è reso trasparente e devono essere inclusi nella pubblicazione tutti i dati di supporto alla ricerca.

L’articolo mira a difendere uno dei capisaldi delle procedure valutative dell’ANVUR e cioè il rating delle riviste nei settori non bibliometrici. In particolare, si sostiene che la classe (A, B, C ecc.) di una di una rivista è un buon fattore di predizione della qualità di un articolo pubblicato sulla medesima rivista. Nelle parole dell’abstract:

The aim of this paper is to understand whether the probability of receiving positive peer reviews is influenced by having published in an independently assessed, high-ranking journal: we eventually interpret a positive relationship among peer evaluation and journal ranking as evidence that journal ratings are good predictors of article quality.

La funzionalità della piattaforma F1000 che interessa in questa sede è quella che attiene alla trasparenza del referaggio. I nomi e i rapporti dei revisori sono resi pubblici.

Nel caso dell’articolo in discussione tutti – autori dell’articolo e dei rapporti di referaggio – hanno dichiarato di non avere conflitti di interesse.

Ma tutti gli autori, nel momento in cui è stato pubblicato l’articolo, erano afferenti all’ANVUR e tre dei quattro revisori partecipavano a progetti di ricerca finanziati nel 2014 dall’ANVUR35.

La domanda di fondo è: quando è stato pubblicato l’articolo la validità della norma mertoniana del disinteresse era sospesa?

L’afferenza degli autori rende l’articolo più simile a una documentazione ufficiale dell’agenzia che a una pubblicazione scientifica36. È un po’ come se Donald Trump pubblicasse sull’Harvard Law Review un articolo in cui sostiene che i muri posti ai confini tra paesi sono strumenti di riduzione del terrorismo. Si tratterebbe di un’opinione rispettabilissima ma sarebbe lecito dubitare che possa fregiarsi della norma mertoniana del disinteresse.

Quanto ai revisori, forse sarebbe stato opportuno dichiarare che avevano ricevuto fondi di ricerca dall’agenzia di afferenza degli autori. Peraltro, la pubblicità data ai nomi dei revisori consente di constatare che uno di essi ha pubblicato successivamente su altra rivista una recensione positiva al volume di Bonaccorsi qui in discussione37.

Un’altra funzionalità di F1000 ha poi permesso a un autore esperto di valutazione di commentare criticamente l’articolo38. Il vantaggio rispetto alle forme tradizionali di pubblicazione su carta è che Internet conferisce al dialogo caratteristiche tipiche sia della scrittura che dell’oralità39.

Proprio il caso di cui è protagonista Bonaccorsi sembra corroborare gli argomenti di chi vede con favore la possibilità di far leva su Internet e sulla scienza aperta per rendere maggiormente robusta la revisione dei pari. È ovvio che anche strumenti di questo genere non sono perfetti e possono essere manipolati, ma la revisione paritaria aperta su Internet sembra dimostrare, a dispetto delle perplessità di Bonaccorsi, alcuni innegabili punti di forza.

18 Leave a comment on block 18 0

7. Conclusioni

In conclusione, il testo di Bonaccorsi, collocandosi in un universo teorico parallelo alla realtà, costituisce un buon esempio di come la valutazione di Stato non poggi su robuste fondamenta teoriche, ma semplicemente su una visione dirigistica e autoritaria di controllo della scienza. La valutazione è, infatti, espressione di un quadro normativo (e di una mentalità) che riflette un’alleanza tra potere scientifico, statale ed economico, concentrando le decisioni nelle mani di pochi attori istituzionali e innescando un mutamento epocale delle prassi e delle norme della ricerca scientifica. I devastanti effetti della valutazione di Stato sembrano essere (almeno) l’uniformazione del pensiero, la settorializzazione della ricerca e l’esasperazione della logica del publish or perish. Sono effetti che si proiettano sul lungo periodo e sui quali forse la ricerca empirica potrà in futuro dare risultati precisi e affidanti (magari quando sarà troppo tardi).

Elaborazioni come quelle di Bonaccorsi occultano i reali problemi con i quali si confronta drammaticamente la ricerca e cioè il progressivo disinvestimento statale nella scienza, la produzione di un quadro normativo ipertrofico, contraddittorio e mutevole, la compressione dell’autonomia scientifico-accademica, la burocratizzazione della professione del docente e dello scienziato, e in definitiva l’annientamento dell’etica e delle norme mertoniane della scienza.

Il maggior pregio del libro di Bonaccorsi è nel suo carattere interdisciplinare. Quello stesso carattere che il sistema della valutazione di Stato mortifica40, perpetuando e rafforzando l’impermeabilità degli italici settori scientifico-disciplinari41.

All’analisi interdisciplinare di Bonaccorsi difetta però un tassello di centrale importanza: la dimensione giuridica della valutazione. Se si parla di formalizzazione delle regole di giudizio delle comunità scientifiche, se si discute della valutazione messa in atto dall’apparato amministrativo dello Stato, se si allude al carattere pubblico e democratico delle procedure non si può prescindere dal diritto. Le pagine che precedono costituiscono il tentativo di riportare alla luce il nesso che esiste tra la sociologia della scienza e il diritto.

19 Leave a comment on block 19 0

Una scienza autonoma e democratica è un mondo completamente diverso da quello che l’attuale progetto centralistico e autoritario della valutazione di Stato sta pervicacemente portando avanti. Provare a dipingere tale progetto come la genuina espressione di un rigoroso ragionamento scientifico ispirato al rispetto dei principi di democrazia e di autonomia della scienza appare ineluttabilmente come una missione (disperata e) impossibile.

20 Leave a comment on block 20 0

  1. Utilizza l’espressione “valutazione amministrata” F. Coniglione, «Dalla valutazione distribuita a quella amministrata», in I problemi della pedagogia, Luglio/Dicembre 2015 n. 2, 345.
  2. Nella letteratura italiana si veda V. Pinto, Valutare e punire, Napoli, Cronopio, 2012.
  3. Quando si parla dei costi della valutazione in Italia, spesso si evidenzia (giustamente) il costo dell’ANVUR e dei singoli esercizi valutativi. Ma ovviamente occorrerebbe tener conto anche dei costi del contenzioso giudiziario.
  4. Cfr. S. Cassese, «L’Anvur ha ucciso la valutazione, viva la valutazione!», in Il Mulino, 1/2013, 73, 75 (doi: 10.1402/44137), icasticamente: “Si pensava alla «scientometria al potere», invece l’ultima parola sarà quella dei giudici amministrativi”.A mero titolo di esempio si pensi alla classificazione delle riviste per fasce di qualità ai fini dell’ASN. Si tratta di una procedura-colabrodo che è stata ritenuta affetta da gravi vizi di illegittimità. Per rendersene plasticamente conto basta andare sul sito dell’ANVUR e osservare, con desolazione, come la classificazione sia rimodellata dai giudici amministrativi: v. le comunicazioni a piè di pagina che danno notizia delle riclassificazione operate in via giudiziale sul sito dell’ANVURhttp://ur1.ca/qt46g.In un caso di riclassificazione il Consiglio di Stato di fronte alla ripetuta violazione dei criteri determinati per via giudiziale ha direttamente riclassificato in fascia A la rivista di cui si discuteva (v. Cons. Stato 11 gennaio 2016, n.53, in www.giustizia-amministrativa.it). Il MIUR e l’ANVUR hanno impugnato la sentenza del Consiglio di Stato davanti alle Sezioni unite civili della Cassazione. La Cassazione ha dichiarato infondato il ricorso: v. Cass., sez. un., 28 febbraio 2017, n. 5058. In altri termini, la Cassazione ha ritenuto che il Consiglio di Stato avesse il potere giurisdizionale per riclassificare direttamente in fascia A la rivista.
  5. R. K. Merton, «Priorities in Scientific Discovery: A Chapter in the Sociology of Science», American Sociological Review, Vol. 22, No. 6 (Dec., 1957), pp. 635-659; «Singletons and Multiples», in Scientific Discovery: A Chapter in the Sociology of Science Proceedings of the American Philosophical Society Vol. 105, No. 5, «The Influence of Science upon Modern Culture», Conference Commemorating the 400th Anniversary of the Birth of Francis Bacon (Oct. 13, 1961), pp. 470-486; «Resistance to the Systematic Study of Multiple Discoveries in Science», European Journal of Sociology, 4(2), (1963), pp. 237–282. doi: 10.1017/S0003975600000801; «The Matthew Effect in Science», Science, New Series, Vol. 159, No. 3810. (Jan. 5, 1968), pp. 56-63; Teoria e struttura sociale. 3 voll., Bologna, Il Mulino, 2000.
  6. R. K. Merton, Teoria e struttura sociale. Vol. III Sociologia della conoscenza e sociologia della scienza, Bologna, Il Mulino, 2000.
  7. M. Bucchi, Scienza e società. Introduzione alla sociologia della scienza, Milano, Raffaello Cortina Editore, 2010, 29. Cfr. V. Ancarani, La scienza decostruita. Teorie sociologiche della conoscenza scientifica, Milano, Franco Angeli, 1996, 89 ss.
  8. http://www.garfield.library.upenn.edu/.
  9. A. Figà-Talamanca, «L’Impact Factor nella valutazione della ricerca e nello sviluppo dell’editoria scientifica», in Anestesia Pediatrica e Neonatale, Vol 1, N. 1, Marzo 2003, http://ur1.ca/qtijm.
  10. R. K. Merton, «Foreword», in E. Garfield, Citation Indexing – Its Theory and Application in Science, Technology, and Humanities, John Wiley & Sons Inc; 1St Edition edition (August 1, 1979), http://garfield.library.upenn.edu/cifwd.html
  11. Nella letteratura italiana sulla frode scientifica, con riferimento all’area biomedica, v. E. Bucci, Cattivi scienziati. La frode nella ricerca scientifica, Torino, ADD, 2015, il quale a p. 71 evidenzia che: “Il primo danno del sistema del publish or perish è l’aumento del numero degli articoli pubblicati, fatto che ostacola oggettivamente i controlli, rendendo la vita più facile a chi froda attraverso la creazione di un’imponente massa di letteratura, impossibile da controllare nella sua totalità. […] Oltre al sistema del publish or perish, c’è il mercato della pubblicazione scientifica. A chi conviene che si pubblichi, e così tanto? A chi produce e vende gli articoli scientifici, naturalmente. Nel 2013 l’industria della pubblicazione scientifica ha fatturato oltre dieci miliardi di dollari […] .
  12. R. Münch, Academic captialism. Universities in the global struggle for excellence, London, Routledge, 2013.
  13. Cfr. F. Magris, La concorrenza nella ricerca scientifica, Bompiani, Milano 2012, 28-32, “Tuttavia i dubbi sulla natura intrinsecamente ‘mercantile’ dell’attività di ricerca non sembrano ancora del tutto dissipati. Le citazioni, infatti, […] , le effettuano pur sempre gli autori, ossia i produttori di quel particolare tipo di merce che sono le idee, e non invece i loro appassionati e disinteressati consumatori, ossia il pubblico dei lettori. Nelle mani degli autori è dunque riposto un ampio margine di manovra nel determinare il peso specifico dei vari giornali. […] Sottraendo, come di fatto avviene, la valutazione delle opere scientifiche al giudizio dei loro lettori reali e disinteressati e attribuendo un potere illimitato ai referees che spesso intrattengono relazioni privilegiate e interessate con le riviste che ne sollecitano il giudizio, si apre la strada a una serie di manipolazioni capaci di gonfiare artificialmente il corso azionario dei giornali. […] Un genuino regime concorrenziale dovrebbe invece essere caratterizzato da categorie di individui chiare e distinte, che oppongano i produttori da una parte e i consumatori dall’altra, i quali, insieme ma indipendentemente, contribuiscono alla formazione dei valori di scambio d’equilibrio”.
  14. M. C. Pievatolo, «La moneta della scienza: Trasimaco e gli indici bibliometrici», in Bollettino telematico di filosofia politica, 17 maggio 2012, http://btfp.sp.unipi.it/it/2012/05/la-moneta-della-scienza-trasimaco-e-gli-indici-bibliometrici/, “Chi vuol valutare la ricerca contando le citazioni pensa che la competizione nel gioco degli indici bibliometrici sia indispensabile per stimolare i ricercatori alla produttività: tratta, dunque, le ragioni interne alla scienza come inessenziali e assume come motivante un criterio esterno. In questa prospettiva, direbbe Trasimaco, la ricerca è l’arte di farsi pubblicare su certe riviste sedicenti eccellenti e di ottenere citazioni. Realisticamente non dovrebbero scandalizzare le pratiche di manipolazione e di pressione volte ad aumentare i propri indici bibliometrici. Se il valore di un ricercatore o di una rivista non è interno alla ricerca e ai contenuti che pubblica, è ben comprensibile che ricercatori e riviste si comportino da massimizzatori razionali di citazioni, con espedienti che hanno poco a che fare con l’ethos della scienza” (grassetti dell’autrice).
  15. G. Viesti (a cura di), Università in declino. Un’indagine sugli atenei da Nord a Sud, Roma, Donzelli Editore, 2016. Nel volume v. in particolare il capitolo introduttivo di Viesti, «Il declino del sistema universitario italiano», 3 ss.; sul diritto allo studio v. il contributo di Viesti, p. 51-52 e nello stesso volume A. Asmundo, «Diritto allo studio e servizi», 161 ss.; per una comparazione a livello europeo v. European Commission/EACEA/Eurydice, 2016. National Student Fee and Support Systems in European Higher Education –2016/17. Eurydice Facts and Figures. Luxembourg: Publications Office of the European Union, October, 2016, http://ur1.ca/qt478. Per un inquadramento del panorama europeo v. F. Sylos Labini, Rischio e previsione. Cosa può dirci la scienza sulla crisi, Bari-Roma, Laterza, 2016, 217 ss.
  16. Cfr. F. Bertoni, Universitaly. La cultura in scatola, Bari-Roma, Laterza, 2016, passim e spec. 80.
  17. F Murray, S Stern, «Do formal intellectual property rights hinder the free flow of scientific knowledge?: An empirical test of the anti-commons hypothesis», Journal of Economic Behavior & Organization 63 (4), (2007), 648-687; J. A. Colyvas, «From divergent meanings to common practices: The early institutionalization of technology transfer in the life sciences at Stanford University»,Research Policy, 36(4), (2007), 456-476. DOI: 10.1016/j.respol.2007.02.019.
  18. A. Geuna, F. Rossi, L’università e il sistema economico. Conoscenza, progresso tecnologico e crescita, Bologna, Il Mulino, 2013; M. Pekerman et al., «Academic engagement and commercialisation: A review of the literature on university-industry relations», Research Policy 42 (2013) 423- 442.
  19. V. la relazione di Giunio Luzzatto al primo convegno annuale dell’Associazione Italiana per la promozione della Scienza Aperta (AISA) tenutosi presso l’Università di Pisa il 22 e il 23 ottobre 2015, G. Luzzatto, Disponibilità pubblica dei risultati scientifici versus clausole di segretezza previste in convenzioni di privati con le Università, http://archiviomarini.sp.unipi.it/646/1/Presenazione%20Luzzatto_%20Aisa%202015.pdf
  20. Valutazione della Qualità della Ricerca 2011-2014 (VQR 2011-2014), Bando di partecipazione Versione riveduta e approvata per la pubblicazione dal Consiglio Direttivo ANVUR 11 Novembre 2015 http://www.anvur.org/attachments/article/825/Bando%20VQR%202011-2014_secon~.pdf; Decreto Ministeriale 29 luglio 2016 n. 602, Determinazione dei valori-soglia degli indicatori di cui agli allegati C, D ed E del D.M. 7 giugno 2016, n. 120.
  21. Cfr. M. C. Pievatolo, «Anvur: criteri, parametri e liste», in Bollettino telematico di filosofia politica, 12 giugno 2012, http://btfp.sp.unipi.it/it/2012/06/anvur-criteri-parametri-e-liste/:“Che titolo ha – se lo chiedeva, per esempio, Pier Paolo Giglioli – l’Anvur per fotografare reputazioni in nome di tutti noi?. Se la ‘reputazione’ rispecchia una conoscenza diffusa nella comunità scientifica in modo analogo a quello in cui la consapevolezza del significato delle parole è diffusa in una comunità linguistica, non c’è per l’Anvur altra legittimazione se non quella che Humpty Dumpty invocava per sé:

    ”When I use a word“ – Humpty Dumpty said, in rather a scornful tone – ”it means just what I choose it to mean – neither more nor less“.

    Ossia, tradotto, pur senza la vidimazione dall’Anvur: “Quando io uso una parola” – disse Tombolo Dondolo in tono piuttosto sprezzante – “significa esattamente quello che io scelgo che significhi, né più né meno”.

  22. A. Baccini, «Come e perché ridisegnare la valutazione», in Il Mulino, 1/2013, 80 (doi: 10.1402/44138).
  23. Art. 8 del DPR 1 febbraio 2010, n. 76.
  24. Art. 2.2 del bando VQR 2011-2014: “Per ognuna delle 16 Aree il Consiglio Direttivo dell’ANVUR nomina un Gruppo di Esperti della Valutazione (GEV nel seguito), anche attivi all’estero, composto da studiosi di elevata qualificazione scelti sulla base dell’esperienza internazionale nel campo della ricerca e alle esperienze di valutazione già compiute. La selezione sarà effettuata tra quanti hanno risposto, nelle modalità ed entro i termini previsti, all’avviso per la manifestazione d’interesse a far parte dei GEV emanato dal Consiglio Direttivo medesimo […] ”. Cfr. Redazione Roars, «Nuovi GEV: l’avviso di Bibì e Bibò e Cocoricò è ben strano, ohibò … », in Roars, 19 maggio 2015, http://www.roars.it/online/nuovi-gev-lavviso-di-bibi-e-bibo-e-cocorico-e-ben-strano-ohibo/
  25. L’Avviso per la presentazione di manifestazioni di interesse a ricoprire l’incarico di esperto nei Gruppi di Esperti della Valutazione (GEV) per l’esercizio di Valutazione della Qualità della Ricerca (VQR) 2011-2014, http://ur1.ca/qt789, si esprime diversamente.L’art. 3 recita: “Possono presentare la propria candidatura studiosi, anche stranieri, di elevata qualificazione scientifica, esperti nel campo della valutazione e dotati di esperienza di ricerca in campo internazionale”. Come si nota, rispetto all’art. 2.2 del bando VQR, è cambiato l’ordine dei criteri e gli studiosi “attivi all’estero” si sono trasformati in studiosi “stranieri”.L’art. 8 aggiunge criteri nuovi e modifica la procedura prevista dal bando VQR:“1. Al fine di definire la composizione dei Gruppi di Esperti della Valutazione l’ANVUR valuterà in via prioritaria, ma non esclusiva, i candidati al presente invito, scegliendo coloro che meglio rispondono ai seguenti criteri:
    • Indicatori scientifici, e in particolare indicatori bibliometrici se disponibili e appropriati, o indicatori della qualità della ricerca scientifica, con particolare riferimento agli ultimi cinque anni;
    • Esperienza nella direzione della ricerca;
    • Esperienza nella valutazione della ricerca;
    • Esperienza scientifica internazionale.

    2. Nell’ipotesi che le candidature presentate non consentano una adeguata e qualificata copertura disciplinare e, a livello di area, un’adeguata presenza di studiosi stranieri e un’adeguata rappresentanza di genere, l’ANVUR si riserva la possibilità di integrare i GEV con studiosi che non abbiano presentato la loro candidatura, fermo restando il rispetto del requisito di soddisfare i criteri elencati in precedenza.

    Il punto 3 “criteri di selezione” del documento sulla selezione dei GEV, http://ur1.ca/qt4m2 si esprime in modo ancora differente:

    “Nella selezione dei GEV l’ANVUR è partita da quanti avevano manifestato il loro interesse a partecipare. Il processo di selezione dei GEV si è basato su precisi criteri di qualità.

    Le caratteristiche primarie sulle quali basare la selezione sono state:

    1. Qualità scientifica (misurata, ove possibile, tramite l’h-index, il numero totale di citazioni, eventuali riconoscimenti del merito scientifico, analisi degli elementi di curriculum vitae presenti nella manifestazione di interesse, ecc.)

    2. Continuità della produzione scientifica negli ultimi 5 anni

    3. Esperienza in attività di valutazione a livello nazionale o internazionale.

    Tra gli esperti che rispettavano i criteri 1-3, la selezione ulteriore è stata fatta cercando di rispettare le condizioni seguenti:

    a. Copertura dei settori scientifico-disciplinari (SSD) proporzionale al numero di prodotti attesi da valutare all’interno delle 16 Aree

    b. Percentuale significativa di componenti con affiliazione straniera

    c. Equilibrata distribuzione di genere

    d. Equa distribuzione di sede, ove possibile, per i candidati italiani

    e. Equa distribuzione geografica dei candidati italiani”.

  26. Cfr. Redazione Roars, Nuovi GEV: «L’avviso di Bibì e Bibò e Cocoricò è ben strano, ohibò … » cit.
  27. Il tema della riduzione dell’autonomia universitaria è posto, sia pure con toni garbati, da C. Barbati, «L’entrata in scena della ’nuova’ valutazione, in Scuola democratica, Fascicolo 3, settembre-dicembre 2015, (doi: 10.12828/82087).
  28. Cassese, L’Anvur ha ucciso la valutazione, viva la valutazione!», cit., 76, “si sarebbe potuto procedere attivando discussioni nelle diverse «comunità epistemiche», alcune più abituate, altre meno alla misurazione della ricerca, anche per evitare di centralizzare, e senza confondere le comunità scientifiche di settore con le relative società e associazioni, spesso giovanissime. E si sarebbe potuto procedere in modo più trasparente, fissando prima i criteri, discutendoli apertamente, poi applicandoli. Nulla di tutto questo: si sono stabilite scale di merito e si è dato ad esse un valore giuridico scriminante. Le base dati su cui si è proceduto e i criteri selettivi non sono stati resi noti e in molti casi sono stati tenuti nascosti”. V., inoltre, l’intervista di ROARS a Valerio Onida in ROARS, 8 agosto 2012, http://ur1.ca/qt47y:Sul fronte giudiziale l’operato del Consiglio direttivo dell’ANVUR è stato censurato proprio in relazione all’uso di criteri e parametri ex post.  Il caso riguardava la classificazione in fascia B di una rivista giuridica ai fini dell’ASN. Il Consiglio di Stato (con sent. 11 gennaio 2016, n. 53 cit., confermata da Cass., sez. un., n. 5058 del 2017 cit.) ha rilevato che la classificazione in fascia B era illegittima in quanto era avvenuta senza fare uso di criteri predeterminati.
  29. V. art. 13 del DPR n. 76 del 2010.
  30. Per rispondere a rilievi, comprovati da fatti, non bastano generiche affermazioni come quelle di Luisa Ribolzi, componente dell’attuale consiglio direttivo dell’ANVUR, nella sua recensione a Banfi, A., Franzini, E. e Galimberti, P. (2014), Non sparate sull’umanista. La sfida della valutazione, in Scuola democratica, Fascicolo 1, gennaio-aprile 2015 (doi: 10.12828/79561), 237, 241, “e sarebbe interessante approfondire il dibattito, magari evitando di tornare sull’accusa di procedimenti non trasparenti che è sempre stata confutata da ANVUR, ma con scarso successo visto che si ripresenta periodicamente, benché sia del tutto infondata”.
  31. Regolamento per la classificazione delle riviste nelle aree non bibliometriche. Criteri di classificazione delle riviste ai fini dell’Abilitazione Scientifica Nazionale, http://ur1.ca/qt4rl (consultato il 19 febbraio 2017). Sul regolamento v. P. Galimberti, «Classificazione ASN delle riviste: limiti e incongruenze del nuovo regolamento ANVUR», in Roars, 26 gennaio, 2017, http://ur1.ca/qt4r3.
  32. V., ad esempio, P. Suber, Open Access, Cambridge (Mass.), MIT Press, 2012, +http://ur1.ca/qt48w
  33. R. Caso, La scienza aperta contro la mercificazione della ricerca accademica?, The Trento Law and Technology Research Group. Research Papers Series; nr. 28. Trento: Università degli Studi di Trento. 2016: http://hdl.handle.net/11572/142760
  34. M. C. Pievatolo, «L’accademia dei morti viventi, parte prima: la revisione paritaria», in Bollettino Telematico di Filosofia Politica, 24 gennaio 2012, http://ur1.ca/qt4au
  35. V. Concorso pubblico di Idee di Ricerca (bando del 15 Luglio 2014): Graduatoria dei progetti idonei approvata con delibera del Consiglio Direttivo n.107 del 15/10/2014, http://ur1.ca/qt4af. Chiara Faggiolani e Stella Iezzi figurano nel progetto For a LIable evaluation of Book’s Role in Socio-Economic Sciences and Humanities: an international comparison (LI.B.RO.): http://www.dolinfige.uniroma1.it/node/6338. Geoffrey Williams figura tra i partner del progetto ROBINba THE ROLE OF BOOKS IN NON-BIBLIOMETRIC AREAS; lo afferma una delle ricercatrici nella presentazione del medesimo progetto: http://ur1.ca/qt499.
  36. Cfr. l’art. 5 Partecipazione a convegni e seminari, pubblicazioni, incarichi esterni del Codice Etico dell’ANVUR (approvato dal Consiglio Direttivo nella riunione del 15 ottobre 2014), http://ur1.ca/qt49s, al comma 1 così recita: “Nelle materie di competenza dell’Agenzia, i membri dell’Agenzia partecipano a convegni, seminari e simili, nonché pubblicano articoli su quotidiani o periodici solo quando la partecipazione o la pubblicazione avvengano nell’interesse dell’Agenzia. Tali attività sono comunicate al Presidente. Nelle materie estranee alla competenza dell’Agenzia, la partecipazione a convegni, seminari e simili, nonché la pubblicazione di articoli su quotidiani o periodici da parte dei membri dell’Agenzia sono libere. È altresì non vincolata qualunque pubblicazione a carattere scientifico, nel rispetto della libertà di manifestazione del pensiero da parte di ogni persona”.La formulazione dell’articolo è ambigua. Perché lo “svincolo” delle pubblicazioni scientifiche segue una specificazione che riguarda materie estranee a quelle di competenza dell’agenzia. Lo svincolo riguarda tutte le pubblicazioni scientifiche o solo quelle estranee alle materie di competenza dell’ANVUR?Nella migliore delle ipotesi il codice etico dell’ANVUR delinea un curioso sdoppiamento della personalità, e così quando si pubblica sul quotidiano si deve parlare nell’interesse dell’agenzia, quando si pubblica sulla rivista scientifica si può tornare liberi. Un’ipocrisia schizofrenica che elude il problema di fondo.
  37. C. Faggiolani, «Recensione a “A. Bonaccorsi, La valutazione possibile: teoria e pratica nel mondo della ricerca», Bologna, Il Mulino, 2015”, in AIB studi, V. 56, N. 2 (2016), http://aibstudi.aib.it/article/view/11504/10728#3.
  38. A. Baccini, Reader Comment 10 giu 2016, https://f1000research.com/articles/4-196/v1
  39. Cfr. S. Harnad, Back to the Oral Tradition Through Skywriting at the Speed of Thought, 2003, http://cogprints.org/3021/; M. C. Pievatolo, «Publishing without perishing. Are there such things as “research products”?» In: Aisa 1st annual conference Nostra res agitur: open science as a social question, 22-23 ottobre 2015, Pisa, http://archiviomarini.sp.unipi.it/644/
  40. V., ad es., Bertoni, Universitaly, cit., 81.
  41. Sui settori scientifico disciplinari v. G. Pascuzzi, «Soldatini e danni collaterali: i settori scientifico-disciplinari», in Roars, 18 gennaio 2014, http://ur1.ca/qt4vf; «Una storia italiana: i settori scientifico-disciplinari», in Materiali per una storia della cultura giuridica, 2012, 91. V., altresì, R. Caso, G. Pascuzzi, «Rompete le righe, ma senza sconfinare. La via italiana all’interdisciplinarità», in Roars, 6 marzo 2014, http://ur1.ca/qt4wh

 

Page 4

Source: http://commentbfp.sp.unipi.it/?page_id=1352/