[Ricercatori_td] VQR FATAL ERROR

[Salvatore Valiante]

Cara/o Collega,

ti scrivo per fare il punto della situazione sulla VQR 2011-2014.

Anche non volendo considerare la lettera del presidente della CRUI,  
nonché nostro rettore, del 26/01/2016 nella quale si chiede al  
Ministro di avviare una urgente azione per contrastare le criticità in  
materia di retribuzione dei docenti e quindi di fatto l’apertura  
quanto meno di un tavolo tecnico sulla questione, e passando sopra  
come un caterpillar a tutte le iniziative di protesta (che sostengo  
pienamente), basta la dichiarazione dell’ANVUR del 22/1/2016  in  
allegato alla pubblicazione delle griglie  
(http://www.anvur.org/attachments/article/946/Documento%20di%20accompagname~.pdf)
per rendere questo lavoro di autovalutazione, che è stato chiesto a  
tutti, vano ed aleatorio.
Infatti si legge:
-------------------------------------------------------------------------
“Le informazioni devono essere considerate come un’utile guida, per i  
singoli addetti e le Istituzioni, ai fini di una AUTOVALUTAZIONE della  
selezione dei prodotti di ricerca da conferire; esse non devono invece  
in alcun modo essere intese come strumento capace di prefigurare con  
certezza l’esito finale della valutazione, per i seguenti motivi:
2015.	la valutazione finale dei prodotti sarà basata sulle  
informazioni citazionali aggiornate al 29 febbraio 2016, mentre i  
calcoli delle griglie pubblicate oggi sono basate sui dati aggiornati  
al 31 ottobre 2015.
2016.	I valori definitivi delle pendenze e delle intercette saranno  
ricalcolati sui dati aggiornati e saranno pertanto possibili  
spostamenti delle soglie.
III. Soprattutto, la valutazione finale sarà in ogni caso  
responsabilità del GEV (e non il frutto dell’applicazione automatica  
dell’algoritmo bibliometrico). In particolare, il GEV di appartenenza  
potrà modificare la categoria disciplinare e l’SSD prescelti  
dall’autore, in base ad un criterio di migliore aderenza dei contenuti  
del prodotto e potrà inviare i prodotti in peer-review tutte le volte  
che lo riterrà necessario.”
--------------------------------------------------------------------------

Il motivo di tale cautela da parte di ANVUR è presto detto, come  
descrive bene il Prof. De Nicolao  
(http://www.roars.it/online/okkei-paisa-ci-si-puo-fidare-della-valutazione-preliminare-per-la-vqr/):
“i dati citazionali vengono aggiornati in continuazione, una delle  
ragioni che ne sconsiglia l’uso per scopi normativi e amministrativi  
(non che questo abbia scoraggiato l’Anvur). In base ai criteri della  
VQR può accadere che 6 citazioni bastino per essere catalogati  
“Eccellenti”. Pertanto, interrogare il database bibliometrico a  
distanza di un paio di mesi può produrre risultati diversi. Ma su  
quali dati saranno basate le valutazioni dell’ANVUR? E quanto ci si  
può fidare delle prevalutazioni?”

Inoltre i dati bibliometrici e la relativa classifica sono basati sul  
database Web of Science (WoS) della Thomson-Reuters. Ma la VQR fa uso  
anche di un secondo database, Scopus della Elsevier (come in effetti è  
nei file excel inviatici). Ebbene, potrebbe capitare che un prodotto  
classificato come Elevato in base ai dati WoS sia invece classificato  
come Eccellente per Scopus. Non è un’ipotesi campata per aria come lo  
stesso De Nicolao dimostra nell’articolo citato.

Infine come lo stesso De Nicolao spiega  
(http://www.roars.it/online/nei-criteri-vqr-ce-un-fatal-error-noto-da-piu-di-20-anni/) la calibrazione bibliometrica di questa VQR è corrotta alla base da un errore grossolano quanto fondamentale: i percentili di due indicatori bibliometrici vengono sommati in modo pesato; “un criterio bibliometrico mai sperimentato prima, anche perché da più di 20 anni è noto nei più vari ambiti scientifici, a partire dalle valutazioni pedagogiche e psicometriche fino ad arrivare alla geografia e alla chimica, che i percentili «cannot be aggregated in any meaningful way» dato che sono misure ordinali e non misure ottenute usando una scala a intervalli regolari. Un errore ben noto, che, oltre a essere oggetto di quiz per le high school, è stigmatizzato in numerosi libri di testo e anche in articoli scientifici, secondo i quali «The only reason for using percentile ranks is ignorance, and it is questionable whether a defense of ignorance will be  
viable»”.

Per quanto tempo ancora lavoreremo utilizzando e diffondendo l’ignoranza?

Sempre disponibile al confronto vi invio

Cordiali saluti,
Salvatore Valiante



-- 
Salvatore Valiante Ph.D.
Assistant Professor
University of Naples Federico II
Dept. of Biology
Via Mezzocannone 8
80134 Naples
Italy
tel +390812535169
fax +390812535035

------------------------
The aim of science is to expand our knowledge base, which, eventually,  
yields useful applications. John P. A. Ioannidis