www.nuova-energia.com - Come si fa la valutazione della ricerca energetica

PAUSA-ENERGIA

Come si fa la valutazione della ricerca energetica

di Ugo Farinelli

Dopo un periodo di fiacca, a partire dal 2000 gli investimenti pubblici e privati nella ricerca energetica a livello mondiale sono gradualmente aumentati: in parte sulla base di genuine preoccupazioni relative alla sostenibilità climatica e alla sicurezza degli approvvigionamenti, in parte (specie per quanto riguarda l’industria) per non essere tagliati fuori da un processo che appariva inevitabile. La crescita della componente pubblica è stata limitata dalle generali ristrettezze di bilancio presenti in molti Paesi, mentre gli stanziamenti privati hanno continuato a crescere finché non è arrivata la crisi economica che ha portato quasi dappertutto a profondi tagli degli investimenti a lungo termine, e quelli per la ricerca sono stati i primi a soffrirne.
C’è quindi una contraddizione tra la contrazione - o perlomeno la mancata crescita - delle spese di ricerca, e la domanda potenziale di ricerca energetica che è sempre crescente, sia per motivi ambientali, sia per la prorompente crescita delle economie emergenti (che per ora hanno evitato il peggio della crisi), sia infine per la stessa necessità di puntare alle nuove tecnologie proprio per uscire dalla crisi (green economy).

_C'è una ricetta _universalmente invocata:
_«Far di più con meno».
_Cioè interrogarsi su come _vengono spesi i soldi e
_se è possibile spenderli _meglio e ottenere
_migliori risultati
_senza aumentare i bilanci.

Come superare questa contraddizione? C’è una ricetta universalmente invocata: “Far di più con meno”. Cioè interrogarsi seriamente su come vengono spesi i soldi e se è possibile spenderli meglio e ottenere migliori risultati senza aumentare i bilanci. Lo strumento per fare questo è la valutazione della ricerca, che si fa (o si dovrebbe fare) in tre momenti: prima di cominciare (a priori), a metà strada (in itinere) e una volta conclusa (a posteriori). Sempre con l’ottica non di dare un giudizio fine a se stesso, ma di imparare dagli sbagli a migliorare la situazione: concentrando gli sforzi sulle linee più promettenti, evitando le moltiplicazioni e le aree scoperte, incoraggiando le soluzioni innovative, utilizzando le collaborazioni internazionali.

Sembrerebbe semplice, ma non lo è. L’Agenzia Internazionale dell’Energia (IEA) ha da molti anni un gruppo di lavoro (l’Experts Group on R&D Priority Setting and Evaluation del Comitato per la Ricerca e le Tecnologie Energetiche, CERT) che si occupa di tutti gli aspetti di questa problematica, e che ha organizzato recentemente (Bruxelles, 9-10 novembre 2010) un workshop appunto sulla valutazione della ricerca energetica. Mentre rimandiamo al sito dell’Agenzia (www.iea.org) per i vari contributi originali e le conclusioni collegiali, vorrei riportare qui qualche considerazione un po’ meno ufficiale, che mi deriva anche da oltre trent’anni di frequentazione di questo argomento (sono stato nel 1979 il primo valutatore esterno della Commissione europea, per la valutazione ex-post del programma energia non nucleare del primo Programma Quadro della CEE per la ricerca).

Sono stati presentati in questo convegno metodi e procedure adottati, e risultati raggiunti nelle valutazioni della ricerca energetica in numerosi Paesi e in organizzazioni internazionali, per tutti e tre i tipi di valutazione (prima, durante e dopo), cercando di individuare qualche filo conduttore comune.
Si è tentati di vedere in bianco e nero; i Paesi che fanno seriamente la valutazione, ce l’hanno nel sangue, nel DNA, nella tradizione: e sono soprattutto i Paesi nordici, gli scandinavi, gli olandesi, i britannici. Ottimi da molto tempo gli americani. I tedeschi, a conti fatti e anche con alcuni risultati di punta, un po’ meno (si direbbe che scontino la suddivisione delle responsabilità della ricerca tra il livello del governo federale e quello regionale, dei Länder). Molto in ripresa i francesi, con alcune realtà di grande interesse.

A livello di battuta (fatta da un rappresentante austriaco): sono i popoli cattolici che restano indietro (Austria, Italia, Belgio, Spagna, Polonia) forse perché associano l’idea della valutazione a quella del giudizio finale! Molto sensibili alle valutazioni sono da molto tempo gli organi dell’Unione europea, a cominciare dalla Commissione, dal Parlamento europeo (che ha il suo proprio organo di valutazione della ricerca, lo STOA - Scientific Technology Options Assessment), al Comitato Economico e Sociale. In realtà la situazione è molto più sfumata. Anche nei Paesi in cui le cose vanno meglio, i problemi ci sono, e come! Vediamo i principali.

Il primo punto è: dove vogliamo arrivare? Come quando Alice si rivolge al gatto del Cheshire perché le indichi la strada, e l’illustre felino le risponde Dipende da dove vuoi andare, e scompare in un sorriso che tendiamo a vedere un po’ sfottente nei riguardi della mancanza di una programmazione energetica. Quindi, la prima conclusione un po’ ovvia è: è opportuno stabilire prima che cosa ci si aspetta dalla ricerca energetica (anche in termini quantitativi) anche per poter essere meglio in grado a posteriori di giudicare se la ricerca è stata un successo o no.

Il secondo punto è: che ce ne facciamo dei risultati della valutazione E qui bisogna distinguere tra valutazioni ex-ante, in itinere ed ex-post. Per le valutazioni a priori, la risposta è in teoria più semplice. È uno strumento per scegliere tra varie linee di ricerca: adotteremo quella o quelle linee di ricerca che danno il massimo rapporto tra benefici attesi e costi. In pratica le cose sono più complicate. Prima di tutto, come tener conto del rischio? Come confrontare una ricerca ad alto rischio di fallimento, ma che se ha successo porta a grandi risultati, con una più di routine con meno rischi e minori promesse? Semplicemente moltiplicando il risultato positivo per la probabilità di raggiungerlo? Ma come si calcola questa probabilità (o, meglio ancora, chi la calcola?).

C’è sempre un conflitto di fondo (spesso non espresso) tra i conservatori che preferiscono i programmi di ricerca incrementali, piccoli passi ma abbastanza prevedibili e sicuri, e gli innovatori che puntano al break-through, alla soluzione inaspettata che risolve tutto (ma come si fa a programmarla?). In secondo luogo, come ricondurre i risultati attesi ad un’unica scala?
Già rimanendo in campo energetico potremo avere diverse scale di valutazione a seconda che consideriamo obiettivi diversi come il puro ritorno economico, la sicurezza degli approvvigionamenti, la sostenibilità climatica, gli altri aspetti ambientali; ma in genere ci sono anche altre chiavi di lettura, per esempio la creazione di posti di lavoro, o gli effetti sull’agricoltura, o altre conseguenze di carattere sociale. Non mancano certamente gli strumenti per delle analisi multiparametriche, ma richiedono sempre un raffronto, una pesatura non facile tra obiettivi di politiche diverse. In sostanza, le decisioni sulle priorità nelle ricerche non devono derivare soltanto dalle valutazioni a priori degli effetti energetici, così come non è soltanto attraverso la ricerca e sviluppo che si configura la politica energetica.

Maggiori incertezze si hanno sull’utilizzo dei risultati delle valutazioni ex-post, cioè dei risultati di un progetto o di un programma di ricerca una volta che si è concluso. In genere, questo tipo di valutazioni comincia almeno un anno dopo che il programma si è concluso (necessario a raccogliere la documentazione del lavoro svolto e a chiudere gli inevitabili strascichi), e passa un altro anno prima che i risultati della valutazione siano portati all’esame dei decisori: troppo tardi per influenzare decisioni sulla continuazione o sull’orientamento del programma di ricerca in quel campo. Quindi la valutazione ex-post ha molto spesso il carattere di un esame di coscienza: impariamo dai nostri errori e in futuro saremo più bravi…

Queste considerazioni aumentano l’importanza delle valutazioni in itinere, a metà strada: molto spesso un programma di ricerca ha una durata di quattro o cinque anni, e l’esaminare quello che è successo dopo due anni o due anni e mezzo, anche se può essere tardivo per reindirizzare il programma nella sua parte finale, qualche indicazione la può dare, e soprattutto arriva nel momento buono per prendere le decisioni per la prosecuzione o meno del programma per un altro quadriennio o quinquennio. Alcuni esempi positivi sono stati portati, così come esempi negativi quando si è aspettato la conclusione di un programma per valutarlo, interrompendolo per un paio d’anni e procedendo quindi a singhiozzo. Ma molti sono anche gli esempi in cui la valutazione è stata fatta, e non ne è seguito alcun impatto sui programmi: non c’è collegamento tra i decisori e i valutatori. Ma anche delle pratiche corrette e ben basate possono portare a conclusioni sbagliate; che fare per esempio di una linea di ricerca dove per quindici anni non si sono avuti risultati di rilievo?

Anche questo fa parte della dinamica normale della ricerca. L’esempio portato dal DoE riguardava nuovi materiali per le palette delle turbine a gas, dove dopo un discreto numero di anni non si erano raggiunti risultati di rilievo e la relativa linea di ricerca è stata chiusa. Ebbene, la soluzione c’era ed è saltata fuori dopo un anno o due in una ricerca al MIT finanziata da fondi privati.
Dopo tutto, il fondamento della ricerca è il tentativo, il trial and error: se sbagliando si impara dobbiamo essere pronti a finanziare

_Dopo tutto, il fondamento
_della ricerca è il tentativo, _il trial and error: se
_sbagliando si impara
_dobbiamo essere pronti
_a finanziare gli sbagli!

gli sbagli! Quanto sforzo e quanti soldi dedicare alla valutazione? In alcuni dei Paesi o istituzioni dove le valutazioni vengono fatte più sovente e con più impegno, i mezzi messi in gioco sono tutt’altro che indifferenti: al Department of Energy degli Stati Uniti, per esempio, dove la procedura di valutazione è in funzione da almeno vent’anni, si stanno valutando a posteriori 39 progetti scelti a caso, con lo scopo di capire se in oltre trent’anni (dal 1977) l’azione del DoE è stata efficace oppure no. La tentazione di esagerare nell’esercizio di valutazione è presente ed è stata sollevata; il consenso generale è che si debba destinare alla valutazione una frazione di qualche percento (tipico il 3) del bilancio di ogni progetto o programma di ricerca.

Valutatori interni o esterni? Un’osservazione forse non banale è che (almeno nei Paesi più avanzati su questa strada) i ricercatori preferiscono che il loro lavoro sia giudicato da esterni (purché competenti) piuttosto che dalla loro stessa struttura, in cui giocano dinamiche non sempre oggettive. È anche preferito che i valutatori siano tecnici o scienziati specializzati, piuttosto che dei manager. Come possiamo giudicare la situazione in Italia, a parte le sovra-semplificazioni e gli stereotipi?
Prima di tutto, l’Italia ha una lunga e riconosciuta positiva tradizione di valutazione ex-ante di progetti (piuttosto che di programmi), derivanti dal Nucleo di Valutazione del Ministero del Bilancio negli anni ‘70. Un recente esempio può essere considerato il Programma Industria 2015 - un programma per sostenere gli sforzi di ricerca e sviluppo delle piccole e medie industrie nel campo dell’efficienza energetica e dell’impiego di fonti rinnovabili. Anche se i tempi di implementazione del programma si sono rivelati troppo lunghi per la logica industriale, il programma ha permesso di ottenere utili indicazioni delle priorità industriali (che per il vero contenevano relativamente poco di innovazione reale).

Per quanto riguarda le valutazioni in corso d’opera, gli esempi sono relativamente pochi; e quelli di valutazioni expost quasi inesistenti. Non c’è da stupirsi che molte delle attribuzioni di priorità nei programmi di R&S energetici siano il frutto di opportunità casuali, di gruppi di pressione, di personalità dei proponenti. Con questo non si vuole assolutamente dire che non vi siano in Italia ottimi valutatori (cui fanno molto spesso ricorso istituzioni estere o internazionali) e anche centri di sviluppo e di confronto di metodi di valutazione: al CNR, all’ENEA, alla Fondazione Eni Enrico Mattei, al Politecnico di Milano, alla Bocconi e in molti altri centri. Ma questi valutatori, questi centri di eccellenza non vengono interpellati quando si tratta di programmare la ricerca, di stabilire le priorità, di tracciare le strategie. Naturalmente non aiuta il fatto che non ci sia una esplicita e chiara politica energetica italiana, rispetto alla quale misurare i successi ottenuti dalla ricerca e che serva come quadro di riferimento.

In conclusione, e tornando al quadro generale emerso dalle conclusioni del workshop: nonostante tutte le difficoltà e gli intoppi che dobbiamo tener presente, la valutazione (prima, durante e dopo) dei programmi di ricerca è uno strumento utile, anzi assolutamente necessario per contribuire a prendere delle decisioni assennate nel campo della ricerca energetica. Il processo di valutazione serve prima di tutto ad assicurare trasparenza e conoscenza di quello che si fa e si vuole fare, e a collegare (almeno a grandi linee) quello che si spende con quello che si ottiene. Serve a stimolare la collaborazione, e in particolare quella internazionale. Serve a portare allo scoperto i processi di ricerca e quindi ad accelerarli.