Dati.gov.it, le impressioni di un civic hacker
Questo approfondimento sul portale dati.gov.it l’avevo abbozzato da tempo: l’ho iniziato a scrivere a fine marzo, quasi tre mesi e rotti fa.
Ho aspettato tanto per pubblicarlo, modificarlo e aggiornarlo per due motivi: non volevo assolutamente essere polemico, ma riflettere su alcune criticità che mettono in crisi il portale stesso, perchè non vorrei rivederle in futuro.
Ma soprattutto volevo capire le implicazioni delle dinamiche messe in moto dal Team Digitale con la creazione della community di sviluppatori e la presenza ufficiale su GitHub (anche del progetto datigovit stesso). Il tutto combinato con la pubblicazione (rilasciato finalmente il 30 maggio) del piano triennale per la trasformazione digitale, che tratta il presente e il futuro di dati.gov.it.
Volevo avere un’idea di quali fossero gli spazi di manovra per la discussione e il confronto, sia come cittadino che come comunità: in queste righe condivido quello che ho capito.
Ecco la versione Bignami, se si ha fretta:
dati.gov.it a volte sembra gestito come un sito test, non come un sito in produzione, non come un servizio pubblico. Il posizionamento del sito nella strategia della valorizzazione del patrimonio informativo pubblico italiano continua a cambiare, per questo o l’altro motivo.
Questo non aiuta a renderlo un elemento davvero utile per chi deve utilizzare gli Open Data. Non è ancora una fonte affidabile, specie per quel mondo imprenditoriale che fatica a digerire gli Open Data, ma potrebbe diventarlo a breve.
Non sono chiare le risorse (economiche, umane e di competenze) che ha a disposizione ogni anno e questo mette in dubbio la sua sostenibilità.
Esiste un dialogo costruttivo tra chi, nella società civile, chiede dettagli e sviluppi e chi sta gestendo il sito (Formez, AGID e squadra tecnica), mediato dal Team Digitale. Per questo il bicchiere è mezzo pieno, solo se siamo tutti consapevoli che deve diventare da oggi/domani un servizio pubblico.
Altrimenti sono solo Open Data [qui cito un concetto caro ad Andrea Borruso]
Gli addetti ai lavori e i cittadini attivi dovrebbero chiedere sviluppi e partecipare, facendo emergere quegli elementi critici che minano molti degli elementi positivi (come i cicli di webinar, ad esempio, fondamentali per creare cultura sul tema). I nuovi canali gestiti dal Team Digitale sono a disposizione e facilitano il confronto: serve esserci e farsi sentire, come cittadini prima di tutto.
Se vorrete capire le motivazioni che ci sono dietro alla sintesi, vi accontento subito. La cosa importante è inquadrare la dinamica che racconto in queste righe come fosse un nuovo utensile nella cassetta degli attrezzi del cittadino che vive in questo secolo. Potrebbe tornare utile per altre azioni, per altri contesti.
Purtroppo ricordo bene il giorno del lancio di dati.gov.it, quel novembre 2011 al ministero dell’innovazione, perché ero presente: mi dispiace che dopo tutti questi anni siamo ancora qui a parlare di elementi che non solo dovrebbero essere assodati, ma cristallini.
Ci sono tre questioni principali:
- il posizionamento del portale: Open Gov Data o catalogo di tutti i dati della pubblica amministrazione, anche quelli non Open Data? Non è un elemento chiaro;
- la gestione tecnica del suo sviluppo: il valore di una comunicazione chiara verso gli altri interlocutori e chi lo dovrebbe usare;
- il futuro di dati.gov.it nel piano triennale: parliamo ancora di posizionamento. Open Gov Data, Open Data sia creati dalle istituzione che dai cittadini o catalogo di tutti i dati della pubblica amministrazione? Non è un elemento chiaro.
Perché ne parlo ora?
Perché il 7 marzo il portale è stato aggiornato, sia nel profilo tecnico che nel design, ma soprattutto è stata riattivata la funzionalità di aggregazione dei dati (in gergo si chiama harvesting).
Ah, giusto: per chi non lo sapesse infatti, dati.gov.it viveva in uno stato di mancato aggiornamento del catalogo degli Open Data che durava fin da fine settembre 2015.
Sì, avete letto bene. Pur essendo “il catalogo nazionale dei metadati relativi ai dati rilasciati in formato aperto dalle pubbliche amministrazioni italiane.” (definizione tratta da dati.gov.it stesso), il catalogo mostrato fino a febbraio 2017 era lo stesso mostrato a fine settembre 2015. (se non è esatto, correggetemi pure, mi piacerebbe aver preso un abbaglio)
Ma ci torniamo nel secondo punto, fidatevi.
Perché se qualche dettaglio può essere risolto facilmente con segnalazioni dirette, come avevo fatto nel caso del link errato del flusso RSS, altri elementi sono più complicati di così.
@DatiGovIT il flusso #RSS https://t.co/ACCd4EHnmR contiene solo alcuni elementi del 2011 e del 2012 invece di https://t.co/2zCIEDQgtm #Bug
— Matteo Brunati (@dagoneye) March 15, 2017
Quale posizionamento per dati.gov.it
Nel giro di qualche giorno dal lancio del 7 marzo, sono stati pubblicati diversi rilanci, che partivano dal comunicato stampa ufficiale.
Qualcuno ne ha scritto riprendendo solo il lancio stampa, mentre gli amici dell’associazione Ondata ne hanno dato una lettura più critica fin da subito, con proposte e segnalazioni molto costruttive.
Il punto principale che mi aveva amareggiato era questo:
Licenze
Un portale dei dati aperti dovrebbe contenere soltanto dati con licenze aperte, mentre attualmente ci sono dataset con clausola “Non commerciale”. A nostro giudizio questi dati andrebbero rimossi dal portale, a meno che non vengano rilasciati sotto licenze open dai rispettivi titolari.
Questo commento di gruppo è stato condiviso come discussione in lista SOD ma è stato pubblicato anche nel nuovo forum pubblico sui dati gestito dal Team Digitale.
E qui ha creato una prima reazione positiva: il Team Digitale e tutti gli interessati hanno capito il valore del commento, critico ma costruttivo e hanno deciso che serviva un luogo nuovo per gestire questo tipo di scambio tra le parti.
Lo stimolo ha aiutato a rendere ufficiali le segnalazioni su GitHub nel repo dedicato a datigovit come luogo e come strumento deputati alla gestione di queste problematiche. Punto sicuramente a favore della nuova gestione del Team Digitale.
A quel punto, ho indossato il cappello da cittadino attivo e ho dato una mano, anche perché conosco molte delle persone dietro dati.gov.it e non volevo essere frainteso, pur essendo un po’ deluso dal modo e dalla gestione di dati.gov.it avuta nel corso degli anni.
Ho preso a cuore la questione licenze e ho pubblicato questa issue:
Pur avendo aspettato un mese circa (dal 10 marzo al 5 aprile), il bug dato dalla presenza di dati non Open Data nel portale ufficiale degli Open Data non era ancora stato gestito. Dopo la segnalazione degli amici di OnData, ho deciso di attivarmi personalmente, almeno per il Veneto (grazie anche alla pazienza di Gigi Cogo) - una delle due fonti che aveva inserito licenze errate ad alcuni dataset che poi venivano visualizzati in dati.gov.it come Open Data.
Un bug è un bug: significa che lo devi risolvere il prima possibile, anche perché altrimenti si continua ad alimentare l’idea sbagliata che Open Data != riuso commerciale (!= significa diverso).
Nel 2017 non possiamo tollerare ancora errori del genere.
Perché se si continua a gestire questo elemento cardine dell’ecosistema Open Data italiano (sto parlando di dati.gov.it) come è stato fatto nel passato, l’Open Data non sarà mai infrastruttura e non avrà mai pari dignità di un servizio di pubblica utilità. Rimarrà un hobby da attivisti o una scusa per qualche lavoro di consulenza per qualche no profit o una piccola squadra di professionisti.
Avremo perso l’occasione per creare economia e posti di lavoro: tranne qualche rara eccezione, non si può parlare di un vero impatto economico sulla scala nazionale dovuto agli Open Data, anche per questi motivi probabilmente. Ma non solo.
La gestione tecnica dello sviluppo
Riprendiamo il mancato aggiornamento dei dati presenti in dati.gov.it da fine settembre 2015 ai primi di marzo 2017, che pochi hanno ripreso nei media, purtroppo.
L’immagine che si vede qui sopra è l’istantanea del 15 ottobre 2015 della home page di dati.gov.it (via archive.org), mentre quella qui sotto mostra l’istantanea del 28 gennaio 2017 (sempre via archive.org).
Non è una bella storia, questa.
Ecco perché subito dopo il lancio del nuovo design del sito, sono stato molto deluso. Pur avendo avuto un aggiornamento importante, il punto di riferimento istituzionale continua a trascurare dettagli fondamentali, che mettono in crisi tutto l’ecosistema potenziale del riuso degli Open Data.
Ne minano la credibilità e ne bloccano il potenziale.
Ho capito che scriverne non sarebbe bastato, specie perché sarebbe stato interpretato come voglia di fare polemica e basta. Ma questo stato di cose ha bisogno di essere compreso, ha bisogno di una maggior consapevolezza diffusa. Soltanto così, possiamo chiedere e pretendere un cambio di rotta nella gestione.
I primi giorni di aprile mi sono imbattuto in quest’infografica:
EU = Peace in Europe
— ian bremmer (@ianbremmer) 27 marzo 2017
Still, was trending that way already.
Excepting a couple World Wars. pic.twitter.com/ejkezdHf2p
Ho pensato fosse molto chiara per esprimere quello che serviva, così ho rielaborato l’idea e realizzato questo schema:
Dopo aver chiesto feedback ad alcuni amici, ci siamo resi conto che alcune informazioni non risultavano molto chiare: a quel punto ci hanno messo le mani direttamente loro (avevo pubblicato i sorgenti in GitHub) e il risultato finale del lavoro collettivo è stato questo:
La parte in rosso identifica l’intervallo temporale in cui il portale dati.gov.it non è stato aggiornato.
Queste immagini e il sorgente (ho usato Inkscape) sono pubblicati e condivisi in un repository Github all’interno di Spaghetti Open Data: siete liberi di usarli come meglio credete.
L’ultimo aggiornamento del sito dati.gov.it dei primi di giugno 2015 me lo ricordo bene, perché lo avevamo pure inserito tra gli elementi positivi della terza edizione dell’Open Data Barometer (ero peer reviewer di quella edizione). Detto questo, non posso considerarla certo una vittoria, quella di aver sistemato finalmente l’aggregazione, rimasta in uno stato imbarazzante per tutto quel tempo. Questa mancanza ha creato sicuramente un danno all’intero ecosistema degli Open Data.
Cosa ancor più grave: non c’era in tutto quel periodo nessun banner e nessun avvertimento che aiutasse il visitatore di dati.gov.it a capire la situazione.
Posso solo immaginare quello che avranno pensato sugli Open Data quei visitatori e quelle aziende che volevano capirne di più, avendo intuito il potenziale, ma visto quel reale rappresentato dai dati presenti su dati.gov.it molto deludente.
Ecco il senso di lavorare all’infografica: è in grado di comunicare con maggior intensità un problema che non deve più ripresentarsi.
Quello che vorrei è questo: se vengono rilevati problemi di aggiornamento e di aggregazione dei dati, si deve avvertire la persona che naviga nel sito con una qualche forma di notifica. Deve saperlo, così può cercare quel dato direttamente alla fonte, dove probabilmente sarà aggiornato. Il sito dati.gov.it non è un sito test e non sta girando in un ambiente di sviluppo.
I consigli e le domande poste in merito al processo di aggregazione e aggiornamento dei dati che sono state pubblicate come segnalazioni in GitHub rientrano in questa volontà di miglioramento, così come la necessità di avere delle date pubbliche e condivise in merito all’harvesting, per capire quando è stato aggiornato il catalogo l’ultima volta in maniera certa.
Date le premesse, potrebbe essere il minimo per ricostruire la fiducia nello strumento.
Quale futuro per dati.gov.it è previsto nel piano triennale?
E qui torniamo a parlare di posizionamento.
Perché se nella issue aperta sul tema che ho citato poco sopra, avevo chiesto:
Se invece, come si è detto da ormai un anno, dati.gov.it dovrebbe diventare il catalogo dei dati pubblici sia Open che non, utile forse ad aggregare la domanda di apertura di dati non ancora disponibili come Open Data, è necessario riposizionare il brand, integrare e aggiornare le descrizioni/about/etc.. presenti già oggi nel sito stesso. E magari pensare a sezioni dedicati per evitare inutili confusioni.
In un primo momento sembra che dati.gov.it ospiti davvero solo Open Gov Data, poi si scopre che nel nuovo piano triennale, nella sezione sugli Open Data si dice:
AgID, in collaborazione con il Team digitale, provvederà all’evoluzione dell’attuale catalogo dati.gov.it come spazio dedicato a:
- documentare sia dati aperti sia basi di dati delle PA;
- mostrare il livello di adeguamento delle PA al profilo di metadatazione DCAT-AP_IT [52];
- monitorare lo stato di avanzamento del processo di apertura dei dati della PA, gli aspetti di qualità e il riutilizzo dei dati;
- visualizzare i dati con strumenti di data visualization;
- facilitare l’interrogazione dei dati via API, al fine di supportare lo sviluppo di applicazioni e servizi;
- condividere modelli di dati comuni;
- condividere principi e best practice relativi al dato e alla sua gestione.
Il catalogo inoltre rappresenterà l’unico punto di accesso nazionale per l’interazione con analoghe iniziative europee in materia di dati.
Il progetto di sviluppo di dati.gov.it sarà reso aperto, disponibile su repository pubblico al fine di fornire una piattaforma di default pronta per il riuso da parte delle PA.
Il grassetto è mio.
“documentare sia dati aperti sia basi di dati delle PA” significa che in qualche modo si desidera continuare la strategia introdotta un anno e rotti fa a parole. dati.gov.it conterrà sia gli Open Data che le basi di dati della PA. A questo punto è ufficiale.
Anche se non mi è del tutto chiaro.
Su questo aggiungo un’altra perplessità: siamo sicuri che non ci saranno anche Open Community Data oltre a Open Government Data? Non lo dico a caso, perché in realtà è già così: nel sito dati.gov.it ci sono i dati creati e gestiti dal progetto di civic hacking TerremotoCentroItalia
Ovviamente è importante aver riconosciuto l’importanza di quel progetto e di quei dati: lo è altrettanto costruire quella cornice coerente che faccia da riferimento per il cittadino, per l’azienda e per tutti quelli che non conoscono il mondo degli Open Data, documentando e spiegando le differenze e i motivi della presenza di quei dati oggi, di altri un domani.
Quei dati sono Open Community Data, infatti.
So che l’inserimento di quei dati dipende dall’aver aggregato i dati di regione Toscana, che a sua volta aveva aggiunto TerremotoCentroItalia nelle organizzazioni censite, come raccontava tempo fa anche Matteo Tempestini, che riprendo:
Ma soprattutto significa che un progetto di iniziativa civica può produrre dati utili alle pubbliche amministrazioni e che le pubbliche amministrazioni possono aggregare dati istituzionali assieme ad altri dati provenienti da fonti diverse (cittadini, associazioni, aziende).
Pensate se tutte le “entità coinvolte nel terremoto” producessero dati e informazioni e tutte queste informazioni fossero aggregate da pubbliche amministrazioni (regioni, comuni, governo) quanto sapremmo tutti di più su questa vicenda.
Questo è il valore di questa bell’operazione di sinergia tra istituzioni e un’esperienza civica, che ci sta insegnando moltissimo anche sotto questi aspetti.
In conclusione due consigli non richiesti, che condividerò nelle sedi opportune a questo punto (ci sono le segnalazioni su GitHub e il nuovo forum sul piano triennale, oltre al forum sui dati lanciato fin dall’inizio del 2017 dal Team Digitale):
- serve lavorare alla comunicazione di quest’ultimo passaggio evolutivo, non si può trattare come semplice aggiornamento tecnico, è molto più di un tecnicismo. Sia per la coerenza del messaggio, che per il ruolo dell’attore istituzionale rispetto alle comunità di addetti ai lavori e dei cittadini e dell’intera filiera legata ai dati pubblici;
- è necessario gestire il presente di dati.gov.it come un vero e proprio sito in produzione, (lo è) non come un sito di test. La direzione intrapresa negli ultimi mesi sembra aver introdotto delle modifiche nella gestione e nella governance interessanti: è importante continuare in questo percorso.