applicazione open source per analisi e visualizzazione degli open data Eurostat

by Tommaso Rossi on 3 Febbraio 2016

La disponibilità crescente di open data ben organizzati permette di creare nuovi prodotti e nuovi servizi: una delle fonti maggiormente interessanti da questo punto di vista è quella di Eurostat. Eurostat infatti permette l’accesso automatizzato ai suoi dati tramite varie modalità fra cui un interfaccia specifica (api SDMX) che il download diretto dei dataset completi (Bulk download)

Partendo dalla seconda modalità di accesso I laboratori di Rs Innova hanno realizzato un applicazione lato server denominata app.retesviluppo.it che permette di importare automaticamente i 6000 dataset presenti in Eurostat all’interno del sistema e di creare un workflow (gestito dalla librerie python Flask e Pandas) che li arricchisce con statistiche e classifiche. Come ulteriore output viene generata in tempo reale una mappa interattiva (tecnologia Leafletjs) e una tabella filtrabile.

I dati sono poi scaricabili in formato geojson, compatibile con i più importanti software e servizi gis di visualizzazione dei dati (come ad esempio CartoDB)

L’applicazione è già stata utilizzata con successo da alcune associazioni no – profit come Data Reporter che l’ha utilizzata per arricchire di contenuti e di mappe il proprio quotidiano ildatoquotidiano, testata giornalistica data driven che utilizza open data come fonte principale dei propri articoli.

E’ possibile contribuire al progetto accedendo al nostro repository git, o inviando suggerimenti e segnalazioni a scarselli@retesviluppo.it. Retesviluppo fornisce supporto per la creazione di workflow / cruscotti ad hoc per esigenze specifiche di soggetti pubblici e privati (link)

E’ possibile fare Open Notebook Science a costo zero?

by Tommaso Rossi on 2 Ottobre 2015

La Open Notebook Science è la pratica di rendere disponibili i dati e le procedure utilizzate in un progetto di ricerca, rendendo questi disponibili on-line a chiunque desideri analizzarli o riprodurli.

Al giorno d’oggi i costi per produrre un output compatibile con i principi della Open Notebook Science si sono ridotti in modo importante ed è possibile cimentarsi in questo nuovo modo di fare ricerca: in molti casi è un azione a costo zero e vi è il vantaggio di poter condividere in tempo reale il proprio lavoro e di ricevere feedback e integrazioni. Questo dovrebbe essere un importante incentivo ad utilizzare questo standard. Astronomia, Fisica, Scienze Naturali hanno già imboccato questa strada e non vi sono motivi per cui le scienze sociali debbano rimanere indietro. Anzi vi è sempre maggiore bisogno di trasparenza e condivisione per legittimare (o rilegittimare) scienze come economia e sociologia davanti alle comunità scientifiche e all’opinione pubblica.

La possibilità di questa rivoluzione è data da strumenti e paradigmi provenienti dal mondo dell’open source. In questo articolo vi raccontiamo tre strumenti che utilizziamo con profitto nelle nostre ricerche

linguaggi di programmazione / scripting open source e librerie statistiche certificate dalla comunità scientifica
un linguaggio di markdown per condividere in modo ordinato e documentato l’output della ricerca
sistemi di controllo di versione e di hosting di codice su web / GitHub

1. linguaggi di programmazione / scripting e librerie statistiche

Per fare ricerca è importante appoggiarsi a software verificati e testati dalla comunità scientifica, così da non incorrere in errori di calcolo. Nei linguaggi R e Python sono state prodotte svariate librerie statistiche di elevata qualità frutto del lavoro congiunto di ricercatori, imprese e centri di ricerca. reteSviluppo utilizza nelle ricerche più avanzate il framework python denominato Scipy ( http://www.scipy.org/ )

2. un linguaggio di markdown per condividere in modo ordinato e documentato l’output della ricerca.

Jupyter è un software che permette di rappresentare e documentare con testo, grafici e tabelle l’elaborazioni ( https://jupyter.org/ ): supporta ad oggi 40 linguaggi di programmazione, inclusi i più polari nella ricerca scientifica come Python, R, Julia e Scala.

3. sistemi di controllo di versione e hosting di codice su web

I sistemi di controllo di versione permettono di lavorare contemporaneamente ad un progetto di ricerca da parte di più ricercatori. Il sistema tiente conto delle modifiche che vengono inviati dai vari ricercatori e le modifiche possono essere confermate od annullate dal capo della ricerca.

Inoltre diventa facile trasferire tutto su web, su piattaforme come GitHub, permettendo la collaborazione di ricercatori enterni al gruppo di ricerca.

OPEN DATA – La grande rivoluzione

by Tommaso Rossi on 22 Marzo 2015

Prendiamo tutti gli abitanti di Firenze. Immaginiamo di poter disporre liberamente dei dati relativi alla loro biografia sanitaria: quante radiografie o ecografie hanno effettuato in un mese. Quanto hanno speso. Quanto è stata lunga la loro attesa in ogni ospedale per ogni singola cura. Poi liberare questi dati online (ovviamente rispettando la privacy). Mettere il cittadino nella condizione di potersi orientare nella struttura più adatta alle proprie esigenze e il sistema sanitario di intervenire dove c’è maggiore bisogno, in modo chirurgico.

Oppure immaginiamo di conoscere in diretta quanti operai sono coinvolti nei cantieri della tramvia. Quali sono i tempi di avanzamento e poter confrontare l’opera con i progetti di Nizza o di Strasburgo. In una parola open data. Ogni ente locale mette a disposizione il suo patrimonio informativo e lo restituisce alla comunità. Il risultato: un’istantanea dell’effetto delle politiche sul territorio.

Immaginiamo. Perché oggi, purtroppo non è (ancora) così. La colpa è di quella trasparenza che manca. Oppure di valanghe di numeri gettati in Rete e travestiti da trasparenza. Le Pa troppo spesso rovesciano sul web il contenuto dei propri cassetti, lasciando al cittadino il compito di fare ordine e mettere insieme le tessere del puzzle.

Al CNR di Pisa a marzo è stato presentato il progetto ODINet. Cos’è? Un «Google dei dati», una piattaforma che aggrega e rende accessibili i miliardi di dati pubblicati ogni giorno in Rete da imprese e Pa. Nel team di ricerca che lo ha progettato e ideato c’è anche reteSviluppo, unica azienda fiorentina ad aver dato il proprio contributo a questo strumento.

Nel 2015 il numero dei file aperti pubblicati online dagli enti pubblici è arrivato a quota 14mila. Un oceano, pieno di informazioni sporadiche e spesso non aggiornate. Il rischio è che il cittadino ci anneghi dentro. Serve un faro: l’azione di filtraggio e indirizzamento svolto dall’amministrazione.

Le elezioni regionali sono dietro l’angolo. L’obiettivo deve essere una rivoluzione. Di quelle vere. Fra le priorità della nuova Toscana che uscirà dal voto dovrà essere predicata e messa in pratica la religione civile della trasparenza. Non basta rendere accessibili i dati. Serve un’azione di narrazione, indirizzo e guida in un mare magnum dove oggi siamo tutti pescatori solitari.

Perché un cittadino informato è un cittadino sovrano e partecipe. La posta in palio è troppo alta per sbagliare. Open data significa: ospedali più efficienti, inquinamento sotto controllo, politica più trasparente. E un potere di controllo in chiave anticorruzione. Grandi Opere incluse.

Open Data: un progetto di innovazione dalla Toscana

by Tommaso Rossi on 8 Maggio 2013

reteSviluppo partecipa al progetto ‘ODINet’ approvato a dicembre 2012 dalla Regione Toscana nel bando POR “Programma CreO FESR 2007-2013”.

Il progetto rientra all’interno del vasto movimento degli Open Data, che in Italia ha avuto una notevole accelerazione negli ultimi tempi anche grazie alle novità normative introdotte – Legge 17 dicembre 2012 n.221, cd. Open Data by default – grazie alle quali, dal 19 marzo 2013, tutti i dati e documenti che le pubbliche amministrazioni pubblicano con qualsiasi modalità, senza l’espressa adozione di una licenza d’uso, si intendono rilasciati come dati aperti. È perciò probabile che nei prossimi anni il web fornirà una sempre crescente disponibilità di dati ed informazioni, con relativi problemi legati alla loro fruizione in ragione della diversità di formati, protocolli, metodologie e infrastrutture tecnologiche.

Il progetto ODINet prevede lo sviluppo di metodologie ed interfacce standard di accesso diretto ai dati online in modo integrato e federato, e si propone di sviluppare nuovi metodi di interrogazione e caratterizzazione dei dati nel web, per mezzo di tecniche di analisi e classificazione inerenti le reti sociali, sfruttando i collegamenti tematici, geografici, telematici e sociali insiti nei dati.

Le principali ricadute positive del progetto riguarderanno la Pubblica Amministrazione, gli enti produttori di dati, i cittadini, le aziende e la comunità scientifica. ODINet infatti si propone di sviluppare strumenti in grado di rendere maggiormente fruibili dati ed informazioni oggi caratterizzati da frammentarietà ed estrema dispersione, elementi di forte ostacolo agli obiettivi di maggiore trasparenza ed efficienza che le pubbliche amministrazioni intendono perseguire anche grazie alla diffusione di dati liberi. Open Data non è solo sinonimo di trasparenza della PA, ma può rappresentare anche un importante vettore di sviluppo economico in un contesto globale in cui l’informazione sta diventando uno dei beni più ricercati dagli attori economici.

L’ambizioso obiettivo del progetto – che oltre a reteSviluppo vede la partecipazione di Sistemi Territoriali S.r.l. (capofila), Simurg Ricerche S.N.C., Istituto di Fisiologia Clinica CNR Pisa e CQR S.r.l. – è quello di distinguersi dalla “concorrenza” internazionale e migliorare uno strumento open source (StatPortal Open Data) ed un portale (DatiOpen.it) interamente “made in Italy” che possano essere dei nuovi punti di riferimento in quanto ad innovazione, integrazione, analisi e visualizzazione dei dati.

Maggiori informazioni sono presenti sul portale del progetto ODINet

applicazione open source per analisi e visualizzazione degli open data Eurostat

E’ possibile fare Open Notebook Science a costo zero?

OPEN DATA – La grande rivoluzione

Open Data: un progetto di innovazione dalla Toscana

reteSviluppo partecipa al progetto ‘ODINet’ approvato a dicembre 2012 dalla Regione Toscana nel bando POR “Programma CreO FESR 2007-2013”.

Cerca sul sito

Social