Otvorené dáta Štatistického úradu SR Vypracoval: Ing. Branislav Neborásek Odbor: Súborných publikácii a prezentačných technológií
Počet zverejnených datasetov: Kľúčové ukazovatele = 97 606 datasetov za ŠÚ SR Počet zverejnených datasetov: Kľúčové ukazovatele = 97 Údaje za SODB 2011 = 60 Výsledky volieb = 214 Štatistické klasifikácie = 24 Štatistické číselníky = 197 Infostat = 11 Aktualizácia údajov Otvorené dáta Štatistického úradu SR
606 datasetov za ŠÚ SR – zdroj údajov Kľúčové ukazovatele – 97 datasetov Údaje za SODB 2011 – 60 datasetov Zdroj údajov: http://udaje.statistics.sk/statdat/ http://datacube.statistics.sk/SODB/ http://datacube.statistics.sk/TM1WebSK/ DATAcube. Otvorené dáta Štatistického úradu SR
606 datasetov za ŠÚ SR – zdroj údajov Výsledky volieb – 214 datasetov Voľby do Národnej rady Slovenskej republiky Voľba prezidenta Slovenskej republiky Voľby do orgánov samosprávnych krajov Voľby do orgánov samosprávy obcí Voľby do Európskeho parlamentu Referendá Zdroj údajov: http://volby.statistics.sk/ Historické údaje za voľby Otvorené dáta Štatistického úradu SR
606 datasetov za ŠÚ SR – zdroj údajov Štatistické klasifikácie – 24 datasetov Štatistické číselníky – 197 datasetov Zdroj údajov: https://slovak.statistics.sk/wps/portal/ext/metadata/classifications/ https://slovak.statistics.sk/wps/portal/ext/metadata/dials/ Portál ŠÚ SR Otvorené dáta Štatistického úradu SR
Prečo je ŠÚ SR lídrom? 606 datasetov za ŠÚ SR Otvorené dáta Štatistického úradu SR
Legislatíva – ŠÍRENIE ŠTATISTICKÝCH INFORMÁCIÍ Zákon 540/2001 o štátnej štatistike § 8 definuje pôsobnosť úradu riadi, usmerňuje a dohliada na zber a spracovanie štatistických údajov ... vytvára, zverejňuje a ... štatistické klasifikácie, číselníky a registre, zverejňuje výsledky štatistických zisťovaní ... poskytuje štatistické informácie a vydáva štatistické publikácie, PIATA ČASŤ – ŠÍRENIE ŠTATISTICKÝCH INFORMÁCIÍ § 29 a 30 Povinnosť mlčanlivosti a ochrana dôverných štatistických údajov § 31 Poskytovanie štatistických informácií Novela 298/2010 Z.z. Opora v zákone Otvorené dáta Štatistického úradu SR
Legislatívna – ochrana dôverných štatistických údajov Nariadenie európskeho parlamentu a rady (ES) č. 223/2009 Zákon 540/2001 o štátnej štatistik § 2 Vymedzenie základných pojmov f) dôverným štatistickým údajom je údaj týkajúci sa jednotlivej spravodajskej jednotky, ktorý umožňuje jej priamu identifikáciu alebo nepriamu identifikáciu a ktorý bol získaný na štatistické účely podľa tohto zákona, pričom PIATA ČASŤ – ŠÍRENIE ŠTATISTICKÝCH INFORMÁCIÍ § 30 písmeno (1 - 7) Dôverné štatistické údaje sa nesmú bez súhlasu právnických osôb alebo fyzických osôb, ktoré ich poskytli a ktorých sa týkajú, zverejňovať ani komukoľvek oznamovať, ani použiť na iné než štatistické účely. Opora v zákone Otvorené dáta Štatistického úradu SR
Jednotné a technologicky kompatibilné prostredie IŠIS – Integrovaný štatistický informačný systém Šírenie štatistických informácii: IBM WebSphere Portal v7.0, IBM Cognos Business Intelligence v10.1, IBM Cognos BI – reporty, jobs, IBM Cognos TM1 Web – on-line analýzy cez kocky, Integrované API (Java aplikácie web METIS). Otvorené dáta Štatistického úradu SR
IŠIS – Integrovaný štatistický informačný systém Komplexná integrácia systémov Jednotný užívateľský interface Rovnaké technologické prostredie Portál Štatistického úradu Jednotná VBD IBM Cognos Obsah portálu eZber eForm, Java WCM portal IBM WebSphere Portal Disem. metadát Voľby El. služby Java Java Java Otvorené dáta Štatistického úradu SR
Personálne a organizačné zabezpečenie úloh pre Otvorené dáta Open data tím: Neborásek - Riadenie / kontrola Gonšor - Technická podpora - automatizácia Bachňová - Editor, výkonný správca datasetov na https://data.gov.sk/ Otvorené dáta Štatistického úradu SR
Možnosti ďalšieho rozvoja pre Otvorené dáta DATAcube. (IBM Cognos TM1 web): 560 – multidimenzionálných kociek 600 – kociek pripravených na migráciu zo Slovstatu Kľúčové ukazovatele – 97 datasetov DATAcube. – štatistika návštevnosti Relácie 713 Používatelia 336 Zobrazenia stránky 4 189 denne
Limity súčasného riešenia - DATAcube. (IBM Cognos TM1 web) Cube view - otváranie kociek cez URL príkaz = ÁNO ALE spustiť automatizovaný export do *.XLS = NIE http://datacube.statistics.sk/TM1WebSK/TM1Webmain.aspx?action=OpenObject&type=Cubeviewer&value=nu3002rr$$Region%C3%A1lny%20hrub%C3%BD%20dom%C3%A1ci%20produkt%20na%20obyvate%C4%BEa%20%28v%20be%C5%BEn%C3%BDch%20cen%C3%A1ch%29%20%5Bnu3002rr%5D$$PUBLIC
Limity súčasného riešenia DATAcube. (IBM Cognos TM1 web): v súčasnosti = 560 kociek / plán na rok 2017 = 1200 kociek z 560 kociek zdieľame 97 kociek ako dataset IBM Cognos – report studio: automatizovaný export 97 kociek do CSV, XLS, XML trvá = 25 min. priemerná veľkosť 1 kocky je 150 kB export jednej kocky o objeme 50 MB = 120 MB vo formáte CSV trvá = 35 min. export do XML a XLS skončil neúspešne v databáze mám cca 50 kociek väčších od 20 MB až po max. 550 MB Ako zabezpečiť export zostávajúcich 400 kociek? Otvorené dáta Štatistického úradu SR
Možnosti Riešenia cez do vývoj Pri dovývoji využiť overenú funkčnosť produktov IBM: TM1 architect – čistý export dát z kociek do *.CMA cez procesing Report studio – export dimenzii k dátovým *.CMA súborom
Cieľ Dovývoja – strojovo spracovateľné údaje Dátový súbor Dimenzie pre dátový súbor
Výzvy na najbližšie obdobie Zlepšenie kvality datasetov – strojovo spracovateľné Oprava volebných historických dát zmysle štandardov ISVS Zverejnenie ďalších najžiadanejších datasetov z oblasti štatistiky Nájsť možnosti ďalšieho dovývoja pre zabezpečenie automatizovaného exportu cca 400 kociek z DATAcube. Udržať si miesto Lídra Open dát za SR mať viac ako 1 000 datasetov Otvorené dáta Štatistického úradu SR
Ďakujem za pozornosť. Záver, otázky Ing. Branislav Neborásek E-mail: branislav.neborasek@statistics.sk www.statistics.sk Otvorené dáta Štatistického úradu SR