METAPODATKI V STATISTIKI

METAPODATKI V STATISTIKI Statistični metapodatki, mikropodatki in makropodatki Uporabniki metapodatkov Dva pristopa operacionalizacije koncepta statističnih metapodatkov BLS&CB Sundgren Razvoj metastatističnih sistemov Eurostat SURS Mednarodne iniciative Literatura in viri

KAJ SO STATISTIČNI METAPODATKI Statistični metapodatki so podatki o statističnih podatkih. Metapodatki informirajo o podatkih in procesih, povezanih s proizvodnjo in uporabo podatkov. Metapodatki opisujejo statistične podatke in (v določenem obsegu) procese in orodja proizvodnje in uporabe podatkov. (Guidelines for Modelling of Statistical data and Metadata, UNECE, 1995)

KAJ SO STATISTIČNI METAPODATKI Statistični metapodatki so opisne informacije ali dokumentacija o statističnih podatkih, to je o mikropodatkih, makro podatkih in drugih metapodatkih. Statistični metapodatki omogočajo vzajemno uporabo, iskanje in razumevanje statističnih podatkov v celotnem razvojnem ciklu podatkov. (BLS, 1999)

KAJ SO MIKRO IN MAKRO STATISTIČNI PODATKI Statistični mikropodatki so podatki, zbrani z opazovanjem individualnega objekta – statistične enote. Statistični makropodatki so podatki, pridobljeni z agregiranjem mikropodatkov v skladu s statistično metodologijo. (Terminology on Statistical Metadata, UNECE; 2000)

KDO POTREBUJE METASTATIČNE PODATKE Uporabniki (raziskovalci, analitiki, učitelji in študentje, borzni posredniki, državljani, novinarji, politiki, svetovalci ministru…) Producenti statistike Heterogenost in konfliktnost potreb

METADISEMINACIJSKI MODEL OECD Tabele z naslovi in opombami Pojasnila v statističnih publikacijah Viri in definicije metapodatkov Viri in metode metapodatkov (Eurostat, OECD,ILO) Metapodatki nacionalnih statističnih uradov

KDO POTREBUJE METASTATISTIČNE PODATKE Uporabniki statistike, da: identificirajo potencialno relevantne podatke za preučevani problem; presodijo dejansko ustreznost potencialno relevantnih podatkov; identificirajo vir uporabnih podatkov poiščejo podatke; interpretirajo podatke; obdelajo in analizirajo podatke.

KDO POTREBUJE METASTATISTIČNE PODATKE ‘Producenti’statističnih podatkov za: vzdrževanje in revidiranje postopkov; kontrolo proces ‘proizvodnje’; za izobraževanje in usposabljanje; za evalvacijo obstoječih postopkov; načrtovanje novih raziskovanj ob upoštevanju obstoječega znanja.

Kako opredeliti potrebne metastatistične podatke in kako jih organizirati Dva pristopa: BLS in CB Sundgren (Švedska).

BLS &CB Potrebne metatatistične podatke je mogoče definirati z raziskavami o potrebah uporabnikov in raziskovanjem vsebine. Raziskovanje potreb uporabnikov: Študije obnašanja uporabnikov (pri uporabi spletnih strani BLS; CPS; FedStat) Testi uporabnosti (evalvacije in pilotske uporabe, videoposnetki, simuliranje idealne strani) Kognitivne študije (analiza uporabe posameznih orodij s pomočjo računalniško lingvističnih metod; študija minimalnega nabora metapodatkov za oceno uporabnosti posameznega raziskovanja).

BLS &CB Raziskovanje vsebine in organizacije statističnih metapodatkov. Izhodišče : Poslovni podatkovni model (opis dejavnosti statistične agencije- izvedba raziskovanj); Osnovni podatkovni model (upravljanje z imeni, definicijami, vrednostmi atributov…); Pregled vsebine (opis posameznih faz v izvedbi raziskovanja); Na osnovi obeh podatkovnih modelov razvijajo CMR (Corporate Statistical Repository).

Standardi v CMR ISO/IEC 11179 – Specification and standardisation of data elements (koncepti, opisi postopkov klasificiranja, opis atributov, pravila in postopki za oblikovanje definicij, poimenovanj, regitriranjw objektov); XML – Extended Markup Language; ISO/IEC 15046 – Geographic Information.

RAZVOJNI IZZIVI CMR: UPRAVLJANJE IN KVALITETA METAPODATKOV Kaj je potrebno za resnično razumevanje semantične vsebine objektov (enot opazovanja); definicije ne zadoščajo; Kvaliteta metapodatkov:

SUNDGRENOV PRISTOP Izhodišča: Celovita in podrobna obravnava statističnega procesa; Informacijska teorija. Problem kompleksnosti in terminologije

Izvedbene faze statističnega raziskovanja NAVODILA OKVIR VPRAŠALNIK ZBIRANJE PODATKOV VHODNI PODATKI BAZA META PODATKOV OBDELAVA PODATKOV ZDRUŽEVANJE IN KONTROLA KONČNI PODATKI OCENE IN ANALIZE IZVEDENI PODATKI KONČNI REZULTATI DISEMINACIJA ARHIVIRANJE TISKANE PUBLIKACIJE ELEKTRONSKI DOKUMENTI ELEKTRONSKI PROIZVODI Vir: Prirejeno po UN, Statistical Standards and Studies, No. 51

Metapodatki: Opisujejo različne vidike kvalitete statističnih podatkov: Vsebino (z opisovanjem definicij ‘objektov’, populacij, spremenljivk) relevantnost – vidik relevantnosti; Točnost (opisovanje razlik med opazovano/ocenjeno in pravo vrednostjo ‘statističnih značilnosti’; Dostopnost (kateri podatki so dostopni, kje in kako).

METAPODATKI KOT OSNOVA ZA PRESOJO KVALITETE Izhodišče: tri konceptualne ravni statističnih parametrov: L1: Idealna vrednost L2: Iskana vrednost L3: Dejanska vrednost L1 – L2:’Relevance discrepance’ - presoja uporabnika na osnovi vsebinskih metapodatkov ; Quality Declaration of Statistical Data (glej prilogo); L2 - L3: ‘Accuracy discrepance’ - ocena statistike.

METAPODATKI ZA UPORABNIKE Quality Declaration of Statistical Data Globalni (splošni) metapodatki in splošno znanje Opisi makropodatkov Vsebinske sheme in kazala Indeksi Tezavri.

METAPODATKI ZA STATISTIKO Specifični podatki za posamezna raziskovanja; Splošni podatki in splošno znanje; Povratne informacije uporabnikov; Metapodatki, povezani s softverom (zapisi, format, šifre, algoritmi).

vloga metapodatkov v statističnem procesu (glej prilogi).

RAZVOJ META OKOLJA - EUROSTAT ZBIRANJE OBDELAVA BAZE DISEMINACIJA NEW CRONOS P1 P2 Pn COMEXT KLASIFIKACIJE SLOVARJI KONCEPTI BESEDILA TEZAVRI SKLADIŠČE METAPODATKOV

Meta okolje za raven uporabnika Access to data via menus, keywords, publications through the metaservers THESEUS semantične skupine ključne besede sinonimi hierarhične in asociativne povezave RAMON (KLASIFIKACIJE) opis klasifikacij korespondenčne tabele veljavnost TEKSTOVNO SKLADIŠČE tipologija besedil elementi standardni formati CODED Koncepti in definicije PODATKI

SURS: RAZVOJ METAINFORMACIJSKEGA SISTEMA Začetki 1997; Konceptualno izhodišče: Sundgrenov pristop; Razvoj v okviru STATCOP98; Glej prilogi.

SDMX- STATISTICAL DATA NAD METADATA EXCHANGE Cilj projekta: razvoj e-standardov pri izmenjavi podatkov. Partnerji: ECB, Eurostat, IMF, UN, OECD, BIS. Podprojekti: Študija primera e-standardov (Statistika zunanjega dolga); Razvoj standardov za izmenjavo podatkov o časovnih serijah; Skupni slovar metapodatkov; Repositorij metapodatkov.

LITERATURA IN VIRI Eurostat: Workshop on Metadata Production and Exchange, 2003 CIRCA Group on Metadata UNECE Standards on Metadata Sundgren Bo: Documentation and Quality in Official Statistics; Conference on Quality in Official Statistics, Stockholm, 2001. Metadata Production System: Statistical Office of the Republc Slovenia. Workshop on Metadata. Eurostat, 2003.

LITERATURA IN VIRI OECD Experience in the Coordination by International Agencies of Collection and Dissemination of Metadata for Interpretatiom and Evaluation of Data. CES, Work Session on Statistical Metadata, November 2000. The role of Metadata in Statistics. CES, Work Session on Statistical Metadata, September 1999.

METASTATISTIČNI PODATKI IN INTERNET

STATISTIČNI METAPODATKI IN INTERNET Nekatere značilnosti; Funkcije statističnih metapodatkov na internetu Metapodatki za iskanje in navigacijo Metapodatki za interpretacijo Metapodatki za prenos in obdelavo podatkov; Predstavitev spletnih strani najpomembnejših ponudnikov statističnih podatkov; Literatura in viri.

STATISTIČNI METAPODATKI IN INTERNET – NEKATERE ZNAČILNOSTI Obilje podatkov, navigacija in dostopnost. Možnost povezovanja podatkov; transparentnost podatkov in razkrivanje nekonsistentnosti. Osveževanje. Uporabniki – številni in heterogeni (slučajni obiskovalci; splošni uporabniki; strokovni uporabniki; ekspertni uporabniki). Kriteriji kvalitete spletne strani (prihodki od spletne prodaje, stroški diseminacije, število in pogostnost obiskov, število povratnih informacij, aktivna uporaba). Poudarjena vloga metapodatkov.

FUNKCIJE STATISTIČNIH METAPODATKOV NA INTERNETU Izboljšati diseminacijo (iskanje in navigacija). Omogočiti konsistentno interpretacijo statističnih podatkov iz različnih virov. Omogočiti prenos in korektno obdelavo (uporabo) podatkov z interneta.

META PODATKI ZA ISKANJE IN NAVIGACIJO Splošne informacije o spletni strani: Shema in vsebina strani FAQ, novice, napotki za uporabo Opis sistema, ustanove, tematskih področij Opis sistema diseminacije in koledar objav Povezave na sorodne strani Kontaktne osebe in povratne informacije

META PODATKI ZA ISKANJE IN NAVIGACIJO Splošne objave s povezavami na specifične teme Seznam ključnih besed Iskalnik Stvarno kazalo (hierarhično) 

META PODATKI ZA ISKANJE IN NAVIGACIJO Dostopnost Pogoji dostopa do podatkovnih baz; Metapodatki za iskanje mikropodatkov; Metapodatki o komercialnih in nekomercialnih podatkih; Varovanje zaupnosti in zaščita podatkov.

METAPODATKI ZA INTERPRETACIJO Odvisni od značilnosti uporabnika in tematskega področja. Vzpostaviti smiselne in transparentne povezave med metapodatki in podatki.

METAPODATKI ZA INTERPRETACIJO Osnovni niz metapodatkov za interpretacijo: Osnovne informacije (statistična populacija in enota opazovanja, geografsko pokritje, klasifikacije in uporabljeni standardi); Naslovi vrstic in stolpcev v tabelah (grafi); Opredelitve spremenljivk in merske enote; Časovni vidik in geografski vidik; Primerljivost v času (prelomi serij, manjkajoči podatki); Opombe s posebnimi opozorili, legende; Avtorske pravice in omejitev/pogoji uporabe; Kontaktne osebe.

METAPODATKI ZA INTERPRETACIJO Priporočeni metapodatki Primerljivost z alternativnimi viri; Povezave na relevantne objave; Podroben opis konceptualnih izhodišč in metodoloških postopkov zbiranja in obdelave podatkov; Indikatorji kvalitete podatkov.

METAPODTKI ZA PRENOS IN OBDELAVO PODATKOV Osnovni metapodatki za interpretacijo morajo biti prenosljivi. Metapodatki o pogojih uporabe in metodah zaščite podatkov. Tehnično prijazno okolje za prenos podatkov.

Predstavitev spletnih strani nekaterih ponudnikov US Eurostat UNECE UNSD OECD WB IMF Census Bureau BLS

Literatura in viri UN ECE in Economic Commission for Europe: A guide to the website of national and international statistical organisations, 2001. Guidelines for statistical metadata on the internet. Statistical Standards and Studies No.52. United nations, 2000. Best Practice in Designing Websites for Dissemination of statistics, 2001. Bavdaž M., Ograjenšek I. in Bregar L.: Primerjalna analiza spletnih strani izbranih ponudnikov statističnih podatkov. Zbornik posvetovanja: Elektronsko poslovanje in statistika, Radenci, 1999, str.253 – 269.