CUSTODEA iniciatíva a open source platforma pre kultúrny sektor www.custodea.com Ivan Hanzlík, EEA ARCHIVY, KNIHOVNY, MUZEA V DIGITÁLNÍM SVĚTĚ 2010 Praha 1.12.2010

Čo je Custodea Iniciatíva Architektúra Sada Open source komponentov Pre „pamäťové inštitúcie “ Komunitný portál www.custodea.com Custodea je Open source iniciatíva, ktorá si kladie za cieľ poskytovať výkonné riešenia pre kultúrny sektor na báze open source (komponentov). Aktuálne sa sústreďujeme na riešenia a aplikácie súvisiace s digitalizáciou. Custodea zastrešuje aktivity súvisiace prípravou, realizáciou, riadením a marketingom open-source projektov. My v Custodea vychádzame z bohatých projektových skúseností a úzko spolupracujeme s projektom Europeana. Našim zámerom je poskytovať okrem našich aplikácií a systémov aj odporúčania pre riešenie celej škály problémov v kultúrnom sektore, prípadne otvoriť nové projekty. Custodea je otvorená pre každého kto sa chce podieľať na tvore infraštruktúry pre kultúrny sektor na báze open-source.

Motivacia a východiská Europeana Europeana local Project Caspar Projekty: Slovakiana-MKDIS-DISK, CEDVU, CEDVU-WEB, Europeana Local, Axiell, .... od 2006 Europeana Local: Technical implementation support – regionály technologický partner Referencie Referencie projektov a komponentov Custodea. CEDVU Popis: Centrálna Evidencia Diel Výtvarného Umenia; katalogizačný a akvizičný modul pre diela umeleckých zbierok Slovenskej národnej galérie; založený na zásadách CCO, technológiách sémantického webu a expresívne vzťahy medzi objektmi; výkonný digitálny model s rozširovateľným manažmentom metadát pre mohutný systém pre správu obsahu; údaje prístupné pre ústredný archív cez OAI-PMH; napojenie na centrálne tezaury a riadené slovníky; web portál; workflows Použité komponenty Custodea: Katalogizačný a evidenčný systém, ECCR Zákazník: SNG Technológie: Java EE, JBPM, Java/Swing, EJB 3.0, Hibernate, Fedora Commons - content repository, Kowari Triple Store, RDF, Domain standards - DC (Dublin Core), CCO, CIDOC-CRM, VRA, CDWA, OAI-PMH Ohraničenie: 2006-2010 CEDVU WEB Popis: Prezentácia diel z centrálnej evidencia diel výtvarného umenia Použité komponenty Custodea: Portál, ECCR Zákazník: SNG Technológie: Java EE, Liferay, Hibernate, Fedora Commons - content repository, Kowari Triple Store, RDF, Domain standards - DC (Dublin Core), CCO, CIDOC-CRM, VRA, CDWA, OAI-PMH Ohraničenie: 2008-2010 URL: www.webumenia.sk Slovakiana (aka MKDIS, aka DISK2009) Cieľom skupiny projektov Slovakiana je zabezpečenie ochrany kultúrneho dedičstva SR jeho digitalizáciou a dlhodobou ochranou digitalizovanej informácie, podpora tvorby digitálneho obsahu a sprístupnenie kultúrneho dedičstva odbornej aj širšej verejnosti. Národný agregátor Popis: Národný agregátor je systém, ktorý zbiera metadáta a abstrakcie z pamäťotvorných inštitúcií a umožňuje vyhľadanie a zobrazenie diela kultúrneho dedičstva Komponenty a projekty: Portál, ECCR, Harvester Zákazník: IBM, MK SR Technológie: Java, JBoss AS, Postgress, Fedora 2, Liferay Ohraničenie: 2007-2009 Národný register autorít Popis: Systém centrálnej správy riadených slovníkov; zahŕňa o.i. aj systém personálnych a korporačných autorít, workflows pre vytváranie, schvaľovanie a riadenie záznamov v autoritách. Komponenty a projekty: ECCR Zákazník: IBM, MK SR Technológie: Java, JBoss, Postgress, Hibernate, Liferay Ohraničenie: 2007-2009 Custodea4ESE Popis: Zber (harvesting), transformácia, správa a poskytovanie metadát cez rozhranie OAI-PMH vo formáte ESE do Europeana. Komponenty a projekty: ECCR, OAI-PMH Provider, Harvester Zákazník: IBM, MK SR Technológie: Java, JBoss AS, Postgress, Apache Jackrabbit, Liferay, Apache Servicemix (ESB), XSL, XML Ohraničenie: 2007-2009

Europeana = iniciátor The Rhine release – 11/2010 > 10 mil. záznamov ESE -> EDM Open source - EUPL2 Open Source License EuropeanaLabs.eu API [Application Programming Interface] k dispozícii pre partnerov ESE – rozšírený Dublin Core The Europeana Data Model (EDM) marks an evolution of ESE towards a more sophisticated framework that will be able to support the functionality within the Danube release.   The EDM is currently being developed jointly by WP3 of Europeana version 1.0 and Europeana:connect, with the contribution of a number of subject matter experts. Actions  Cultural institutions in all tier 1 countries have been identified and the lists shared with projects and national partners in order that they can to recruit them so that we can achieve an appropriate representation of national content in Europeana. Intensive technical and organisational support for content providers and aggregators

Europeana - Obsah Europeana bude spolupracovať s agregátormi obsahu - národnými/doménovými Spolupráca všetkých súvisejúcich projektov Plán akvizície obsahu – prioritné krajiny – aj ČR a SR Data license agreement, The Europeana Public Domain Charter, Europeana Policy on User Generated Content... The Europeana Data Model (EDM) marks an evolution of ESE towards a more sophisticated framework that will be able to support the functionality within the Danube release.   The EDM is currently being developed jointly by WP3 of Europeana version 1.0 and Europeana:connect, with the contribution of a number of subject matter experts. Actions  Cultural institutions in all tier 1 countries have been identified and the lists shared with projects and national partners in order that they can to recruit them so that we can achieve an appropriate representation of national content in Europeana. Intensive technical and organisational support for content providers and aggregators

CASPAR Projekt, iniciatíva (2006-2009) – uchovávanie a prístup k digitálnym objektom (aktívam) Metodika, architektúra, technológia Open Archival Information System (OAIS) – referenčný model Terminológia, funkčný model, informačný model Publikované ako Open source Technologicko-metodické zhrnutie Digital assets – zjednotený pohľad OAIS – metodika, Architektúra, odporúčania pre digitálny archív Digitálny archív – knižnica – splývanie konceptov CAPAR – zhrnutie relevantných konceptov

CASPAR – Princípy Technology-neutral Definícia „interfaces“ umožňujúca rôzne implementácie Architektúra: distribuovaná, asynchrónna, komponentová „loosely coupled“ kde každý komponent je „čierna skrinka“ Doménovo nezávislé Zrozumitelnosť Integrita a identita dát

Princípy Custodea Úzka spolupráca a kompatibilita s Europeana Europeana Local Založená na princípoch, ktoré definuje projekt CASPAR Terminológia, štandardy, kompatibilný funkčný a informačný model Open source EuropeanaLabs.eu, Delving.eu(Open Europeana)

Pokrytie - aktuálne zber digitálnych dát a reprezentácií transformácia dát, prevod medzi formátmi, mapovanie tvorba a ukladanie metadát vyhľadávanie - v dátach a metadátach práca so slovníkmi autorít, správa slovníkov ukladanie a sprístupňovanie dát (digitálna knižnica, digital repository) harvesting digitálneho obsahu poskytovanie dát (provider) - napr. pre Europeana, či pre iné inštitúcie správa zbierok prezentácia dát, portál Data – metadata search – SOLR Lucene (fasety) OAI-PMH - Open Archives Initiative - Protocol for Metadata Harvesting

Architektúra + LDAP prístupové práva JCR = Java content repository – API IS = Image server SS = Streaming server ECRR = sada komponentov DB – relačná Reslover – resolvuje odkazy na autority

Komponent: Enterprise Cultural Content Repository Centrálne úložište Konceptuálny model, architektúra, integračné a konfiguračné komponenty, štruktúry dát Metadata: JCR Repo - Fedora Commons repo. Digitálne reprezentácie: Image a streaming server Vyhľadávanie: SOLR Relačná DB Resolver – spolupráca so slovníkmi ECCR Charakteristika: Projekt, ktorý definuje konceptuálny model, architektúru, integračné a konfiguračné komponenty pre centrálne úložište dát - repository. ECCR obsahuje podporu pre rôzne komponenty a služby: JCR repo - open source repository pre ukladanie a správa metadát; implementácie spĺňa špecifikáciu Java Content Repository (JCR). Súčasťou špecifikácie tohoto modulu je návrh optimálnej štruktúry dát v repozitári Fedora Commons Repository - alternatíva k JCR repo; open source repository pre ukladanie, správa a sprístupňovanie metadát (digitálnych objektov); alternatíva k JCR repo, ktorá umožňuje aj ukladanie RDF záznamov na uchovávanie väzieb medzi objektami (sémantický web); používa "tripple store" databázu. Súčasťou špecifikácie tohoto modulu je návrh optimálnej štruktúry dát v repozitári. IS & SS - Image Server a Streaming Server. Špecializované úložisko digitálnych reprezentácií, systém na ich úpravu a poskytovanie. Skúsenosti s digitálnymi repozitármi ukazujú potrebu použitia iných nástrojov na správu digitálneho obsahu ako pri metadátach, náhľadoch, thumbnailoch atď. Táto potreba vyplýva z podstatne väčšieho objemu dát ako pri metadátach, ako aj z potreby pre- a post-procesingu týchto objektov pri ukladaní a prezentácii, ktorý býva veľmi náročný na systémové zdroje. Optimálnymi nástrojmi na ukladanie digitálneho obsahu mimo metadát sú špecializované servery riadiace ich zápis a ich sprístupnenie - Image Server a Streaming Server poskytujú out-of-the-box funcionalitu ako sú konverzie medzi formátmi, resizing, filtering, watermarking, streaming atď. Ide o open source implementácie štadardných protokolov ako sú Internet Imaging Protocol (IIP) a LiquiFire. SOLR - modul na efektívne a rýchle vyhľadávanie. Rýchle a flexibilné vyhľadávanie je kľúčovou vlastnosťou každého systému na správu dát. Túto úlohu je vhodné externalizovať a delegovať špeciálnym nástrojom, ktoré sa zaoberajú indexáciou dát a efektívnym a rýchlym hľadaním vo vytvorenom indexe. Výkonné vyhľadávanie nám umožňuje implementovať pokročilé a náročné úlohy na prezentačnej vrstve, ako je napríklad fultextové vyhľadávanie, autokompletizácia, fazetové browsovanie atď. Ide o open source implementáciu. DB - relačná (SQL) databáza pre uloženie technických, administračných a operačných dát. Resolver - integračný komponent, ktorý umožňuje používanie identifikátorov v metadátach; implementuje funkčnosť slovníkov a rieši odkazy na centrálne autority (personálne, korporačné, geografické atď.) cez identifikátor, záhlavie, kľúč a pod.

Komponent: OAI-PMH Provider Plne kompatibilný s OAI-PMH Oddelený konektor do úložišťa (JCR) od OAI-PMH vrstvy Úložište: ECCR, Fedora, JCR API DC, CIDOC CRM, EAD ... EAD (Encoding Archival Description) format DC = Dublin core OAI-PMH provider Tento komponent poskytuje publikačné rozhranie do repository na poskytovanie metadát pre systémy tretích strán, tj. sprístupňuje obsah klientom cez OAI-PMH protokol. Samotný komponent je konfigurovateľný a otvorený smerom do vnútra, to znamená, že je možné vytvoriť OAI-PMH rozhranie pre ľubovoľné repository. Základná implementácia pracuje nad špecifikáciou (API) JCR. Ide o "plnú implementáciu" protokolu (servera), tj. podporované sú všetky črty (features) ktoré špecifikácia umožňuje (vrátane "nepovinných"). Charakteristika Implementácia flexibilného rozhrania na poskytovanie metadát z repozitára iným systémom prostredníctvom protokolu OAI-PMH. Implementácia Implementácia OAI-PMH providera striktne oddeľuje vrstvu implementujúcu špecifikáciu OAI-PMH od vrstvy, ktorá zabezpečuje prístup k dátam v repozitári - tzv. konektora. Táto architektúra nám dovoľuje implementovaním špecifického konektora vystavať OAI-PMH protokol nad ľubovoľným repozitárom. Služba dostupná na stránke http://re.cs.uct.ac.za/ potvrdzuje 100% kompatibiliu implementácie s OAI-PMH špecifikáciou. Technológie Java, JCR API, Apache Jackrabbit

Komponent: Harvester Metadata – transformácie dát, indexovanie Cieľový formát definovaný cez XSLT Abstrakcie – indexovanie Transformation Editor definovanie transformácie (zo vstupného formátu do spoločného formátu, napr. CDM, ESE, DublinCorem CIDOC CRM atď.) Online aj offline Agregácia metadát v spolupráci so slovníkom EAD (Encoding Archival Description) format DC = Dublin core Harvester Kompozitný komponent, ktorého úlohou je získavanie metadát a digitálnych reprezentácií objektov (napr. diel kultúrneho dedičstva) z externých úložísk, resp. import zo súborov na súborovom systéme a ich propagovanie do centrálneho repozitára (ECCR). Zdrojové dáta môžu byť prístupné online (OAI-PMH, HTTP, FTP) alebo offline (súbory na disku, CD, DVD a podobne). Pozostáva z niekoľkých - voliteľných - modulov: Metadata Harvester - načítava metadáta zo zdroja (OAI-PMH alebo súbory na disku), transformuje ich do cieľového formátu a ukladá do repository. Samotný formát je konfigurovateľný administrátorom systému (prostredníctvom XSLT stylesheetu). Metadáta sú voliteľne indexované pre rýchle fulltextové vyhľadávanie. Abstraction Harvester - načítava, transformuje a ukladá digitálne reprezentácie resp. abstrakcie, ako sú obrázky, videá, audio záznamy, textové súbory v rôznych formátoch a pod. Obsah (textových súborov) je voliteľne indexovaný pre rýchle fulltextové vyhľadávanie. Transformation Editor - nástroj pre jednoduché definovanie transformácie (zo vstupného formátu do spoločného formátu, napr. CDM, ESE, DublinCore atď.) Voliteľnou funkcionalitou harvestera je agregácia metadát v súčinnosti s registrom autorít.

Komponent: Evidenčný systém Tvorba a správa metadát a obsahu (digitálnej knižnice). Ukladanie digitálnych objektov a meta-dát, vrátane relácií (RDF) s použitím riadených slovníkov (číselníky, tezaury), generovanie odvodenín (zmenšeniny) watermarking, na ukladanie a správu dát využíva centrálny repozitár (ECCR) Správa zbierok viacerých zbierkotvorných organizácií Vytváranie a sprístupňovanie kolekcií (výstavy, udalosti, sprístupňovanie kolekcií pomocou portálu) Robustný a otvorený systém oprávnení – role Riadené slovníky Subsystém pre tvorbu a správu obsahu (digitálnej knižnice). Implementuje základné katalogizačné procesy, pokročilé vyhľadávanie, použitie riadených slovníkov (autorít) atď. „Subsystém pre tvorbu a správu obsahu (digitálnej knižnice). Podporuje základné procesy - katalogizácia, akvizícia, pohyb diel, reštaurovanie.   - Ukladanie digitálnych objektov a meta-dát, vrátane relácií (RDF) s použitím riadených slovníkov (číselníky, tezaury), generovanie odvodenín (zmenšeniny), watermarking, na ukladanie a správu dát využíva centrálny repozitár (ECCR) - Správa zbierok viacerých zbierkotvorných organizácií pomocou robustného systému prístupových práv - Vytváranie kolekcií (výstavy, udalosti, sprístupňovanie kolekcií pomocou portálu) - Podpora procesu akvizície (workflow, role (referenti nadobúdania, kurátori..), úlohy).. - Podpora pre pohyb diel - výpožičky - Podpora pre proces reštaurovania – reštaurátorské aktivity - Ukladanie digitálnych objektov (dokumenty, zmluvy, fotky..) okrem diel aj k pohybom, reštaurátorským zásahom - Pokročilé vyhľadávanie (full text, komplexné filtre) Spellcheck mi vyhodil toto (nemusíš ma fackať J..  viem, že si už fixol.. ) 2 – „Pro pamäťové inštitúcie“ – nemalo by byť „Pre“ 5 – „súvisejúcich“ > súvisiacich, „prioritNé krajiny“ 8 – „ZrozumiteLnosť“, „distrUbuovaná“, „zrozumiteLnosť“ 12 – „spolUpráca“ 13 – „kompatibilnÝ“

Komponent: Evidenčný systém Podpora procesov - workflow Akvizícia Pohyb diel – výpožičky Proces reštaurovania Ukladanie digitálnych objektov (dokumenty, zmluvy, fotky..) aj k pohybom, reštaurátorským zásahom Pokročilé vyhľadávanie (full text, komplexné filtre) CCO, CDWA Subsystém pre tvorbu a správu obsahu (digitálnej knižnice). Implementuje základné katalogizačné procesy, pokročilé vyhľadávanie, použitie riadených slovníkov (autorít) atď. „Subsystém pre tvorbu a správu obsahu (digitálnej knižnice). Podporuje základné procesy - katalogizácia, akvizícia, pohyb diel, reštaurovanie.   - Ukladanie digitálnych objektov a meta-dát, vrátane relácií (RDF) s použitím riadených slovníkov (číselníky, tezaury), generovanie odvodenín (zmenšeniny), watermarking, na ukladanie a správu dát využíva centrálny repozitár (ECCR) - Správa zbierok viacerých zbierkotvorných organizácií pomocou robustného systému prístupových práv - Vytváranie kolekcií (výstavy, udalosti, sprístupňovanie kolekcií pomocou portálu) - Podpora procesu akvizície (workflow, role (referenti nadobúdania, kurátori..), úlohy).. - Podpora pre pohyb diel - výpožičky - Podpora pre proces reštaurovania – reštaurátorské aktivity - Ukladanie digitálnych objektov (dokumenty, zmluvy, fotky..) okrem diel aj k pohybom, reštaurátorským zásahom - Pokročilé vyhľadávanie (full text, komplexné filtre) Spellcheck mi vyhodil toto (nemusíš ma fackať J..  viem, že si už fixol.. ) 2 – „Pro pamäťové inštitúcie“ – nemalo by byť „Pre“ 5 – „súvisejúcich“ > súvisiacich, „prioritNé krajiny“ 8 – „ZrozumiteLnosť“, „distrUbuovaná“, „zrozumiteLnosť“ 12 – „spolUpráca“ 13 – „kompatibilnÝ“

Komponent: Prezentácia dát Browsovanie Vyhľadávanie Pohľady tabuľka mapa časová os thumbnail detail graf

Liferay User management Komunity, wiki Sociálne siete Portlety

Custodea - Referencie CEDVU CEDVU WEB Slovakiana Custodea4ESE Collection Management System, OAI-PMH Provider CEDVU WEB Community Portal, ECCR Slovakiana Harvester, Portal, ECCR Custodea4ESE Harvester, OAI-PMH Provider, Browser, ECCR

Na záver Využite komponenty Custodea Zapojte sa do Custodea Poskytnite svoje riešenia ako open source Open source, Opan data = cesta pre kultúrny sektor, verejnú správu Tel: 604 133 113 Mail: hanzlik@eea.cz