1. CUSTODEA iniciatíva a open source platforma pre kultúrny sektor
Ivan Hanzlík, EEA
ARCHIVY, KNIHOVNY, MUZEA V DIGITÁLNÍM SVĚTĚ 2010
Praha

2. Čo je Custodea Iniciatíva Architektúra Sada Open source komponentov
Pre „pamäťové inštitúcie “
Komunitný portál
Custodea je Open source iniciatíva, ktorá si kladie za cieľ poskytovať výkonné riešenia pre kultúrny sektor na báze open source (komponentov).
Aktuálne sa sústreďujeme na riešenia a aplikácie súvisiace s digitalizáciou.
Custodea zastrešuje aktivity súvisiace prípravou, realizáciou, riadením a marketingom open-source projektov.
My v Custodea vychádzame z bohatých projektových skúseností a úzko spolupracujeme s projektom Europeana.
Našim zámerom je poskytovať okrem našich aplikácií a systémov aj odporúčania pre riešenie celej škály problémov v kultúrnom sektore, prípadne otvoriť nové projekty.
Custodea je otvorená pre každého kto sa chce podieľať na tvore infraštruktúry pre kultúrny sektor na báze open-source.

3. Motivacia a východiská
Europeana
Europeana local
Project Caspar
Projekty: Slovakiana-MKDIS-DISK, CEDVU, CEDVU-WEB, Europeana Local, Axiell, od 2006
Europeana Local:
Technical implementation support – regionály technologický partner
Referencie
Referencie projektov a komponentov Custodea.
CEDVU
Popis: Centrálna Evidencia Diel Výtvarného Umenia; katalogizačný a akvizičný modul pre diela umeleckých zbierok Slovenskej národnej galérie; založený na zásadách CCO, technológiách sémantického webu a expresívne vzťahy medzi objektmi; výkonný digitálny model s rozširovateľným manažmentom metadát pre mohutný systém pre správu obsahu; údaje prístupné pre ústredný archív cez OAI-PMH; napojenie na centrálne tezaury a riadené slovníky; web portál; workflows Použité komponenty Custodea: Katalogizačný a evidenčný systém, ECCR Zákazník: SNG Technológie: Java EE, JBPM, Java/Swing, EJB 3.0, Hibernate, Fedora Commons - content repository, Kowari Triple Store, RDF, Domain standards - DC (Dublin Core), CCO, CIDOC-CRM, VRA, CDWA, OAI-PMH Ohraničenie:
CEDVU WEB
Popis: Prezentácia diel z centrálnej evidencia diel výtvarného umenia Použité komponenty Custodea: Portál, ECCR Zákazník: SNG Technológie: Java EE, Liferay, Hibernate, Fedora Commons - content repository, Kowari Triple Store, RDF, Domain standards - DC (Dublin Core), CCO, CIDOC-CRM, VRA, CDWA, OAI-PMH Ohraničenie:
URL: 
Slovakiana (aka MKDIS, aka DISK2009)
Cieľom skupiny projektov Slovakiana je zabezpečenie ochrany kultúrneho dedičstva SR jeho digitalizáciou a dlhodobou ochranou digitalizovanej informácie, podpora tvorby digitálneho obsahu a sprístupnenie kultúrneho dedičstva odbornej aj širšej verejnosti.
Národný agregátor
Popis: Národný agregátor je systém, ktorý zbiera metadáta a abstrakcie z pamäťotvorných inštitúcií a umožňuje vyhľadanie a zobrazenie diela kultúrneho dedičstva Komponenty a projekty: Portál, ECCR, Harvester Zákazník: IBM, MK SR Technológie: Java, JBoss AS, Postgress, Fedora 2, Liferay Ohraničenie:
Národný register autorít
Popis: Systém centrálnej správy riadených slovníkov; zahŕňa o.i. aj systém personálnych a korporačných autorít, workflows pre vytváranie, schvaľovanie a riadenie záznamov v autoritách. Komponenty a projekty: ECCR Zákazník: IBM, MK SR Technológie: Java, JBoss, Postgress, Hibernate, Liferay Ohraničenie:
Custodea4ESE
Popis: Zber (harvesting), transformácia, správa a poskytovanie metadát cez rozhranie OAI-PMH vo formáte ESE do Europeana. Komponenty a projekty: ECCR, OAI-PMH Provider, Harvester Zákazník: IBM, MK SR Technológie: Java, JBoss AS, Postgress, Apache Jackrabbit, Liferay, Apache Servicemix (ESB), XSL, XML Ohraničenie:

4. Europeana = iniciátor
The Rhine release – 11/2010 > 10 mil. záznamov
ESE -> EDM
Open source - EUPL2 Open Source License
EuropeanaLabs.eu
API [Application Programming Interface] k dispozícii pre partnerov
ESE – rozšírený Dublin Core
The Europeana Data Model (EDM) marks an evolution of ESE towards a more sophisticated framework that will be able to support the functionality within the Danube release.
The EDM is currently being developed jointly by WP3 of Europeana version 1.0 and Europeana:connect, with the contribution of a number of subject matter experts.
Actions 
Cultural institutions in all tier 1 countries have been identified and the lists shared with projects and national partners in order that they can to recruit them so that we can achieve an appropriate representation of national content in Europeana.
Intensive technical and organisational support for content providers and aggregators

5. Europeana - Obsah
Europeana bude spolupracovať s agregátormi obsahu - národnými/doménovými
Spolupráca všetkých súvisejúcich projektov
Plán akvizície obsahu – prioritné krajiny – aj ČR a SR
Data license agreement, The Europeana Public Domain Charter, Europeana Policy on User Generated Content...
The Europeana Data Model (EDM) marks an evolution of ESE towards a more sophisticated framework that will be able to support the functionality within the Danube release.
The EDM is currently being developed jointly by WP3 of Europeana version 1.0 and Europeana:connect, with the contribution of a number of subject matter experts.
Actions 
Cultural institutions in all tier 1 countries have been identified and the lists shared with projects and national partners in order that they can to recruit them so that we can achieve an appropriate representation of national content in Europeana.
Intensive technical and organisational support for content providers and aggregators

6. CASPAR
Projekt, iniciatíva ( ) – uchovávanie a prístup k digitálnym objektom (aktívam)
Metodika, architektúra, technológia
Open Archival Information System (OAIS) – referenčný model
Terminológia, funkčný model, informačný model
Publikované ako Open source
Technologicko-metodické zhrnutie
Digital assets – zjednotený pohľad
OAIS – metodika, Architektúra, odporúčania pre digitálny archív
Digitálny archív – knižnica – splývanie konceptov
CAPAR – zhrnutie relevantných konceptov

7. CASPAR – Princípy Technology-neutral
Definícia „interfaces“ umožňujúca rôzne implementácie
Architektúra: distribuovaná, asynchrónna, komponentová
„loosely coupled“ kde každý komponent je „čierna skrinka“
Doménovo nezávislé
Zrozumitelnosť
Integrita a identita dát

8. Princípy Custodea Úzka spolupráca a kompatibilita s Europeana
Europeana Local
Založená na princípoch, ktoré definuje projekt CASPAR
Terminológia, štandardy, kompatibilný funkčný a informačný model
Open source
EuropeanaLabs.eu, Delving.eu(Open Europeana)

9. Pokrytie - aktuálne zber digitálnych dát a reprezentácií
transformácia dát, prevod medzi formátmi, mapovanie
tvorba a ukladanie metadát
vyhľadávanie - v dátach a metadátach
práca so slovníkmi autorít, správa slovníkov
ukladanie a sprístupňovanie dát (digitálna knižnica, digital repository)
harvesting digitálneho obsahu
poskytovanie dát (provider) - napr. pre Europeana, či pre iné inštitúcie
správa zbierok
prezentácia dát, portál
Data – metadata search – SOLR Lucene (fasety)
OAI-PMH - Open Archives Initiative - Protocol for Metadata Harvesting

10. Architektúra + LDAP prístupové práva
JCR = Java content repository – API
IS = Image server
SS = Streaming server
ECRR = sada komponentov
DB – relačná
Reslover – resolvuje odkazy na autority

11. Komponent: Enterprise Cultural Content Repository
Centrálne úložište
Konceptuálny model, architektúra, integračné a konfiguračné komponenty, štruktúry dát
Metadata: JCR Repo - Fedora Commons repo.
Digitálne reprezentácie: Image a streaming server
Vyhľadávanie: SOLR
Relačná DB
Resolver – spolupráca so slovníkmi
ECCR
Charakteristika: Projekt, ktorý definuje konceptuálny model, architektúru, integračné a konfiguračné komponenty pre centrálne úložište dát - repository.
ECCR obsahuje podporu pre rôzne komponenty a služby:
JCR repo - open source repository pre ukladanie a správa metadát; implementácie spĺňa špecifikáciu Java Content Repository (JCR). Súčasťou špecifikácie tohoto modulu je návrh optimálnej štruktúry dát v repozitári
Fedora Commons Repository - alternatíva k JCR repo; open source repository pre ukladanie, správa a sprístupňovanie metadát (digitálnych objektov); alternatíva k JCR repo, ktorá umožňuje aj ukladanie RDF záznamov na uchovávanie väzieb medzi objektami (sémantický web); používa "tripple store" databázu. Súčasťou špecifikácie tohoto modulu je návrh optimálnej štruktúry dát v repozitári.
IS & SS - Image Server a Streaming Server. Špecializované úložisko digitálnych reprezentácií, systém na ich úpravu a poskytovanie. Skúsenosti s digitálnymi repozitármi ukazujú potrebu použitia iných nástrojov na správu digitálneho obsahu ako pri metadátach, náhľadoch, thumbnailoch atď. Táto potreba vyplýva z podstatne väčšieho objemu dát ako pri metadátach, ako aj z potreby pre- a post-procesingu týchto objektov pri ukladaní a prezentácii, ktorý býva veľmi náročný na systémové zdroje. Optimálnymi nástrojmi na ukladanie digitálneho obsahu mimo metadát sú špecializované servery riadiace ich zápis a ich sprístupnenie - Image Server a Streaming Server poskytujú out-of-the-box funcionalitu ako sú konverzie medzi formátmi, resizing, filtering, watermarking, streaming atď. Ide o open source implementácie štadardných protokolov ako sú Internet Imaging Protocol (IIP) a LiquiFire.
SOLR - modul na efektívne a rýchle vyhľadávanie. Rýchle a flexibilné vyhľadávanie je kľúčovou vlastnosťou každého systému na správu dát. Túto úlohu je vhodné externalizovať a delegovať špeciálnym nástrojom, ktoré sa zaoberajú indexáciou dát a efektívnym a rýchlym hľadaním vo vytvorenom indexe. Výkonné vyhľadávanie nám umožňuje implementovať pokročilé a náročné úlohy na prezentačnej vrstve, ako je napríklad fultextové vyhľadávanie, autokompletizácia, fazetové browsovanie atď. Ide o open source implementáciu.
DB - relačná (SQL) databáza pre uloženie technických, administračných a operačných dát.
Resolver - integračný komponent, ktorý umožňuje používanie identifikátorov v metadátach; implementuje funkčnosť slovníkov a rieši odkazy na centrálne autority (personálne, korporačné, geografické atď.) cez identifikátor, záhlavie, kľúč a pod.

12. Komponent: OAI-PMH Provider
Plne kompatibilný s OAI-PMH
Oddelený konektor do úložišťa (JCR) od OAI-PMH vrstvy
Úložište: ECCR, Fedora, JCR API
DC, CIDOC CRM, EAD ...
EAD (Encoding Archival Description) format
DC = Dublin core
OAI-PMH provider
Tento komponent poskytuje publikačné rozhranie do repository na poskytovanie metadát pre systémy tretích strán, tj. sprístupňuje obsah klientom cez OAI-PMH protokol. Samotný komponent je konfigurovateľný a otvorený smerom do vnútra, to znamená, že je možné vytvoriť OAI-PMH rozhranie pre ľubovoľné repository. Základná implementácia pracuje nad špecifikáciou (API) JCR. Ide o "plnú implementáciu" protokolu (servera), tj. podporované sú všetky črty (features) ktoré špecifikácia umožňuje (vrátane "nepovinných").
Charakteristika Implementácia flexibilného rozhrania na poskytovanie metadát z repozitára iným systémom prostredníctvom protokolu OAI-PMH.
Implementácia Implementácia OAI-PMH providera striktne oddeľuje vrstvu implementujúcu špecifikáciu OAI-PMH od vrstvy, ktorá zabezpečuje prístup k dátam v repozitári - tzv. konektora. Táto architektúra nám dovoľuje implementovaním špecifického konektora vystavať OAI-PMH protokol nad ľubovoľným repozitárom. Služba dostupná na stránke potvrdzuje 100% kompatibiliu implementácie s OAI-PMH špecifikáciou.
Technológie Java, JCR API, Apache Jackrabbit

13. Komponent: Harvester Metadata – transformácie dát, indexovanie
Cieľový formát definovaný cez XSLT
Abstrakcie – indexovanie
Transformation Editor
definovanie transformácie (zo vstupného formátu do spoločného formátu, napr. CDM, ESE, DublinCorem CIDOC CRM atď.)
Online aj offline
Agregácia metadát v spolupráci so slovníkom
EAD (Encoding Archival Description) format
DC = Dublin core
Harvester
Kompozitný komponent, ktorého úlohou je získavanie metadát a digitálnych reprezentácií objektov (napr. diel kultúrneho dedičstva) z externých úložísk, resp. import zo súborov na súborovom systéme a ich propagovanie do centrálneho repozitára (ECCR). Zdrojové dáta môžu byť prístupné online (OAI-PMH, HTTP, FTP) alebo offline (súbory na disku, CD, DVD a podobne). Pozostáva z niekoľkých - voliteľných - modulov:
Metadata Harvester - načítava metadáta zo zdroja (OAI-PMH alebo súbory na disku), transformuje ich do cieľového formátu a ukladá do repository. Samotný formát je konfigurovateľný administrátorom systému (prostredníctvom XSLT stylesheetu). Metadáta sú voliteľne indexované pre rýchle fulltextové vyhľadávanie.
Abstraction Harvester - načítava, transformuje a ukladá digitálne reprezentácie resp. abstrakcie, ako sú obrázky, videá, audio záznamy, textové súbory v rôznych formátoch a pod. Obsah (textových súborov) je voliteľne indexovaný pre rýchle fulltextové vyhľadávanie.
Transformation Editor - nástroj pre jednoduché definovanie transformácie (zo vstupného formátu do spoločného formátu, napr. CDM, ESE, DublinCore atď.)
Voliteľnou funkcionalitou harvestera je agregácia metadát v súčinnosti s registrom autorít.

14. Komponent: Evidenčný systém
Tvorba a správa metadát a obsahu (digitálnej knižnice).
Ukladanie digitálnych objektov a meta-dát,
vrátane relácií (RDF) s použitím riadených slovníkov (číselníky, tezaury), generovanie odvodenín (zmenšeniny)
watermarking, na ukladanie a správu dát využíva centrálny repozitár (ECCR)
Správa zbierok viacerých zbierkotvorných organizácií
Vytváranie a sprístupňovanie kolekcií (výstavy, udalosti, sprístupňovanie kolekcií pomocou portálu)
Robustný a otvorený systém oprávnení – role
Riadené slovníky
Subsystém pre tvorbu a správu obsahu (digitálnej knižnice). Implementuje základné katalogizačné procesy, pokročilé vyhľadávanie, použitie riadených slovníkov (autorít) atď.
„Subsystém pre tvorbu a správu obsahu (digitálnej knižnice).
Podporuje základné procesy - katalogizácia, akvizícia, pohyb diel, reštaurovanie.
- Ukladanie digitálnych objektov a meta-dát, vrátane relácií (RDF) s použitím riadených slovníkov (číselníky, tezaury), generovanie odvodenín (zmenšeniny), watermarking, na ukladanie a správu dát využíva centrálny repozitár (ECCR) - Správa zbierok viacerých zbierkotvorných organizácií pomocou robustného systému prístupových práv
- Vytváranie kolekcií (výstavy, udalosti, sprístupňovanie kolekcií pomocou portálu) - Podpora procesu akvizície (workflow, role (referenti nadobúdania, kurátori..), úlohy)..
- Podpora pre pohyb diel - výpožičky
- Podpora pre proces reštaurovania – reštaurátorské aktivity
- Ukladanie digitálnych objektov (dokumenty, zmluvy, fotky..) okrem diel aj k pohybom, reštaurátorským zásahom
- Pokročilé vyhľadávanie (full text, komplexné filtre)
Spellcheck mi vyhodil toto (nemusíš ma fackať J..  viem, že si už fixol.. )
2 – „Pro pamäťové inštitúcie“ – nemalo by byť „Pre“
5 – „súvisejúcich“ > súvisiacich, „prioritNé krajiny“
8 – „ZrozumiteLnosť“, „distrUbuovaná“, „zrozumiteLnosť“
12 – „spolUpráca“
13 – „kompatibilnÝ“

15. Komponent: Evidenčný systém
Podpora procesov - workflow
Akvizícia
Pohyb diel – výpožičky
Proces reštaurovania
Ukladanie digitálnych objektov (dokumenty, zmluvy, fotky..)
aj k pohybom, reštaurátorským zásahom
Pokročilé vyhľadávanie (full text, komplexné filtre)
CCO, CDWA
Subsystém pre tvorbu a správu obsahu (digitálnej knižnice). Implementuje základné katalogizačné procesy, pokročilé vyhľadávanie, použitie riadených slovníkov (autorít) atď.
„Subsystém pre tvorbu a správu obsahu (digitálnej knižnice).
Podporuje základné procesy - katalogizácia, akvizícia, pohyb diel, reštaurovanie.
- Ukladanie digitálnych objektov a meta-dát, vrátane relácií (RDF) s použitím riadených slovníkov (číselníky, tezaury), generovanie odvodenín (zmenšeniny), watermarking, na ukladanie a správu dát využíva centrálny repozitár (ECCR) - Správa zbierok viacerých zbierkotvorných organizácií pomocou robustného systému prístupových práv
- Vytváranie kolekcií (výstavy, udalosti, sprístupňovanie kolekcií pomocou portálu) - Podpora procesu akvizície (workflow, role (referenti nadobúdania, kurátori..), úlohy)..
- Podpora pre pohyb diel - výpožičky
- Podpora pre proces reštaurovania – reštaurátorské aktivity
- Ukladanie digitálnych objektov (dokumenty, zmluvy, fotky..) okrem diel aj k pohybom, reštaurátorským zásahom
- Pokročilé vyhľadávanie (full text, komplexné filtre)
Spellcheck mi vyhodil toto (nemusíš ma fackať J..  viem, že si už fixol.. )
2 – „Pro pamäťové inštitúcie“ – nemalo by byť „Pre“
5 – „súvisejúcich“ > súvisiacich, „prioritNé krajiny“
8 – „ZrozumiteLnosť“, „distrUbuovaná“, „zrozumiteLnosť“
12 – „spolUpráca“
13 – „kompatibilnÝ“

16. Komponent: Prezentácia dát
Browsovanie
Vyhľadávanie
Pohľady
tabuľka
mapa
časová os
thumbnail
detail
graf

17. Liferay
User management
Komunity, wiki
Sociálne siete
Portlety

18. Custodea - Referencie CEDVU CEDVU WEB Slovakiana Custodea4ESE
Collection Management System, OAI-PMH Provider
CEDVU WEB
Community Portal, ECCR
Slovakiana
Harvester, Portal, ECCR
Custodea4ESE
Harvester, OAI-PMH Provider, Browser, ECCR

19. Na záver Využite komponenty Custodea Zapojte sa do Custodea
Poskytnite svoje riešenia ako open source
Open source, Opan data = cesta pre kultúrny sektor, verejnú správu
Tel:
Mail: