1. MULTIMEDIJALNI SISTEMI
Multimedijalne baze podataka
Slađana Kičema,45/2000

2. MULTIMEDIJALNE BAZE PODATAKA
Da bi se mogle iskoristiti pogodnosti računara za čuvanje podataka nastala je organizacija podataka, nazvana baza podataka.
Baza podataka zajedno sa programskim alatima koji je podržavaju, treba da obezbedi:
nezavisnost struktura podataka od programa koji ih obrađuju, i programa od struktura podataka (izmjena podataka ne utiče na programe);
optimalnost ponavljanja podataka;
da obrada podataka nije vezana za programski jezik opšte namene, već za viši “upitni” jezik;
korišćenje baze podataka od strane većeg broja korisnika.
Multimedijalni sistemi, Slađana Kičema 45/2000

3. MULTIMEDIJALNE BAZE PODATAKA
Za efikasan rad sa podacima i održavanje konzistentnog (valjanog) stanja baze koristi se specifičan programski proizvod – sistem za upravljanje bazama podataka (DBMS, DataBase Management System).
“Prave” multimedijalne baze podataka su bitno drugačije od standardnih baza podataka sa multimedijalnim mogućnostima jer ispunjavaju jedinstvene zahtjeve.
Iako termin “multimedija” privlači mnogo pažne, to je ustvari samo podklasa velike kategorije neuređenih (unstructured) podataka koji se nazivaju apstraktni podaci (abstract data type), kao npr. otisci prstiju, X-zrake, elektrokardiogrami, slike magnetne rezonance (magnetic resonance imaging - MRI) itd..
Multimedijalni sistemi, Slađana Kičema 45/2000

4. MULTIMEDIJALNE BAZE PODATAKA
Razvoj sistema za upravljanje multimedijalnim bazama podataka –MMDBMS (Multimedia Database Management System)
Prvi talas
Oslanjali su se na operativne sisteme,
Koristili su se prvenstveno kao skladišta podataka
Bili su u mogućnosti da rade sa različitim tipovima podataka i pružali su mehanizme za upite, pronalaženja, unošenje, i dodavanje podataka.
PRIMJER: MediaDB, MediaWay, JASMINE, ITASCA i dr.
Multimedijalni sistemi, Slađana Kičema 45/2000

5. MULTIMEDIJALNE BAZE PODATAKA
Drugi talas
Komercijalni sistemi koji su trebali da omoguće čuvanje kompleksnih tipova objekata za različite vrste medija.
Objektno-orijentisan stil je omogućio sredstva za definisanje novih tipova podataka i operatora za nove vrste medija, kao što su video, grafika i audio.
MMDBMS su sada postale nadogradive (extensible) Object-Relational DBMS (ORDBMS).
PRIMJER: Oracle 9i i10g, IBM DB2, i Informix .
IBM DB2 Universal Databases Extenders proširuju ORDBMS na upravljanje grafičkim, video, audio i prostornim objektima.
Omogućen je i unos i iznos multimedijalnih objekata i njihovih atributa u i iz baze podataka, pristup i kontrola netradicionalnih podataka sa istim nivoem zaštite kao i kod tradicionalnih.
DB2 Image Extender definiše poseban tip podataka DB2IMAGE sa pridruženim funkcijama za čuvanje i manipulaciju image fajlovima.
Multimedijalni sistemi, Slađana Kičema 45/2000

6. MULTIMEDIJALNE BAZE PODATAKA
sledeći SQL izraz pokazuje kako je slika pohranjena u kolonu pod nazivom image u tabeli example :
INSERT INTO example (image) VALUES(
DB2IMAGE (
CURRENT SERVER,
‘pisa.jpg’, /* source_file */
‘JPG’, /* source_format */
1, /* 1=BLOB, 2=file pointer */
‘my Image File’ /* comment */ )
Multimedijalni sistemi, Slađana Kičema 45/2000

7. MULTIMEDIJALNE BAZE PODATAKA
sljedeći SQL izraz pokazuje QBIC (Query Based on Image Content) upit koji poredi svaku sliku sa slikama u koloni na osnovu toga koliko je najčešća boja bliska crvenoj.
SELECT CONTENTS(image)
QBScoreFROMStr(‘averageColor=<255,0,0>’,image)AS SCORE
FROM signs ORDER BY SCORE
Multimedijalni sistemi, Slađana Kičema 45/2000

8. MULTIMEDIJALNE BAZE PODATAKA
Kao posljedica raznih projekata nastale su eksperimentalne multimedijalne baze podataka:
MIRROR (Multimedia Information Retrieval Reducing information OveRload)
Multimedijalni sistemi, Slađana Kičema 45/2000

9. MULTIMEDIJALNE BAZE PODATAKA
DISMA (Distributed Multimedia DBMS)
Multimedijalni sistemi, Slađana Kičema 45/2000

10. MULTIMEDIJALNE BAZE PODATAKA
Treći talas
Bave se potrebama aplikacija za većim semantičkim sadržajom.
Oslanjaju na MPEG-7 i MPEG-21 standarde.
Reprezentativan projekat iz ove grupe je MARS (Multimedia Analysis and Retrieval System) i njihov MPEG-7 Multimedia Data Cartrige (MDC).
Obuhvaća integrisane načine za prikupljanje multimedijalnih informacija i sistem za upravljanje bazom podataka koji podržava multimedijalne informacije kao objekte prve klase pogodne za čuvanje i pronalazak na bazi njihovog semantičkog sadržaja.
Uključuje koncepcije za modelovanje multimedijalnih podataka, označavanje sadržaja i upravljanje bazom podataka.
Multimedijalni sistemi, Slađana Kičema 45/2000

11. MULTIMEDIJALNE BAZE PODATAKA
MPEG-7 MDC (Multimedia Data Cartridge) je sistemska ekstenzija Oracle 9i DBMS koja omogućava multimedijalni upitni jezik, pristup medijima, izvršavanje i optimizaciju upita i označavanje resursa oslanjajući se na šeme nastale iz MPEG-7 standarda.
MDC se zasniva na tri elementa:
Modelu multimedijalnih podataka,
Radnom prostoru za označavanje multimedije (Multimedia Indexing Framework),
Unutrašnjim i spoljašnjim bibliotekama.
Radni prostor za označavanje multimedijalnog sadržaja (Multimedia Indexing Framework - MIF) omogućava dodavanje novih tipova indeksa bez mjenjanja definicije interfejsa.
Multimedijalni sistemi, Slađana Kičema 45/2000

12. MULTIMEDIJALNE BAZE PODATAKA
Protok komponenti i informacija kod tipičnih multimedijalnih sistema i baza podataka
Multimedijalni sistemi, Slađana Kičema 45/2000

13. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
Multimedijalni sistemi, Slađana Kičema 45/2000

14. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
MPEG (Moving Pictures Experts Group) je 2002.godine uvela novi standard za korištenje metapodataka (metadatas).
MPEG-7 je standard za opis (description) karakteristika visokog i niskog nivoa multimedijalnog sadržaja.
MPEG-7 je formalno nazvan Multimedia Content Description Interface, što znači da to nije standard koji se direktno bavi kodovanjem video ili audio podataka, kao MPEG-1, MPEG-2, MPEG-4.
Primjer: Korištenjem mobilnog telefona može se snimiti 10s pjesme o kojoj želimo više informacija. Koristeći sistem na bazi audio prepoznavanja definisan MPEG-7 audio deskriptorima, mehanizme za pretraživanje i multimedijalne baze podataka, može se putem SMSa dobiti željeni odgovor.
Multimedijalni sistemi, Slađana Kičema 45/2000

15. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
Namjena mu je da standardizuju:
set deskripcionih šema i deskriptora – Descriptors,
jezik za specifikacije ovih šema - Description Definition Language (DDL),
šeme za kodovanje opisa.
Primjer moguće aplikacije uz korištenje MPEG-7
Multimedijalni sistemi, Slađana Kičema 45/2000

16. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
MPEG-7 ciljevi su:
Omogućavanje brzih i efikasnih metoda za pretraživanje, filtriranje i identifikaciju sadržaja,
Definisanje glavnih podataka o sadržaju (karakteristike niskog nivoa, struktura, model,...),
Indeksiranje širokog opsega aplikacija,
Mogućnost rada sa audiovizuelnim informacijama kao što su: audio, glas, video, slike, grafici, 3D modeli,...
Informacije o tome kako su objekti kombinovani na sceni,
Nezavisnost između opisa i same informacije.
Multimedijalni sistemi, Slađana Kičema 45/2000

17. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
MPEG-7 koristi sledeće alate:
Deskriptor (Descriptor) – Predstavlja karakteristike sintaksno i semantički. Jedan podatak može imati više deskriptora.
Multimedijalne deskripcione šeme (Multimedia Description
Schemes)– Određuju strukturu i semantiku veza između svojih komponenti. Ove komponente mogu biti deskriptori (D) ili deskripcione šeme (DS).
Opisni jezik (Description Definition Language-DDL) – Bazira se na XML-u (Extensible Markup Language) da bi definisao veze između deskriptora. Omogućava kreaciju i modifikaciju deskripcionih šema, kao i kreaciju novih deskriptora.
Sistemske alate (System Tools) – Vrše binarizaciju, sinhronizaciju, transport i pohranjivanje deskriptora.
Multimedijalni sistemi, Slađana Kičema 45/2000

18. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
MPEG-7 informacije o sadržaju mogu da sadrže:
Informacije koje opisuju proces kreacije sadržaja (režiser, naziv filma, kratak sadržaj).
Informacije o upotrebi sadržaja (zaštitni markeri, istorija upotrebe, vrijeme emitovanja).
Informacije o skladištenju (format, način kodovanja).
Strukturalne informacije o vremenskim, prostornim i vremensko-prostornim komponentama sadržaja (presjek između scena).
Informacije o karakteristikama niskog nivoa (boje, tekstura, opis melodije).
Konceptulane informacije o stvarima koje su zabilježene u sadržaju (objekti i događaji, interkcija između objekata).
Informacije o najefikasnijem pronalasku sadržaja (kratki sadržaji, varijacije, prostorna i frekvencijska ograničenja).
Informacije o grupama objekata.
Informacije o interakciji korisnika sa sadržajem (zabilješke korisnika, istorija pretraživanja)
Multimedijalni sistemi, Slađana Kičema 45/2000

19. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
Nudi širok spektar audovizuelnih alata za opisivanje-DL (Deskriptor Tools), tj. za kreiranje opisa kojima se formiraju osnove za brz i efikasan pristup multimedijalnom sadržaju od strane raznih aplikacija.
Moguće je napraviti MPEG-7 opis analognog filma ili slike odštampane na papiru, na isti način kao i digitalnog sadržaja.
Razlikuju se dva načina pretraživanja:
na bazi sadržaja (content aware),
na bazi opisa (content unaware).
Cijeli sistem za pretraživanje zahtjeva prethodnu obradu podataka sa izvlačenjem podataka i komponenti za pohranjivanje, koji čine implicite informacije eksplicitno pohranjene u prostoru za informacije.
Prije nego što je korisnik u mogućnosti da koristi radni okvir za pretraživanje neophodno je bazu podataka «napuniti» odgovarajućim MPEG-7 metapodacima.
Podaci iz medija mogu biti izvučeni automatski ili ručno.
Multimedijalni sistemi, Slađana Kičema 45/2000

20. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-7 standard
Tri vrste metapodataka su sadržane u MPEG-7 dokumentu:
opšti metapodaci (npr. komentari teksta, trajanje snimka,...) – mogu biti traženi preko konvencionalnih upita.
metapodaci niskog nivoa (npr. histogram,...) – potrebni su za specifična poređenja i algoritme za pretraživanja.
semantički opisi (npr. agenti, događaji,veze,...) – pohranjeni su u kataloge semantičkih metaobjekata.
Pretraživanje i pronalazak multimedijalnih podataka je u potpunosti odvojen od samih multimedijalnih baza podataka, u skladu sa principima modularnosti.
Tradicionalne baze podataka su efikasne u pohranjivanju i operisanju sa alfanumeričkim podacima dok se u multimedijlanim bazama podataka govori o «sličnim» podacima.
Kompleksnost opisnih šema često čini da je teško odlučiti koje semantičke opise koristiti ili dodati.
Međutim standardizacijom opisnog jezika omogućeno je lakši prenos i filtriranje sa dostupnim XML tehnologijama.
Multimedijalni sistemi, Slađana Kičema 45/2000

21. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-21 standard
Multimedijalni sistemi, Slađana Kičema 45/2000

22. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-21 standard
MPEG-21 standard ima za cilj da definiše normativna akta za otvoreni radni prostor (open framework) za prenos i korištenje multimedijalnih sadržaja od strane svih učesnika u lancu prenosa i upotrebe.
MPEG-21 se bazira na dva osnovna koncepta:
definiciji osnovne jedinice za distribuciju i prenos, digitalni predmet (Digital Item),
načinima na koje korisnici mogu raditi sa digitalnim predmetima.
Digitalni predmeti se mogu posmatrati kao «šta» u multimedijalnom radnom prostoru (npr. video kolekcija, muzički album,..), a korisnici kao «ko» u istom prostoru.
MPEG-21 standard se može definisati kao: definisanje tehnologije potrebne da podrži korisnike da razmjenjuju, pristupaju, koriste, mjenjaju i na druge načine manipulišu digitalnim predmetima na efikasan, transparentan i kooperativan način.
Korisnik je bilo koji entitet iz MPEG-21 okruženja koji vrši interakciju u tom okruženju ili koristi digitalni predmet.
Multimedijalni sistemi, Slađana Kičema 45/2000

23. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-21 standard
PRIMJER:
Uzimamo da je jedna “web page” kao digitalni predmet. Tipična web stranica se obično sastoji od HTML dokumenta sa ugrađenim linkovima na .JPG,.GIF i dr. fajlove. U ovom jednostavnom primjeru digitalni predmet čini sam HTML dokument uz sve ostale resurse na koje se oslanja.
Sada modifikujemo primjer tako da pretpostavljamo da web stranica sadrži neke tipičnu logiku (npr. JavaScript itd.) za izbor jezika (između unaprijed određenog seta jezika) na kojem će stranica biti prikazana i omogući ovaj vid prikaza ili prikaže default stranicu ukoliko jezik nije dostupan. U ovakvom modifikovanom primjeru sada se javlja kao ključni događaj prisustvo logike za jezik koja otežava definisanje digitalnog predmeta i šta ga čini. Postoje dvije mogućnosti: da se stranica za svaki jezik posmatra kao poseban digitalni predmet, ili da se stranica posmatra kao jedinstven digitalni predmet sa odgovarajućom jezičkom logikom. Druga mogućnost ne daje jasno određenje resursa koji prate ovakav digitalni predmet.
Ovom problemu je posvećena pažnja u Deklaraciji digitalnog predmeta (Digital Item Declaration-DID). DID je dokument koji specificira izgled, strukturu i organizaciju digitalnog predmeta. Drugi dio MPEG-21 standarda sadrži DID specifikacije.
Multimedijalni sistemi, Slađana Kičema 45/2000

24. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-21 standard
Javlja se potreba za postavljanjem moćnog i fleksibilnog modela za digitalne predmete koji može da obuhvati različite formate koje sadržaj može da poprimi, kao i formate koji mogu da se pojave u budućnosti.
Započeto je sa standardizacijom u devet oblasti multimedijalnog radnog prostora:
1.dio (Tehnical Report)-Vision,Technologies and Strategies
2.dio (Digital Item Declaration-DID)
3.dio (Digital Item Identification-DII)
4.dio (Intellectual Property Management and Protection -IPMP)
5.dio (Rights Expression Language-REL)
6.dio (Rights Data Dictionary)
7.dio (Digital Item Adaptation)
8.dio (Reference Software)
9.dio (File Format)
Multimedijalni sistemi, Slađana Kičema 45/2000

25. Multimedijalni sistemi, Slađana Kičema 45/2000
MPEG-21 standard
UMA Media base – Upravljanje metapodacima koristeći Oracle Database System
Multimedijalni sistemi, Slađana Kičema 45/2000

26. Multimedijalni sistemi, Slađana Kičema 45/2000
UMA Media base
Metapodaci multimedijalnih resursa (izvora) mogu organizovati kroz kolekciju različitih tehnologija formirajući UMA (Universal Multimedia Access) bazu multimedijalnih podataka.
Informacije se razmjenjuju upakovane u vidu digitalnih predmeta (digital items), koristeći MPEG-21 Digital Item Adaption kao načina za ostvarivanje UMA.
Multimedijalna baza podataka u navedenom slučaju koristi sledeće alate:
XML,
Oracle9i DBMS,
JDBC,
QuickTime for Java.
Multimedijalni sistemi, Slađana Kičema 45/2000

27. Multimedijalna baza integrisana u MPEG-21 sistem
Multimedijalni sistemi, Slađana Kičema 45/2000

28. Multimedijalni sistemi, Slađana Kičema 45/2000
PRIMJER: Aplikacija ilustruje kako MPEG-21 radno okruženje zajedno sa bazom može da se iskoristi za pronalazak i preslušavanje muzičkih videa.
Multimedijalni sistemi, Slađana Kičema 45/2000