Časová segmentácia videa a sumarizácia videa

Hierarchická štruktúra videa Video scéna snímaná kamerami A, B Video sekvencia z kamery A Video sekvencia z kamery B Jednotlivé zábery oddelené strihom

Video záber (shot) Video záber je definovaný ako sekvencia snímok zachytených jednou kamerou v jednej súvislej akcii v čase a priestore [CB98] Obvykle je to skupina snímok, ktoré majú konzistentné vizuálne charakteristiky (farba, textúra, pohyb) Video zábery sú základné štrukturálne stavebne bloky Časová segmentácia videa je dôležitý krok vo veľa aplikáciách spracovania videa (trackovanie – treba znovu inicializovať tracker) [CB98] X.U. Cabedo and S. K. Bhattacharje. Shot detection tools in digital video. In Proceedings of Non-linear Model Based Image Analysis 1998, Springer Verlag, Glasgow, pp. 121-126, July 1998

Typy postupných prechodov Základné 4 kategórie sú: Stmievačka (fade-out) Roztmievačka (fade-in) Prelínačka (dissolve)

Typy postupných prechodov Stieranie (Wipe) je množina techník ako prekrývanie, vysunutie(push), presunutie(slide), a iné (napr. stretch, door, flip, drop, grill, page turn, dither, mosaic, iris) Množstvo špeciálnych efektov používaných vo filme, ktoré využívajú napríklad morfing Veľmi ťažko detekovateľné

Metódy časového spracovania videa Jednoduché algoritmy používajú väčšinou mieru podobnosti a prahovacie metódy, rôzne typy histogramov – nedosahujú dobré výsledky najmä pri postupných prechodoch Zložitejšie algoritmy používajú napríklad HMM, kompenzáciu vektorov pohybu, neurónové siete, klasifikačné metódy – časovo veľmi náročné Ďalšie urýchlenie algoritmov sa často dosahuje hierarchizáciou dát, sofistikovaným štatistickým spracovaním a ad hoc metódami

Mosaic based approach is used to generate a panoramic image from a large number of consecutive frames having some important content. http://play.tojsiab.com/NTlSSmVMbERBeFEz

Key Frame Based Video Summarization a set consists of a collection of salient images extracted from the underlying video source take care 1.Redundancy: frames with minor difference are selected as key frame. 2.When there are various changes in content it is difficult to make clustering. Video Skim Based Video Summarization The original video is segmented into various parts which is a video clip with shorter duration. Each segment is joined by either a cut or a gradual effect. The trailer of movie is the best example for video skimming.

Detekcia strihov a stmievačiek pomocou informačnej teórie Vzájomná informácia (MI) meria množstvo informácie o náhodnej premennej Y, ktoré prenáša náhodná premenná X Združená entropia (JE) dvoch náhodných premenných X a Y The entropy measures the information content or “un-certainty” of X and it is given by:…. Where p(x) is a p.d.f Joint entropy is express as …… , where p(x,y) is joint probability or co-occurrence matrix

Detekcia strihov Pre každý pár po sebe nasledujúcich snímok vypočítame vzájomnú informáciu pre všetky tri komponenty R, G, B a po ich spriemerovaní dostaneme nasledujúci graf Na detekciu strihov použijeme adaptívne lokálne prahovanie cuts

Detekcia stmievačiek/roztmievačiek Analogicky vypočítaním združenej entropie pre každý farebný komponent R, G, B dostaneme po ich spriemerovaní graf Stmievačky/roztmievačky zodpovedajú monotónnym častiam grafu v okolí nulových hodnôt združenej entropie

Vyhodnotenie výsledkov GT: skutočný počet strihov a prechodov (ground truth) Seg: vysegmentované (správne aj nesprávne) strihy pomocou našej metódy Hodnoty určené nasledujúcimi vzťahmi charakterizujú kvalitu dosiahnutých výsledkov Hodnoty týchto mier sú z intervalu [0, 1], pričom optimálna hodnota je 1 Minimálne hodnoty mier dosahované na testovaných videách (TRECVID 2003) sú v prípade strihov 0.96 (recall), 0.94 (precision) v prípade stmievačiek 0.92 (recall), 0.84 (precision) a 0.75 (overlap) a roztmievačiek 0.93 (recall), 0.84 (precision) a 0.74 (overlap)

Metóda využívajúca singulárny rozklad matice (SVD) a štatistické testy Použitím SVD sú šum a triviálne variácie ignorované SVD transformuje podobné snímky blízko k sebe Ku každej snímke fi vytvoríme 3D normalizovaný histogram hi (každý rozmer reprezentuje jednu zložku R, G, B zo 16 triedami); rozmer vektora príznakov je teda M = 163 = 4096 Každý stĺpec ai matice A je M-rozmerný vektor príznakov f1 f2 f3 f4 snímky A a1 a2 ai . . .

Aplikovanie SVD na maticu histogramov A Z možných M singulárnych hodnôt berieme do úvahy iba K najväčších (K << M) Uvažovaná časť reprezentácie histogramu snímky ai po aplikácii SVD je vo vektore Príklady premietnutých vektorov

Spájanie zhlukov na základe štatistických hypotéz Predpoklad: príznakové vektory zodpovedajúce snímkam v jednom zábere tvoria jeden zhluk Ako mieru podobnosti snímok fi a fj sme zvolili kde a sú aproximácie týchto snímok pomocou SVD Rozdelenie do zhlukov na základe predchádzajúcej miery s preddefinovaným prahom δ Testujeme, či sa dva zhluky dajú spojiť - používame K- rozmerné von Mises-Fisher rozdelenie s priemerným smerom μ a koncentračným parametrom κ

Výsledky Nosná časť algoritmu má asymptotickú zložitosť O(NM2)

Spojenie metód využívajúcich vzájomnú informáciu a SVD Pre každú snímku fi 11-rozmerný vektor príznakov - 10 rozmerný vektor získaný z SVD Ii - vzájomná informácia medzi fi a fi+1 Aplikovaná zhlukovacia metóda ako pri SVD metóde

Detekcia prechodov medzi zábermi pomocou segmentácie grafu Počítame MI medzi viacerými dvojicami snímok v časovom úseku zvolenej pevnej dĺžky Kumulatívna miera pre každý časový úsek je daná vzťahom Lokálne minimá kumulatívnej miery určujú prechody medzi zábermi

Príklad kumulatívnej miery

Výber kľúčových snímok Zhlukovanie na základe hodnôt štandardnej odchýlky vzájomnej informácie v zábere Výber potenciálnych kľúčových snímok – na základe maximalizácie vzájomnej informácie v zhluku Test podobnosti potenciálnych kľúčových snímok