2. Analiza gibanja, .... Detekcija, sledenje, analiza, ....
Področja uporabe, ....
Pristopi, ....
Sledenje s Kalmanovim filtrom (Matej Perše)
Analiza športnih dogodkov (Janez Perš)

3. Detekcija,sledenje,analiza,...
Detekcija (zaznavanje) (Angl. Motion detection)
kje se objekt zanimanja nahaja v sliki
Sledenje (Angl. (Motion) Tracking)
kje se objekt zanimanja nahaja v zaporedju slik
Analiza (kvalitativna, kvantitativna) (Angl. Motion Analysis)
kaj se z objektom zanimanja dogaja
Razpoznavanje (Angl. Recognition)
kaj objekt zanimanja je
Razumevanje (Angl. Understanding)
kakšen je pomen

4. Področja uporabe Prometni sistemi Nadzorni (varnostni) sistemi
Uporabniški vmesniki
Šport
....

5. Prometni sistemi Samostojno vozilo (navigacija, ....)
Podpora vozniku (zaznavanje pešcev, ...)
Nadzor prometa (gostota, zastoji, ...)

6. Samostojno vozilo
Ernst Dickmanns, Universität der Bundeswehr München, 1999.

7. Podpora vozniku
D. M. Gavrila, DaimlerChrysler Research, Ulm, Germany, 1999-
Primerjnaje s predlogo in ‘distančni transform’, od grobega k finejšemu.

8. Nadzor prometa
J. Malik et al., Computer Vision Group, University of California, Berkeley, ~ 1996

9. Nadzorni (varnostni) sistemi
D. Hogg, School of Computing, University of Leeds, UK, ~ 1998.

10. Uporabniški vmesniki
D. Gorodnichy, Computational Video Group National Research Council of Canada, 2002.

11. Analiza športnih dogodkov
Raziskave na področju športa
Pomoč trenerjem
Obogatitev športnih prenosov,
priprava novic, arhiviranje

12. Športni dogodki
I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

13. Športni dogodki
I. Lesjak, A. Leonardis, LRV, FRI, UNI-LJ, 2001.

14. Športni dogodki
J. Perš, G. Vučkovič, FE, FŠ, UNI-LJ, 2001

15. Analiza gibanja V računalniškem vidu skušamo na podlagi zaporedja
slik iz ene (ali več) kamer sklepati na gibanje
objektov v prostoru.
Slika se kot posledica gibanja objektov v
prostoru s časom spreminja in
z analizo teh sprememb skušamo sklepati na
gibanje objektov.
Op.:
Stacionarna kamera, gibljiv prizor
Gibljiva kamera, stacionaren prizor
Gibljiva kamera, gibljiv prizor

16. Analiza gibanja – streo vid
Problematika analize gibanja (zaporedja slik) ima
precej skupnega s stereo vidom.
V obeh primerih gre za iskanje korespondence med
dvema podobnima slikama.
V primeru časovnega zaporedja slik je ta razlika
običajno majhna – primerjanje je manj zahtevno.
So pa disparitete slik bolj svobodne.

17. Pristopi Diferenčne metode Odštevanje ozadja
Odštevanje (zaporednih) slik
Optični tok (in polje gibanja)
Primerjalne metode (podobno kot stereo)
Primerjanje – sledenje področij
Primerjanje - sledenje značilnosti
Prilagodljivi modeli (‘kače’)
Kalmanov filter
....

18. Čas do “dotika”
Gibljivi vizualni vzorci vsebujejo veliko količino informacije.
Že samo na podlagi slike se da ugotoviti čas do dotika (trčenja)
(Angl. Time to Impact, Time to Collison).
Slikovna
ravnina X Z0
Z = Z0 - v . t f x0 x P P v p

19. Polje gibanja
Polje gibanja (angl. Motion Field) je 2D upodobitev polja
(vektorjev) hitrosti gibanja (Angl. Velocity Field) v prizoru.
Slikovna
ravnina P V p v
Vektor
hitrosti f Z
Vektor
gibanja
Translatorna
hitrost
Kotna
hitrost

20. Optični tok (angl. Optical Flow)
Časovne spremembe svetlosti slike imenujemo
‘optični tok’ (Angl. Optical Flow).
Na podlagi optičnega toka skušamo sklepati na
gibanje objekov.
Optični tok pove veliko o polju gibanja in
polju hitrosti,
Vendar so svetlostne spremembe v sliki
posledica tudi drugih učinkov, ne le gibanja.

21. Enačba optičnega toka E(x+x,y+y,t+t) y+y y E(x,y,t) x x+x Časovna
sprememba
svetlosti
x+x
Svetlostni
gradient

22. Optični tok – problem reže
Koliko nam enačba optičnega toka pove o polju gibanja?
Določiti se da samo komponento hitrosti v smeri svetlostnega
gradienta
Pojav je znan kot ‘problem reže’
(angl. Aperture problem).

23. Optični tok Računanje optičnega toka je zelo občutljivo na šum.
Priporočljivo je (predhodno) filtriranje z nizkopasovnim (na
primer Gaussovim) filtrom.
Lahko pa operacijo filtriranja in odvajanja kar združimo, t.j.
filtriramo z odvodom Gaussa.
Smiselna je tudi naslednja predpostavka:
polje gibanja se počasi spreminja
(je konstantno v majhni okolici izbrane točke).
Torej lahko za vse točke (slikovne elemente) v majhni okolici
določimo skupen (povprečen) vektor polja gibanja.

24. Optični tok
Za vsako točko pi v majhni okolici, t.j. ‘oknu’ velikosti N x N
lahko zapišemo:
Iščemo v, ki minimizira srednjo kvadratno odstopanje:
Za vsako točko v oknu izračunamo svetlostni gradient in
časovni odvod ter izračunamo optimalni v.
To naredimo za vse točke v sliki ?

25. Optični tok
Minimizacija
pomeni rešiti enačbo

26. Še o optičnem toku ‘Detektor oglišč’
‘Dobre’ sledilne točke so tiste z velikima
lastnima vrednostima.

27. Optični tok – primer rezultata
J. Perš, LST, FE, UNI-LJ, 2003.
(A. Jepson, M. Black, University of Toronto, 1993)

28. Optični tok – polje gibanja
Optični tok je dobra aproksimacija polja gibanja:
v primeru Lambertovih površin,
majhnih fotometričnih distorzij,
oddaljenega točkovnega svetila,
na mestih z velikim svetlostnim gradientom.

29. Toge predloge
Janez Perš, FE, UNI-LJ, 1999.

30. Deformabilni modeli Aktivni modeli krivulj (kače) (Kass, Witkin):
Krivuljo položimo na slikovno ravnino, kot da je elastična
in jo prilagodimo na vsebino slike.
Krivulji v(s)=(x(s),y(s)), s  [0,1] pripada energijski funkcional:
Kar takoj si bomo ogledali, kako je formulirana aktivna kriuvlja. Kot rečeno, je to 1D aktivni model, ki ga največkrat uporabljamo na 2D podatkih ozrioma na 2D sliki, čeprav načeloma ni nobenih ovir, da aktivnih krivulj ne bi mogli uporabljati tudi na 3D podatkih oziroma slikah. Klasična aktivna krivulja je definirana tako, da ji določimo položaj v parametrični obliki, torej vzdolž ene neodvisne spremenljivke, ki ima vrednost med 0 in 1. Krivulja postane aktivna s tem, da ji pripišemo energijski funkcional, ki zajema dva izvora sil, ki vplivata na obliko aktivne krivulje. To so notranje sile, ki izvirajo iz same elastičnosti modela in zunaje sile, ki izvirajo iz slike oziroma podaktov.
Druga enačba nam podrobneje prikazuje, kako je formulirana elastičnost modela. Sestavljena je iz dveh prispevkov. Prispevek prvega odvoda povzroči, da se aktivni model obnaša kot raztegnjena elastika, ki se želi skrčiti v točko. Prispevek drugega odvoda povzroči, da se akivni model obnaša kot upognjena kovniska struna, ki se želi zravnati. Ta dva člena nadziramo s parametroma elastičnosti alfa in beta in z njima določamo, kako močne so te notranje sile, ki želijo skrčiti oziroma zravnati aktivni model.
Minimum energijskega funkcionala izračunamo z reševanjem Eulerjeve diferencialne enačbe. Tretja enačba nam prikazuje Eulerjevo diferencialno enačbo za primer aktivne krivulje. Kot vidimo je sestavljena iz treh členov. Prva dva ustrezata notranji energiji energijskega funkcionala, v tretjem členu pa so zajete zunanje sile.
Enačbo lahko zapišemo tudi nekoliko drugače, tako, da zunanje sile postavimo na drugo stran enačaja in ta enačba nam bolje razkrije, da gre pri minimizaciji dejansko za iskanje ravnovesja med notranjimi in zunanjimi silami. Če zunanjih sil ni, se bo aktivni model krčil proti točki. Kadar pa zunanje sile so prisotne, se lahko vzpostavi ravnovesje. Zunanje sile pa morami izbrati tako, da se ravnovesje vzpostavi na zaželjenem mestu.
Ta enačba je zapisana v zveznem prostoru. Če želimo enačbo reševati s pomočjo računalnika, jo moramo ustrezno predelati, kar storimo z diskretizacijo s končnimi diferencami.
Minimum energijskega funkcionala poiščemo
z rešitvijo Eulerjeve diferencialne enačbe:
Elastični model krivulje

31. Diskretna oblika kače
Z diskretizacijo po metodi končnih deiferenc (za i-to točko krivulje):
Vektor diskretnih točk krivulje
Tukaj vidimo formulacijo aktivne površine. Aktivna površina je 2D aktivni model, ki ga največkrat uporabljamo na 3D podatkih ozrioma na 3D sliki, čeprav načeloma ni nobenih ovir, da aktivne površine ne bi mogli uporabljati tudi na 2D podatkih oziroma slikah. Klasična aktivna površina je definirana tako, da ji določimo položaj v parametrični obliki, torej vzdolž dveh neodvisnih spremenljivk, ki imata vrednost med 0 in 1. Površina postane aktivna s tem, da ji pripišemo energijski funkcional. Kot vidimo je to tokrat dvojni integral, ki pa ravno tako zajema dva izvora sil, ki vplivata na obliko aktivne površine.
Druga enačba nam podrobneje prikazuje, kako je formulirana elastičnost aktivne površine. Ta je zdaj sestavljena je iz dveh prispevkov prvega odvoda, vzdolž vsake dimenzije posebej, dveh prispevkov drugega odvoda vzdolž vsake dimenije posebej in še dodatnega mešanega člena drugega odvoda, ki pri aktivni krivulji ni bil prisoten. Vpliv posamenih prispevkov je enak kot pri aktivni krivulji. Pripspevek prvega odvoda povzroči, da se aktivni model obnaša kot raztegnjna elastična membrana, prispevek drugega odvoda pa povzroči, da se akivni model obnaša kot upognjena kovinska plošča, ki se želi zravnati na mestih ukrivljenosti. Tudi tokrat moč notranjih sil nadziramo s parametri elastičnosti alfa in beta.
Tudi za aktivno površno velja, da minimum energijskega funkcionala poiščemo z reševanjem Eulerjeve diferecialne enačbe, ki je zapisana tukaj. Za reševanje enačbe s pomočjo računalnika, moramo enačbo spet diskretizirati s končnimi diferencami.
‘Privlačno’ polje, ki ga generira slika
Matrika prožnosti (model krivulje)

32. Deformabilni modeli
Aktivni modeli krivulj (Angl. Active contours models) “Snakes”.
J. Denzler, H. Niemann, Institut für Informatik, UNI-Erlangen-Nürenberg, ~1997.

33. Kalmanov filter (R.E.Kalman 1960)
Kalmanov filter je danes osnovno orodje, ki se na
področju računalniškega vida uporablja za sledenje
objektov v povezavi z najrazličnejšimi drugimi pristopi.
Kalmanov filter s stališča sledenja pomaga oceniti nov položaj
gibajočega se objekta (značilne točke) in negotovost položaja,
to je napove kje iskati objekt v naslednji sliki in
kolikšno naj bo področje iskanja (pregledovanja).
Rešuje probleme v zvezi z
mankajočo informacijo,
nepopolno informacijo,
moteno informacijo.

34. Analiza športnih dogodkov
Začetki 1998
.....
Komercialni projekt , 2004 –

35. Sledenje - rezultat