2. Iz vsebine Osnovno o modeliranju kamere
Direktna linearna transformacija (DLT)
Distorzija leče
Kalibracija kamere (DLT, Tsai)
Rekonstrukcija, iz slike nazaj v prizor
Še nekaj pogledov na modeliranje kamere

3. Geometrijski modeli kamer
Zanima nas, kako se točke v prostoru
preslikajo (projicirajo) v sliko.
Modeliramo preslikavo 3D prizora v 2D
slikovno ravnino.

4. Geometrijski modeli kamer
Centralno projekcijski (perspektivni) model O X Y Z
Slikovna
ravnina o f
P=(X,Y,Z) p x y

5. Geometrijski modeli kamer
Centralno projekcijski (perspektivni) model Y X P p O y x o f Z
Slikovna
ravnina

6. Geometrijski modeli kamer
Šibko perspektivni model (angl. Week Perspective)
Debelina predmeta majhna v primerjavi z razdaljo, Z << Z.
Tanki (planarni) predmeti ali na primerno veliki razdalji.
Ortografska projekcija s skaliranjem.

7. Geometrijski modeli kamer
(Digitalno) sliko sestavlja polje slikovnih elementov (pikslov).
Slikovne koordinate so diskretne, izražene v “pikslih”, (u, v). u v u v
Za veliko praktičnih primerov zadostuje,
da določimo u , v (oziroma fu , fv ) ali mu, mv.

8. Geometrijski modeli kamer
Položaj točke P v prostoru (koordinate X, Y, Z )
smo podajali glede na koordinatni sistem (k.s.) kamere.
Koordinatni sistem kamere pa ni direktno dosegljiv.
P(X,Y,Z) p Y O Z X

9. Geometrijski modeli kamer
Položaj predmeta (P) raje definiramo v zunanjem –
“svetovnem” - referenčnem k.s., v katerem so koordinate
(direktno) merljive.
K.s. npr. definirajo stene/tla prostora, predmet pravilne
oblike (kvader), stroj, robot, ...
Preslikava 3D -> 2D:
Zasuk, premik v k.s. kamere
Projekcija v slikovno ravnino U V X Y Z
P(X,Y,Z) O
p(u,v)

10. Geometrijski modeli kamer
Parametri kamere:
Zunanji (angl. Extrinsic, External):
položaj in smer kamere (k.s. kamere)
glede na poznan zunanji koordinatni
sistem (referenčni k.s.)
Notranji (angl. Intrinsic, Internal):
parametri, ki povezujejo slikovne
koordinate pikslov s k.s. kamere.
Vsega skupaj 11 ali več parametrov:
premik (3), zasuk (3),
goriščna razdalja (1), optično središče slike (2),
velikost piksla (2).
K tem (po potrebi) dodamo še distorzijo leče:
odvisno od modela (1 – 5 parametrov).

11. Iz vsebine
Direktna linearna transformacija (DLT)

12. Direktna linearna transformacija
Načeloma iščemo preslikavo
T: 3  2
P  p X Y Z
P(X,Y,Z) a V
p(u,v,0) b
o(u0,v0,0)
O(X0,Y0,Z0)
O(U0,V0,f) W U

13. Direktna linearna transformacija
Kolinearnost vektorjev a in b:
b = c a, c >= 0 (skalar)
b izrazimo v k.s. kamere, b(U,V,W)
a izrazimo v zunanjem k.s., a(X,Y,Z)
b = p(U,V,W=0) – o(U0,V0,W0=f)
a = P(X,Y,Z) – O(X0,Y0,Z0)
b = c R a
R = rotacijska matrika
p–o = c R (P–O) U V P
O(X0,Y0,Z0) W p a b
o(U0,V0,f)

14. Direktna linearna transformacija
P(X,Y,Z)
Zapišimo
p–o = c R (P–O)
v komponentni obliki: a V
p(U,V,0) b
O(X0,Y0,Z0)
O(U0,V0,0)
O(U0,V0,f) W U

15. Direktna linearna transformacija
Vstavimo izraz za c v prvi dve enačbi:
Diskretiziramo slikovni koordinati:
(u0, v0 ) = točka, kjer optična os prebada slikovno ravnino
Velikost piksla (u, v)- faktor skaliranja –
je v horizontalni in v vertikalni smeri na splošno drugačna.

16. Direktna linearna transformacija
Standardna in bolj pregledna oblika zapisa:
Li (i = 1,2,...,11) so t.i. parametri DLT

17. Parametri DLT

18. Ponazoritev izpeljave za u

19. DLT + distorzija leče u,v: Distorzija leče (odvisna od u,v)
(Pravzaprav bi morali pisati u = ud+ u)
u,v: Distorzija leče (odvisna od u,v)
(u,v) = (u(u,v),v(u,v))
Modeliranje distorzije prinese 1,2, ali
celo več dodatnih parametrov in
nelinearnost.

20. Iz vsebine Kalibracija kamere Metoda 1 (DLT)
Določitev parametrov preslikave
Rekonstrukcija - določanje koordinat točk v
prostoru.
Metoda 2 (Po Tsai-u)

21. Iz vsebine
Kalibracija - Metoda 1 (DLT)

22. DLT enačbe (še enkrat) Z X Y P(X,Y,Z) a V p(u,v,0) b o(u0,v0,0)
O(X0,Y0,Z0)
O(U0,V0,f) W U

23. DLT parametri(še enkrat)

24. DLT kalibracija
Iščemo neznane vrednosti Li (i=1,2,....,11)

25. DLT kalibracija Enačbi točke: poznamo koordinate točke v
prostoru in koordinate iste točke v slikovni
ravnini, iščemo neznane parametre modela.
Vsaka točka prispeva dve enačbi.
Neznanih parametrov je 11.
Potrebujemo vsaj 6 “kontrolnih” oziroma
“kalibracijskih” točk.
V praksi jih vzamemo (čim)več.

26. DLT kalibracija
Vektor b
Matrika A

27. DLT kalibracija Iščemo rešitev predoločenega sistema
enačb (več enačb kot neznank).
Metoda najmanjših kvadratov.

28. DLT kalibracija, X0,Y0,Z0

29. DLT kalibracija, X0,Y0,Z0

30. DLT kalibracija, X0,Y0,Z0

31. DLT kalibracija, X0,Y0,Z0

32. DLT kalibracija, u0,v0 1 Zahtevamo ortogonalnost rotacijske matrike R
Rotacijska matrika R = [rij] je ortogonalna matrika,
RT R = I, (ohranja razdalje).

33. DLT kalibracija, u0,v0
Pogoji ortogonalnosti – računamo u0 1

34. DLT kalibracija, u0,v0
Pogoji ortogonalnosti – za v0 1

35. DLT kalibracija, u0,v0
Pogoji ortogonalnosti - u0,v0

36. DLT kalibracija, R=[rij]

37. DLT kalibracija, R=[rij]

38. DLT kalibracija, R=[rij]

39. DLT kalibracija, R=[rij]
fu in fv še ne poznamo

40. DLT kalibracija, fu in fv
Pogoji ortogonalnosti

41. DLT kalibracija, povzetek
-Kalibracijski “vzorec” -> Xi,Yi,Zi,(i=1,...,N)
Točke ne smejo biti koplanarne.
Točke morajo dobro “pokriti” delovni prostor.
-Slika vzorca, obdelava -> ui,vi,(i=1,...,N)
-Xi,Yi,Zi,ui,vi,LS metoda -> L1,...,L11
-L1,...,L11 -> X0,Y0,Z0
-L1,...,L11, ortogonalnost -> u0,v0
-L1,...,L11,u0,v0, -> fu,fv
-L1,...,L11,u0,v0,fu,fv  -> R=[rij]

42. Kalibracija,...
Na točnost kalibracije direktno vpliva točnost kalibracijskega vzorca.
Praktično pravilo: toleranca vzorca naj bo vsaj za velikostni razred
boljša od zahtevane merilne točnosti.
Kalibracijske točke naj bodo razporejene po vsem prostoru in take,
da jih je moč detektirati (v sliki) zanesljivo in točno. Tipičen
kalibracijski vzorec je kvader poslikan s šahovnico.
Posnamemo lahko tudi več slik.
Še enkrat povejmo:
ko je sistem kalibriran, ne smemo ničesar več spreminjati.

43. Kalibracija,...
Nekatere raziskave so šle tudi v smeri postopkov dinamične kalibracije.
Sistematično spreminjanje (nekaterih) parametrov sistema, kalibracije in
modeliranja sprememb (R. Wilson) “aktivni vid”.
Če nekatere od parametrov že poznamo, jih nima smisla kalibrirati.
Če je prizor 2D (Z=0), vzamemo 2D (npr. DLT) model. Ni treba, da bi
bili delovna površina in slikovna ravnina vzporedni.
Nekatere raziskave so šle tudi v smeri delne (šibke) kalibracije,
nekalibrirani sistemi pa so aktivno raziskovalno področje nasploh.

44. Kalibracija,... Napako kalibracije se da ovrednotiti:
V slikovnem prostoru: enostavno preslikamo kontrolne točke v sliko
in izračunamo srednje kvadratično odstopanje izračunanih od
izmerjenih vrednosti.
Še bolje da uporabimo kontrolne točke, ki za kalibracijo
niso bile uporabljene.
V zunanjem prostoru: potrebna je rekonstrukcija.

45. Določanje X,Y,Z Kamera je sedaj “kalibrirana”
Dokler ne spremenimo postavitve (obrnemo obroček na
objektivu, premaknemo kamero, ...
Določanje položaja predmeta:
Poznamo parametre modela L
Poznamo slikovne koordinate u,v
Iščemo koordinate točk v prizoru X,Y,Z
DLT model nam slika prostorske koordinate v slikovne.
Rabimo obratno preslikavo.
Kako?

46. Položaj predmeta X,Y,Z
Ponovno obrnemo enačbi DLT

47. Položaj predmeta X,Y,Z V matrični obliki: Vsaka točka v sliki (u,v)
prispeva dve enačbi,
toda prinese tri neznanke (X,Y,Z)

48. Položaj predmeta X,Y,Z Potrebujemo dodatne omejitve ...
ali več informacije

49. Položaj predmeta X,Y,Z Pomaga več slik, več (m > 1) kamer
ene in iste točke v prostoru.
Enačbe spet rešimo z metodo
najmanjših kvadratov

50. Položaj predmeta X,Y,Z “Postavimo” (kalibrirane) kamere
Potrebujemo vsaj dve sliki (dve kameri)
Posnamemo slike istega prizora
Sedaj imamo več slik istega prizora
Analiziramo slike (vsako zase)
Določimo koordinate “pomembnih” točk v slikah
Bistven problem: katere točke v teh slikah upodabljajo
isto točko prizora?
Problem korespondence – stereo ujemanja
Stereo primerjanje

51. Iz vsebine
Kalibracija - Metoda 2 (Tsai)

52. Tsai - kalibracija
Opomba: najprej zasuk, potem premik

53. Tsai - kalibracija Vsaka točka prispeva eno enačbo
N točk -> N enačb

54. Tsai - kalibracija SVD - Razcep na singularne vrednosti
A = U D VT -> Rešitev: v
v: stolpec matrike V za singularno vrednost v matriki D z vrednostjo 0.

55. Tsai - kalibracija Poznamo rešitev do konstante
Poznamo 1. in 2. vrstico matrike R
Določimo 3. vrstico kot vektorski produkt prvih dveh

56. Tsai - kalibracija Določili smo rotacijsko matriko,
komponenti translacije X0,Y0,
manjkata nam še Z0 in fu
Spet z metodo najmanjših kvadratov
rešimo predoločen sistem (za N točk)

57. Tsai - kalibracija Določili smo: rotacijsko matriko,
komponente translacije X0,Y0,Z0
ef. goriščni razdalji fu,fv.
Določimo še optični center:
spet več možnosti

58. Optični center

59. Modeliranje kamere
Še en pogled na modeliranje kamere

60. Matrična oblika
M – Projekcijska matrika

61. Matrična oblika

62. Še praktični primer

63. Literatura 1/2 R. Duda, P. Hart, Pattern Classification and Scene
Analysis Image Processing, John Wiley, 1973.
D. Ballard, C. Brown, Computer Vision, Prentice
Hall, 1982.
B. Horn, Robot Vision, MIT Press, 1985.
E. Trucco, A. Verri, Introductory Techniques for 3D
Computer Vision, Prentice Hall, 1998.
M. Sonka, V. Hlavač, R. Boyle, Image Processing,
Analysis, and Machine Vision, PWS Publishing, 1999.

64. Literatura 1/2 http://kwon3d.com/theory/dlt/dlt.html
R. Tsai, A vesatile camera calibration technique for
high-accuracy 3D machine vision metrology using
off-the shelf TV cameras and lenses, IEEE RA-3,
No.4, 1987, p.323, 344.
M. Jug, Umerjanje sistema stereo kamer,
diplomsko delo, FER, 1994.
A. Noe, Kalibracija kamere s telecentričnim
objektivom, Diplomsko delo, FE 1999.