Selected areas in Image and Video Communication 371-2-1261 Chapter 1: Introduction to Image Processing Dr. Ofer Hadar Communication Systems Engineering Department Ben-Gurion University of the Negev This material is based on slides of to book Digital Image Processing, 2nd ed. And the lecture of Alexei Efros: 15-463: Rendering and Image Processing And the lecture of David Jacobs CMSC 426: Image Processing (Computer Vision) And the course of Prof. Shmuel Peleg: Image Processing: 2007/2008 www.cs.huji.ac.il/~impr And the lecture of Yael Termin from Bar Ilan terminy@cs.biu.ac.il April , 23, 2009 קורס עיבוד תמונה עבור אלביט מערכות
Overview Administrative Stuff Introduction What is this course about? Transmission of Audio and Video Signals Over the Internet 37111221 אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת
Administrative Stuff Classes: Thursday, building 90 room 237 @ 08:00-11:00. TA: Evgeney Kaminsky (evgenyk@bgu.ac.il) http://help.cse.bgu.ac.il/cse/courses lecture notes bulletin board reading information Transmission of Audio and Video Signals Over the Internet 37111221 אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת
Administrative Stuff Grading Appearance at the class at list 80% - 5% Homeworks – 45% Are mandatory in group of 2 students It will include open questions and Simulations. Mini project (with simulations) and presentation – 50% Transmission of Audio and Video Signals Over the Internet 37111221 אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת
Administrative Stuff Text Books R. C. Gonzalez and R.E. Woods, Digital Image Processing, 3rd Ed., (2007). Y. Wang, J. Ostermann, Y. Zhang, Video Processing and Communications, Prentice-Hall, (2002) Transmission of Audio and Video Signals Over the Internet 37111221 אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת
Course Overview: Part 1: Image and Video processing 1.1: Introduction to Image Processing 1.2: Image Enhancement :Histogram Equalization, Point processing and spatial image processing 1.3: Image Enhancement: spatial frequency domain 1.4: Image and video restoration 1.5 : Image and video segmentation, Target detection, Automatic Target Detection (ATR) Part 2: Advanced topics in Image and Video communication 2.1: Video quality measures 2.2: 3D Video compression -Multi view video coding 2.3: Rate distortion , complexity rate distortion and bit allocation 2.4: SVC coding in H.264 (SVC vs. MDC) 2.5: Video coding for Wirelles communication Part 3: Students presentations Transmission of Audio and Video Signals Over the Internet 37111221 אוניברסיטת בן-גוריון בנגב - המחלקה להנדסת מערכות תקשורת
קורס עיבוד תמונה עבור אלביט מערכות Image Formation f(x,y) = reflectance(x,y) * illumination(x,y) Reflectance in [0,1], illumination in [0,inf] קורס עיבוד תמונה עבור אלביט מערכות
Sampling and Quantization קורס עיבוד תמונה עבור אלביט מערכות
Sampling and Quantization קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות What is an image? We can think of an image as a function, f, from R2 to R: f( x, y ) gives the intensity at position ( x, y ) Realistically, we expect the image only to be defined over a rectangle, with a finite range: f: [a,b]x[c,d] [0,1] A color image is just three functions pasted together. We can write this as a “vector-valued” function: As opposed to [0..255] קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Images as functions Render with scanalyze???? קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות What is a digital image? We usually operate on digital (discrete) images: Sample the 2D space on a regular grid Quantize each sample (round to nearest integer) If our samples are D apart, we can write this as: f[i ,j] = Quantize{ f(i D, j D) } The image can now be represented as a matrix of integer values קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Image processing An image processing operation typically defines a new image g in terms of an existing image f. We can transform either the range of f. Or the domain of f: What kinds of operations can each perform? Use photoshop to make something grayscale קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Point Processing The simplest kind of range transformations are these independent of position x,y: g = t(f) This is called point processing. What can they do? What’s the form of t? Important: every pixel for himself – spatial information completely lost! קורס עיבוד תמונה עבור אלביט מערכות
Basic Point Processing קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Negative קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Log קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Image Enhancement קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Contrast Stretching קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Image Histograms קורס עיבוד תמונה עבור אלביט מערכות
Cumulative Histograms קורס עיבוד תמונה עבור אלביט מערכות
Histogram Equalization קורס עיבוד תמונה עבור אלביט מערכות
Neighborhood Processing (filtering) Q: What happens if I reshuffle all pixels within the image? A: It’s histogram won’t change. No point processing will be affected… Need spatial information to capture this. קורס עיבוד תמונה עבור אלביט מערכות
Example of Image Processing Applications קורס עיבוד תמונה עבור אלביט מערכות
Boundary Detection: Local cues קורס עיבוד תמונה עבור אלביט מערכות
Boundary Detection: Local cues קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Boundary Detection http://www.robots.ox.ac.uk/~vdg/dynamics.html קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות (Sharon, Balun, Brandt, Basri) קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Boundary Detection Finding the Corpus Callosum (G. Hamarneh, T. McInerney, D. Terzopoulos) קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Texture Photo Pattern Repeated קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Texture Photo Computer Generated קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Tracking (Comaniciu and Meer) קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Tracking (www.brickstream.com) קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Stereo http://www.ai.mit.edu/courses/6.801/lect/lect01_darrell.pdf קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Stereo http://www.magiceye.com/ קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Stereo http://www.magiceye.com/ קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Motion http://www.ai.mit.edu/courses/6.801/lect/lect01_darrell.pdf קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Motion - Application (www.realviz.com) קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Pose Determination Visually guided surgery קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות Recognition - Shading Lighting affects appearance קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות
קורס עיבוד תמונה עבור אלביט מערכות