1 Multimedia Systems 多媒體系統 國立政治大學 資訊科學系 沈錳坤

多媒體 Multimedia: 整合 – Text( 文字 ) – Image( 影像 ) – Graphics( 圖形 ) – Audio( 音訊 ) – Video( 視訊 ) – Animation( 動畫 ) 等各種不同的媒體

Multimedia (cont.) 連續的媒體 (Continuous media) – 音訊、視訊、動畫 非連續的媒體 ( Discrete media) – 文字、圖形、影像

多媒體系統的應用 Interactive video game （互動式電玩） News-On-Demand （隨選新聞） Movie-On-Demand （隨選電影） KTV-On-Demand （隨選 KTV) Game-On-Demand （隨選遊戲） Distance Learning （遠距教學） Videophone （視訊電話） Video conference （視訊會議） Multimedia （多媒體電子郵件） CSCW (Computer-Supported Cooperative Work) Tele-commuting （電子通勤）

多媒體系統的應用（續） CD-Titles Electronic encyclopedias （電子百科全書） Multimedia magazines （多媒體雜誌） Digital libraries （數位圖書館） Digital museums （數位博物館） Information Kiosks （資訊站） WWW （全球資訊網）

6 Images 影像

數位影像 (Digital Images) 特徵 – 像素 (pixels, picture elements) – 顏色 (colors )

Digital Image (Cont.) Bitmap images (.bmp): – 黑白 (monochrome images) 1 像素 1 bit: 純白、純黑 – 灰階 (grayscale images) 1 像素 1 byte 每個像素 : 256 個等級的灰階 – 彩色 (color images) 1 像素 8 bits  256 色影像 color images 1 像素 24 bits  全彩影像

顏色的模型 RGB (Red, Green, Blue) CMY (Cyan 藍綠, Magenta 紫紅, Yellow) YUV (Y: 亮度, U, V: 色度 ) – Y = 0.299R G B – U = B - Y – V = R - Y HSV (Hue 色度, Saturation 飽和度, Value 亮度 ) – Hue: 色系 – Saturation: 顏色純度 – Value: 明亮度

Y, U, V Colors

影像壓縮 640 x 480 x 24 bits 全彩影像 = 7.4Mb 影像壓縮的原理 – 人類的視覺 – 像素的重複性 – 統計上的不均勻度 影像壓縮的標準 – GIF Graphics Interchange Format LZW – JPEG Joint Photographic Experts Group, – JPEG 2000

326,321 Bytes

46, 295 Bytes

29,360 Bytes

9,438 Bytes

Fractal Coding

19 Audio 音訊

數位 與 類比 數位 (Digital) 與類比 (Analog)

Digital Audio 音訊：聲波 特徵 – 振幅 (amplitude): 音量 – 頻率 (frequency): 音階、音高 – 相位 (phase): 聲音來源 – 波形 (wave form): 音色

鋼琴的 Do 大鍵琴的 Do Happy Birthday

音訊的檔案格式 Wave form:.wav,.au, ra, MIDI(Musical Instrument Digital Interface): mid 壓縮檔案 : mp3

音訊壓縮 2 Bytes 44.1KHz 2 channel  2*44100*60*2 = 10MB per minute 壓縮原理：人類聽覺限制、音訊重複性、統計不均勻度 Audio Compression standards – MPEG-1 Layer 1,2,3 – MPEG 2 Layer 1,2,3 – MPEG-2 AAC – Dolby AC-3 (DVD, HDTV) – MPEG-4 （語音合成、音樂壓縮 )

音訊壓縮的標準 sampling bits/schannelquality rate MPEG-1 Layer 132, 44.1, 48k32-448k1-2192k MPEG-1 Layer 232, 44.1, 48k32-448k1-2128k MPEG-1 Layer 332, 44.1, 48k32-320k1-296k MPEG-2 Layer 132, 44.1, 48k32-448k1~5.1192k 16,22.05,24k32-256k MPEG-2 Layer 232, 44.1, 48k32-384k1~5.1192k 16,22.05,24k8-160k1~5,1 MPEG-2 Layer 332, 44.1, 48k32-320k1~5.164k 16,22.05,24k8-160k1~5,1 MPEG-2 AAC8k~96k264.6(44.1k) 1~5.1384k( 原音） Dolby AC-332, 44.1k, 48k32~640k1~ k

26 Video 視訊

Video 視訊 – 連續影像 (Still images) – Frame rate: 人類視覺暫留 24~30 frames per second 現有類比視訊系統視訊 – NTSC (National Television Systems Committee) Taiwan, North American, Japan – PAL(Phase Alternation Line) Western Europe except Franc – SECAM (Sequential Couleur Avec Memire) France & parts of Eastern Europe

視訊壓縮標準 NTSC: 30*640*480*3  27.7MB/s  每小時 100GB Video Compressions Standards –Motion JPEG – H.261, H.263 – MPEG-1 – MPEG-2 – MPEG-4 ＊ MPEG: Motion Picture Expert Group

MPEG 壓縮的原理

視訊檔案格式.avi.mpg.mov.rm

31 Design Issues of Multimedia Systems 多媒體系統的研究課題

多媒體系統 多媒體系統 : – 產生 (creation) – 處理 (processing) – 儲存 (storage) – 管理 (management) – 擷取 (retrieval) – 傳送 (transfer) – 呈現 (presentation) * 數位 & 互動 多媒體資訊

多媒體系統的特色 多媒體整合 儲存空間的需求 及時的需求 服務品質的需求 同步的需求 互動性 標準化

多媒體頻寬的需求 文字 : 1 byte per character 影像 (bitmapped graphics, photos, faxes) – 64 KB per image – 7.5 MB per image 音訊 – Phone voice 8 KHz/8 bits (mono): 6-44KB/s – Audio CD DA 44.1 KHz/16 bit: 176 KB/s

多媒體頻寬的需求 (cont.) 動畫 – frames/s – 320 x 640 x 16 pixels frame, 16 bit color, 16 frames/s: 2.5MB/s 視訊 – frames/s – 640 x 480 x 24 pixels frame, 24 bit color, 30 frames/s: 27.7 MB/s

多媒體資料的空間需求 500 pages text: 1MB 100 fax images (uncompressed): 6.4 MB 100 color images (compressed 15:1): 500MB 10 min animation (compressed 15:1): 100MB 10 min video (compressed 30:1): 550MB 1 hr. video (compressed 200:1): 1GB

37 Authoring of Multimedia Systems 多媒體節目的編輯

40 Video-On-Demand

System Architecture of VOD CD Juke Box Disk Array Set-Top-Box multimedia network Server

Streaming Media RealNetwork RealPlayer G2 Microsoft Windows Media Player 台北愛樂電台

43 Content-Based Image Retrieval 以影像內容為主的查詢

影像查詢的方式

Query By Image Example –users select most similar image from randomly displayed images. –The State Hermitage Museum, St. Petersburg, Russia - Powered by IBMThe State Hermitage Museum, St. Petersburg, Russia - Powered by IBM

Query By Image Example (cont.)

Relevance Feedback

Color Features Consideration of color feature –color model: RGB, HSV, YIQ, … –number of colors: 256, 166, 26, 3, … –color representation: color histogram Color histogram: n-dimensional color bins

Color Histogram

紋路、材質 Brodatz collection

形狀

空間關係

55 Content-Based Video Retrieval 根據視訊內容的查詢

視訊瀏覽

劇情為主的視訊瀏覽

物體移動軌跡為主的視訊查詢

物體移動軌跡與空間關係 為主的視訊查詢

以例子為主的視訊查詢

場景變換的偵測

關鍵畫面的自動產生 Uniform extraction –first, last frames –uniform sampling Non-uniform extraction

63 多媒體的智慧財產權管理 數位浮水印