語音 音樂：烘托氣氛、強化主題。。。 音效：風聲、雨聲。。。 聲音信號的介面與處理 語音 音樂：烘托氣氛、強化主題。。。 音效：風聲、雨聲。。。 多媒體概論mm03.ppt
聲音的採集 音訊的頻率範圍 立體聲音訊：由左右兩路單音所組成。 聲音採集過程 電話(200~3.4kHz) 、調幅廣播(50~7kHz) 、調頻廣播(20~15kHz) 、寬頻音響(20~20kHz) 立體聲音訊：由左右兩路單音所組成。 聲音採集過程 由拾音器（麥克風）收集。 程控放大器：隔離放大加上可程式衰減。 低通濾波 ADC：類比聲音轉成數位聲音 匯流排介面與控制邏輯：壓縮等處理。 存入記憶體。 多媒體概論mm03.ppt
聲音的播放 聲音播放過程 由儲存器取出壓縮資料 解壓縮 DAC：數位聲音轉成類比聲音 低通濾波 功率放大與音量控制 輸出到音響 多媒體概論mm03.ppt
音訊信號介面 左 左 程控放大 低通 A/D A/D 低通 功放語音控 音訊輸入 音訊輸出 記憶體 匯流排介面與控制邏輯 音訊處理器 右 右 多媒體概論mm03.ppt
聲音檔的種類 WAV：以波形表示的聲音，不經壓縮。 CD-DA：雷射唱盤的聲音，品質較WAV高。 MIDI：MIDI音訊由音符和時間值組成，佔用的儲存空間較少。 mp3 Wma 相關資料 多媒體概論mm03.ppt
音樂合成 聲音：包括擷取的聲音、合成的聲音 音色(timbre)：區分不同樂器或人的聲音的音質(tone)。 合成音樂：MIDI 合成語言 音色(timbre)：區分不同樂器或人的聲音的音質(tone)。 複調(polyphony)：同時演奏若干音符時發出的聲音。 多音色(multi-timbre)：同時演奏不同樂器時發出的聲音。 MIDI: Musical Instrument Digital Interface 1983年根據D. Smith開發的通用合成器(universal synthesizer)標準所製定。 電腦、電子樂器、演奏控制器彼此通訊的標準。 樂譜的數位描述，包含音符、定時、樂器指派。 多媒體概論mm03.ppt
MIDI合成器 利用數位訊號處理器(DSP)構成的電子設備，用來產生音樂或聲音。 利用一組固定的音調值來產生特定樂器的音色，在使用調頻(FM)原理，利用軟體控制產生豐富的聲音。 傳輸資料率為 31.25Kbps MIDI檔案儲存各種樂器的音色,音符, 節拍,音量, 16個樂器通道之指派 儲存指令而非實際波形, 所需空間小, 1分鐘 MIDI檔僅約4KB儲存空間。 多媒體概論mm03.ppt
多媒體資料壓縮考慮要素 壓縮後的影像或語音品質是否可接受 壓縮成本,包含運算時間,軟硬體需求 壓縮後的資料傳輸率,可否滿足傳輸通道的限制 多媒體概論mm03.ppt
聲音信號的處理 人耳可聽見頻率範圍 20Hz -- 20KHz CD-DA 20Hz -- 20KHz FM 調頻廣播 20Hz -- 15KHz AM 調頻 50Hz -- 7KHz 電話 300Hz--3.4KHz 多媒體概論mm03.ppt
信號的數位化 Analog-to-Digital (A-D) conversion Sampling 取樣 Quantization 量化 Coding 編碼 多媒體概論mm03.ppt
Sampling 取樣 Sampling Theory 連續性(continuous)信號轉為離散(discrete)資料時 ,取樣率(sampling rate)必須是信號頻寬的兩倍以上,方能從離散式完整還原為連續信號 discrete v.s. digital 轉換為頻域信號 Fourier transform 多媒體概論mm03.ppt
實例 聲音信號頻寬為 20 kHz, 理論上取樣率應為 40 kHz (CD-Audio 之取樣率為 44.1 kHz) 信號取樣頻率為 f (Hz), 且每個取樣值以 R個位元表示,則信號傳輸率 T: T = f x R (bits per second, or BPS) 多媒體概論mm03.ppt
數位音訊取樣率與資料率 多媒體概論mm03.ppt
語音壓縮 根據語音信號的冗餘度和人類的聽覺感知，在保持音質、限制碼率、編碼計算過程三者之間與一個折衷。 電話語音編碼 高品質語音編碼 波形編碼：把持與輸入波形不變。（錄音） 語聲編碼：聽起來一樣，但波形可以不同。（編碼器，彈鋼琴，MIDI） 高品質語音編碼 由中高碼率的編碼方法實現。 多媒體概論mm03.ppt
波形編碼 PCM: 脈衝編碼調變 DPCM: 差分脈衝編碼調變 A DPCM: 自適應差分脈衝編碼調變 SB: 子頻帶（sub-band），以4kHz為界，分高低頻。 多媒體概論mm03.ppt
混合編碼 混合參數模型法編碼及波形編碼以低於16kbps碼率得到高品質的合成語音。 基於按分析來合成的線性預測(LPAS)：採用聽覺加權技術，在閉環基礎上尋找主觀失真最小的激勵向量。 多脈衝線性預測編碼(MP-LPC)： 1982年，9.6kbps衛星導航通訊標準。 碼激勵線性預測(CELP)：1984年，使用向量量化(VQ)，能在4.8kbps以上的碼率獲得較高品質的語音。 CCITT G.728：1992年，使用貝爾實驗室的LD-CELP（低延遲碼激勵線性預測）演算法，以16 kbps編碼語音。 多媒體概論mm03.ppt
高傳真音響壓縮 20Hz~20kHz的信號 MPEG-1: ISO/IEC 11172標準 MPEG-2: ISO/IEC 13818標準 多媒體概論mm03.ppt
MPEG-1音訊壓縮系統 規定了用於數位儲存媒介的高品質音訊的編碼和解碼表示。 與雷射唱盤CD 、數位音訊碟帶(DAT: Digital Audio Tape)等介質所用的PCM標準相容。 利用聽覺掩蔽效應，取得良好的壓縮效果，使得在96kbs的碼率下達到CD的音質。 採用不同級別的編碼系統，及越高性能越好，且可以向下相容。 MP3 多媒體概論mm03.ppt
智慧語音介面技術 語音通訊(人講話、人聽話） 語音合成(機器講話、人聽話） 語音識別（人講話、機器聽話） 壓縮、編碼、傳輸 語音品質與傳輸碼率 語音合成(機器講話、人聽話） 摹坊人腦講話前的思維 發音規則、選詞、造句 語音識別（人講話、機器聽話） 摹坊人類的聽覺 識別語音的涵義 正確率 多媒體概論mm03.ppt