クロスバリデーションを用いた ベイズ基準によるコンテキストクラスタリング ◎橋本 佳，全 炳河，南角吉彦， 李 晃伸，徳田恵一 （名工大）

はじめに 変分ベイズ法に基づく音声認識（渡部ら; ’04） Cross Validationに基づく事前分布設定 事前分布をモデル学習に利用 ⇒ 事後分布推定・モデル構造選択に影響 ⇒ 共有構造を考慮した事前分布推定（橋本ら; ’07） ⇒ 過学習の問題 Cross Validationに基づく事前分布設定 汎化性能の高いモデル構造を選択 Cross Validationを用いたML基準（篠崎; ’06） ⇒ ベイズ基準に拡張

全てのモデルパラメータを考慮 ⇒ 高い汎化性能 ベイズ基準 モデルパラメータ を確率分布で表現 事前分布 : 学習データ 事後分布 : 認識データ 予測分布 : 全てのモデルパラメータを考慮 ⇒ 高い汎化性能

変分ベイズ法 （1/2） 隠れ変数 を含むモデルの事後分布 変分ベイズ法による近似事後分布推定（Attias; ’99） 隠れ変数 を含むモデルの事後分布 ⇒ 直接的な計算は困難 ⇒ 事後分布推定には近似手法が必要 変分ベイズ法による近似事後分布推定（Attias; ’99） ：独立性を仮定 ⇒ 近似事後分布

変分ベイズ法 （2/2） 対数周辺尤度の下限 を定義 変分法によって 　を最大化する事後分布を導出

ベイズ基準における適切なモデル構造を選択 ベイズ基準のコンテキストクラスタリング を最大化する決定木構造を選択 : 先行音素は母音？ 質問の選択 : yes no の増加量 : ⇒ 増加量が最大となる分割 分割停止条件 : ベイズ基準における適切なモデル構造を選択

事前分布の設定 共役事前分布を設定 事前情報による事前分布の設定 事前分布と事後分布が同じ分布族 解析的な事後分布推定が可能 尤度関数 ：事前情報のデータ量 : ベクトル次元数 ：事前情報の平均 ：事前情報の分散

Cross Validationを用いたML基準 モデル推定・評価に用いるデータを分離 学習データをK個に分割 2,3 1,3 1,2 モデルパラメータ 推定 モデル評価 : 尤度の計算 汎化性能の高いモデルを推定

Cross Validationを用いたベイズ基準 学習データをK個に分割 2,3 1,2 1,3 事前分布 設定 事後分布 推定 モデル評価 : の計算

CVを用いたベイズ基準モデル構造選択 を最大化する決定木構造を選択 汎化性能の高いモデル構造を選択 各ノードで を計算 分割前後での増加量 : 先行音素は母音？ yes no 各ノードで を計算 分割前後での増加量 が最大となる分割を行う 分割停止条件 : 汎化性能の高いモデル構造を選択

実験条件 データベース JNAS 学習データ 1,000文 20,000文 テストデータ 100 文 サンプリング周波数 16 kHz 1,000文　20,000文 テストデータ 100 文 サンプリング周波数 16 kHz 窓関数 Hamming 窓 フレームサイズ / シフト 25 ms / 10 ms 特徴量 12次元 MFCC + ΔMFCC 　　　 + ΔEnergy (25次元)

実験内容 モデル構造と認識率に対する従来法との比較 テストデータに対する による汎化性能の評価 学習基準 モデル構造選択基準 MDL テストデータに対する による汎化性能の評価 学習基準 モデル構造選択基準 MDL ML基準 MDL基準 CV-ML CVを用いたML基準 CV-Bayes ベイズ基準 CVを用いたベイズ基準 CVにおける学習データの分割数 10

従来法との比較（1/2） モデル構造と音素認識率（学習データ1,000文）

提案法は認識率が最大となるモデル構造に近づく 従来法との比較（2/2） モデル構造と音素認識率（学習データ20,000文） 提案法は認識率が最大となるモデル構造に近づく ⇒ MDLから8.48%の誤り改善率 8.48%

汎化性能の評価（1/2） テストデータに対する （学習データ1,000文）

テストデータに対する が最大となるモデル構造を選択 汎化性能の評価（2/2） テストデータに対する （学習データ20,000文） テストデータに対する が最大となるモデル構造を選択 ⇒ 汎化性能の高いモデル構造を選択

むすび CVを用いたベイズ基準によるモデル構造選択 今後の課題 ⇒ 認識率が最高となるモデル構造とは異なる クロスバリデーションに基づく事前分布設定 従来法と比較して8.48%の誤り改善率 汎化性能の高いモデル構造を選択 ⇒ 認識率が最高となるモデル構造とは異なる 今後の課題 識別的な基準を導入 階層的な事前分布構造の検討

ベイズ基準にCross Validationを導入 はじめに 変分ベイズ法に基づく音声認識（渡部ら; ’04） モデルパラメータを分布として表現 事前分布をモデル学習に利用 ⇒ 事後分布推定・モデル構造選択に影響 ⇒ 学習データから事前分布を推定（橋本ら; ’07） Cross Validationを用いたモデル評価 CVを用いたML基準によるモデル構造選択（篠崎； ’06） ⇒ 汎化性能の高いモデル構造を選択 ベイズ基準にCross Validationを導入

決定木構造に基づくコンテキストクラスタリング コンテキスト依存モデル 音素の特徴は周囲の音素から変化 ⇒ 音素文脈（コンテキスト）を考慮してモデル化 a t-a-i s-a-i k-a-o … ○ 詳細な特徴を表現可能 × モデル数の増加 ⇒ データ量不足の問題 × 未知コンテキストのモデル化が不可能 決定木構造に基づくコンテキストクラスタリング

コンテキストクラスタリング モデル構造を決定木によって表現 適切なモデル構造を選択することが重要 コンテキストに関する質問による分割 類似モデルのパラメータを共有 未知コンテキストに対応 yes no 先行音素は母音？ 決定木 表現能力 データ量 小 低 多 大 高 少 適切なモデル構造を選択することが重要

尤度最大化基準（ML基準） 尤度が最大となるモデルパラメータ を推定 学習データ : 予測分布 : 認識データ : 尤度が最大となるモデルパラメータ を推定 学習データ : 予測分布 : 認識データ : 学習データ量 多量 少量 データ 推定される モデル 学習データ量が少量の場合に過学習の問題

全てのモデルパラメータを考慮 ⇒ 高い汎化性能 ベイズ基準 モデルパラメータ を確率分布で表現 尤度関数 事前分布 : 学習データ 事後分布 : 認識データ 予測分布 : 全てのモデルパラメータを考慮 ⇒ 高い汎化性能