1. クロスバリデーションを用いた ベイズ基準によるコンテキストクラスタリング
◎橋本 佳，全 炳河，南角吉彦，
李 晃伸，徳田恵一 （名工大）

2. はじめに 変分ベイズ法に基づく音声認識（渡部ら; ’04） Cross Validationに基づく事前分布設定 事前分布をモデル学習に利用
⇒ 事後分布推定・モデル構造選択に影響
⇒ 共有構造を考慮した事前分布推定（橋本ら; ’07）
⇒ 過学習の問題
Cross Validationに基づく事前分布設定
汎化性能の高いモデル構造を選択
Cross Validationを用いたML基準（篠崎; ’06）
⇒ ベイズ基準に拡張

3. 全てのモデルパラメータを考慮 ⇒ 高い汎化性能
ベイズ基準
モデルパラメータ を確率分布で表現
事前分布 :
学習データ
事後分布 :
認識データ
予測分布 :
全てのモデルパラメータを考慮 ⇒ 高い汎化性能

4. 変分ベイズ法 （1/2） 隠れ変数 を含むモデルの事後分布 変分ベイズ法による近似事後分布推定（Attias; ’99）
隠れ変数 を含むモデルの事後分布
⇒ 直接的な計算は困難
⇒ 事後分布推定には近似手法が必要
変分ベイズ法による近似事後分布推定（Attias; ’99）
：独立性を仮定
⇒ 近似事後分布

5. 変分ベイズ法 （2/2）
対数周辺尤度の下限 を定義
変分法によって 　を最大化する事後分布を導出

6. ベイズ基準における適切なモデル構造を選択
ベイズ基準のコンテキストクラスタリング
を最大化する決定木構造を選択
: 先行音素は母音？
質問の選択 :
yes no
の増加量 :
⇒ 増加量が最大となる分割
分割停止条件 :
ベイズ基準における適切なモデル構造を選択

7. 事前分布の設定 共役事前分布を設定 事前情報による事前分布の設定 事前分布と事後分布が同じ分布族 解析的な事後分布推定が可能 尤度関数
：事前情報のデータ量
: ベクトル次元数
：事前情報の平均
：事前情報の分散

8. Cross Validationを用いたML基準
モデル推定・評価に用いるデータを分離
学習データをK個に分割
2,3
1,3
1,2
モデルパラメータ 推定
モデル評価 : 尤度の計算
汎化性能の高いモデルを推定

9. Cross Validationを用いたベイズ基準
学習データをK個に分割
2,3
1,2
1,3
事前分布 設定
事後分布 推定
モデル評価 : の計算

10. CVを用いたベイズ基準モデル構造選択 を最大化する決定木構造を選択 汎化性能の高いモデル構造を選択 各ノードで を計算 分割前後での増加量
: 先行音素は母音？
yes no
各ノードで を計算
分割前後での増加量
が最大となる分割を行う
分割停止条件 :
汎化性能の高いモデル構造を選択

11. 実験条件 データベース JNAS 学習データ 1,000文 20,000文 テストデータ 100 文 サンプリング周波数 16 kHz
1,000文　20,000文
テストデータ
100 文
サンプリング周波数
16 kHz
窓関数
Hamming 窓
フレームサイズ / シフト
25 ms / 10 ms
特徴量
12次元 MFCC + ΔMFCC
　　　 + ΔEnergy (25次元)

12. 実験内容 モデル構造と認識率に対する従来法との比較 テストデータに対する による汎化性能の評価 学習基準 モデル構造選択基準 MDL
テストデータに対する による汎化性能の評価
学習基準
モデル構造選択基準
MDL
ML基準
MDL基準
CV-ML
CVを用いたML基準
CV-Bayes
ベイズ基準
CVを用いたベイズ基準
CVにおける学習データの分割数 10

13. 従来法との比較（1/2）
モデル構造と音素認識率（学習データ1,000文）

14. 提案法は認識率が最大となるモデル構造に近づく
従来法との比較（2/2）
モデル構造と音素認識率（学習データ20,000文）
提案法は認識率が最大となるモデル構造に近づく
⇒ MDLから8.48%の誤り改善率
8.48%

15. 汎化性能の評価（1/2）
テストデータに対する （学習データ1,000文）

16. テストデータに対する が最大となるモデル構造を選択
汎化性能の評価（2/2）
テストデータに対する （学習データ20,000文）
テストデータに対する が最大となるモデル構造を選択
⇒ 汎化性能の高いモデル構造を選択

17. むすび CVを用いたベイズ基準によるモデル構造選択 今後の課題 ⇒ 認識率が最高となるモデル構造とは異なる
クロスバリデーションに基づく事前分布設定
従来法と比較して8.48%の誤り改善率
汎化性能の高いモデル構造を選択
⇒ 認識率が最高となるモデル構造とは異なる
今後の課題
識別的な基準を導入
階層的な事前分布構造の検討

19. ベイズ基準にCross Validationを導入
はじめに
変分ベイズ法に基づく音声認識（渡部ら; ’04）
モデルパラメータを分布として表現
事前分布をモデル学習に利用
⇒ 事後分布推定・モデル構造選択に影響
⇒ 学習データから事前分布を推定（橋本ら; ’07）
Cross Validationを用いたモデル評価
CVを用いたML基準によるモデル構造選択（篠崎； ’06）
⇒ 汎化性能の高いモデル構造を選択
ベイズ基準にCross Validationを導入

20. 決定木構造に基づくコンテキストクラスタリング
コンテキスト依存モデル
音素の特徴は周囲の音素から変化
⇒ 音素文脈（コンテキスト）を考慮してモデル化 a
t-a-i
s-a-i
k-a-o …
○ 詳細な特徴を表現可能
× モデル数の増加 ⇒ データ量不足の問題
× 未知コンテキストのモデル化が不可能
決定木構造に基づくコンテキストクラスタリング

21. コンテキストクラスタリング モデル構造を決定木によって表現 適切なモデル構造を選択することが重要 コンテキストに関する質問による分割
類似モデルのパラメータを共有
未知コンテキストに対応
yes no
先行音素は母音？
決定木
表現能力
データ量 小 低 多 大 高 少
適切なモデル構造を選択することが重要

22. 尤度最大化基準（ML基準） 尤度が最大となるモデルパラメータ を推定 学習データ : 予測分布 : 認識データ :
尤度が最大となるモデルパラメータ を推定
学習データ :
予測分布 :
認識データ :
学習データ量 多量 少量
データ
推定される
モデル
学習データ量が少量の場合に過学習の問題

23. 全てのモデルパラメータを考慮 ⇒ 高い汎化性能
ベイズ基準
モデルパラメータ を確率分布で表現
尤度関数
事前分布 :
学習データ
事後分布 :
認識データ
予測分布 :
全てのモデルパラメータを考慮 ⇒ 高い汎化性能