1. مدلسازی تولید گفتار سمینار درس مدلسازی سیستم های بیولوژیکی
استاد درس: دکتر فرزاد توحید خواه
ارائه دهنده: سمیه شاهسوارانی
تاریخ ارائه:

2. مکانیزم تولید گفتار در انسان
مکانیزم تولید گفتار از چهار پروسه تشکیل شده است:
1- پردازش زبان
2- تولید فرمان های موتوری (motor commands) به سمت اندام
های صوتی (آرتیکولاتورها)
3- حرکت هماهنگ آرتیکولاتورها
4- انتشار هوای فرستاده شده از سمت ریه ها به صورت گفتار

3. گفتار از تعامل بین سه بخش زیر تشکیل شده است:
 آکوستیکی
 سوماتوسنسوری
 موتوری

4. رهیافت های مدل سازی تولید گفتار
1- مدل سازی عملگرهای سیستم گفتار سنتزکننده های گفتار
2- مدل سازی سیستم عصبی گفتار
جنبه کیفی
جنبه محاسباتی مدل DIVA

5. Related Papers
 Bernd J. Kröger ,”Neural models of speech production and speech acquisition”,2006
 Frank H. Guenther & Joseph S.Perkell,” A NEURAL MODEL OF SPEECH PRODUCTION AND SUPPORTING EXPERIMENTS”,2004
 Frank H. Guenther & Satrajit S.Ghosh & Alfonso NietoCastanon,” A NEURAL MODEL OF SPEECH PRODUCTION”,2003
 Frank H. GUENTHER and Joseph S. PERKELL,” A Neural Model of Speech Production and Its Application to Studies of the Role of Auditory Feedback in Speech”,2002

6. Main paper A Neural Network Model Of Speech Acquisition And Motor
Equivalent Speech Production
Running title: Speech acquisition and motor equivalence
Frank H. Guenther
Boston University
Center for Adaptive Systems and
Department of Cognitive and Neural Systems
Biological Cybernetics (1994) vol. 72 , pp

7. آناتومی تولید گفتار

8. در نهایت تولید گفتارتوسط حرکت آرتیکولاتورها صورت می گیرد.
آرتیکولاتورهای مهم
Lips
Jaw
Tongue
Velum (soft palate)
در نهایت تولید گفتارتوسط حرکت آرتیکولاتورها صورت می گیرد.

9. یک نوزاد چگونه مهارت موتوری لازم برای تولید آواهای مربوط به زبان خودش را کسب می کند؟

10. در زمانی که نوزاد رشد می کند، مشخصه های فیزیکی مانند اندازه و شکل آرتیکولاتورها تغییر می کند. همچنین ممکن است آرتیکولاتورها دچار آسیب موقت یا دائم شوند. این تغییرات بر روی سیگنال آکوستیکی که توسط یک سری فرمان های قشر موتوری مغز تولید شده است تاثیر می گذارد. برای اینکه ویژگی سیگنال آکوستیکی مورد نظر در شرایط متفاوت حفظ شود، لازم است که چگونگی تعامل بین بخش های آکوستیکی و سنسوری و موتوری با گذشت زمان تغییر کند. این بدان معناست که سیستم تولید گفتار باید تطبیق پذیر((adaptive باشد.

11. Motor Equivalence
در فرآیند تولید گفتار به طور ذاتی، فعالیت های متفاوت موتوری برای تولید یک صوت گفتار یکسان میتواند مورد استفاده قرار گیرد. به زبان ریاضی، یک نگاشت چند به یک از قشر موتوری به تولید یک صوت وجود دارد.

12. Main paper A Neural Network Model Of Speech Acquisition And Motor
Equivalent Speech Production
Running title: Speech acquisition and motor equivalence
Frank H. Guenther
Boston University
Center for Adaptive Systems and
Department of Cognitive and Neural Systems
Biological Cybernetics (1994) vol. 72 , pp

13. مدل محاسباتی که برای مدلسازی گفتار در اینجا ارائه می شود، DIVA است.
 Guenther FH (1993) A self-organizing neural model for motor equivalent phoneme production. In:Proceedings of the World Congress on Neural Networks, Portland. Erlbaum, Hillsdale NJ, pp. III-6-9
 Guenther FH (1992) Neural models of adaptive sensory-motor control for flexible reaching and speaking.Ph.D. dissertation, Boston University

14. Directions Into Velocities of Articulators
DIVA model
Directions Into Velocities of Articulators

16. در این مدل از دو نوع متفاوت ساختار عصبی برای نشان دادن اطلاعات استفاده می شود.

17. سطوح اصلی مدل  Sound (auditory) level
 Orosensory (somatosensory) level
 Articulatory level

18. یادگیری بین سطوح مدل دو نگاشت یادگیری وجود دارد.
Phonetic-to-orosensory mapping
Orosensory-to-articulatory mapping

19. Articulator Velocity Vector (AVV)

20. Go signal

21. Speech Recognition System

22. Speech Sound Map

23. Orosensory Direction Vector (ODV)

24. اکتساب مهارت های گفتاری در DIVA
اکتساب مهارت های گفتاری در مدل DIVA به معنای پیدا کردن پارامترها یا وزن های سیناپسی مناسب برای نگاشت های phonetic-to-orosensory و orosensory-to-articulatory در طول فاز یادگیری می باشد.

25. مثال

26. مکانیزم یادگیری Vector Associative Map method
Gaudiano P, Grossberg S (1991), Vector associative maps: Unsupervised real-time error-based learning and control of movement trajectories. Neural Networks 4:

27. The activity of an orosensory direction vector cell
مدل سازی محاسباتی
The activity of an orosensory direction vector cell

28.  Learning law governing synaptic weights

29. Articulator Velocity Vector cell activities

30.  Learning law governing synaptic weights

31. مراجع و منابع
1- ايوب دليری ، پايان نامه كارشناسي ارشد، مدلسازي عصبي عضلاني سيستم توليدگفتار ، 1385
2- Masaaki Honda," Human Speech Production Mechanisms”, NTT Technical Review,2002
3- Frank H. Guenther,” A Neural Network Model Of Speech Acquisition And Motor Equivalent Speech Production”,1994

32. با تشکر از توجه شما
