1. طراحی و پیاده سازی سیستم پرسش و پاسخ مبتنی بر یادگیری عمیق
سید ایمان میرزاده
استاد راهنما: دکتر مسعود اسدپور
دانشکده مهندسی برق و کامپیوتر، دانشگاه تهران
بررسی کاربردها
مقدمه
سیستم سفارش غذای هوشمند
این سیستم از روی جمله ورودی کاربر نوع و مکان غذا را پیدا می‌کند و جواب‌های مرتبط را از [4]بر‌می‌گرداند.
یکی از مسائل دشوار علوم کامپیوتر در سال‌های اخیر، مساله پردازش و فهم زبان طبیعی بوده است. چرا که برخلاف بسیاری از مسائل دیگر، موارد مربوط به زبان طبیعی قابل فرمول بندی و مدل‌سازی به شکل ملموس و ساده نیستند. از جمله پیچیدگی‌های موجود برای مدل‌سازی متن، نحوه مدل‌سازی کلمات و جملات به گونه ای است که بتواند ویژگی‌های معنایی آن‌ها در خود جای‌ دهد تا برای پردازش‌های بعدی به کمکمان آید. همنچنین کلمات بسته به اینکه در چه زمینه‌ای به کار می‌روند، چه جملاتی قبل و بعد از آن آمده‌اند و بسیاری از معیار‌های دیگر، می‌توانند معانی مختلفی بگیرند و این پیچیدگی مدل‌سازی را دوچندان می‌کند.
در گذشته برای حل هریک از مسائل از روش‌های گوناگونی استفاده می‌شد. برای نمونه برای مساله ترجمه ماشینی در زبان فارسی، از روش‌های آماری بسیار پیچیده مبتنی بر ویژگی‌هایی که توسط انسان و به صورت دستی استفاده می‌شده است. [1]همچنین برای طبقه بندی متون فارسی از روش‌های مبتنی بر یادگیری ماشین مانند درخت‌‌های تصمیم یا ماشین بردار پشتیبانی استفاده می‌شده[2] که علیرغم عملکرد نسبتا خوب، فاصله قابل توجهی با قدرت انسان در حل این مسائل داشتند. همچنین برای حل این مسائل از مدل‌های بسیار پیچیده استفاده ‌می‌شده است که بسیار هزینه‌‌بر بوده است. ضمن اینکه به علت استفاده از مهندسی ‌ویژگی‌ها و انجام این فرآیند توسط انسان، علاوه بر هزینه زمانی زیاد، امکان خطاپذیر کردن کار را بیشتر می‌کرده است. ولی امروزه با افزایش قابل توجه اطلاعات در دسترس و همچنین بلوغ صنعت یادگیری ماشین و پیشرفت‌های صنعت سخت‌افزار، حوزه یادگیری ژرف امروزه به قوی‌ترین ابزار در زمینه پردازش و فهم متن تبدیل شده است.
یکی از مسائل حوزه پردازش زبان طبیعی، مساله پرسش و پاسخ است که در زبان فارسی تا به حال به صورت جدی به آن پرداخته نشده است. شاید یکی از دلایل آن عدم وجود مجموعه داده مناسب برای این کار باشد. هدف ما در این پروژه حل این مساله با استفاده از تکنیک‌های مختلف و رسیدن به سیستمی کاملا فارسی برای پرسش‌ و پاسخ هوشمند می‌باشد.
برای حل این مساله روش‌های متعددی وجود دارد که قوی‌ترین روش حال حاضر، استفاده از شبکه‌های عصبی بازگشتی عمیق می باشد. ما نیز در این گزارش با بهره‌گیری از این روش سیستمی را توسعه میدهیم که می‌تواند برخلاف روش های سنتی، با تغییر بسیار اندک برای طیف وسیعی از مسائل NLP استفاده شود. برای اثبات قدرت مدل فوق در پایان این گزارش چندین برنامه مختلف فارسی که توسط نگارنده توسعه‌ داده شده‌اند و از یک مدل یکسان ولی با داده متفاوت آموزش دیده‌اند، بررسی خواهد شد.
اهمیت سیستم‌های پرسش و پاسخ پس از ارائه مقاله ای که در آن اکثر مسائل NLP را تبدیل به مساله پرسش و پاسخ میکرد، دو چندان شد.[3]. به عنوان مثال مساله ترجمه ماشینی عبارت X می‌تواند به سوال “ترجمهX چه می‌شود؟” تبدیل شود. یا برچسب گذاری کلمه W در عبارت P می‌تواند به سوال “نقش کلمه W در عبارت P چیست؟ ” تبدیل شود. هرچند ما از این معماری در این پروژه استفاده نکردیم اما در صورت فراهم شدن بستر های مناسب، می‌توان با تغییر نه چندان زیاد معماری موجود را به معماری فوق تغییر داد و از مزایای آن بهره برد.
در این پروژه ما به طراحی و پیاده سازی سیستمی کاملا فارسی می‌پردازیم که علاوه بر داشتن دقت بالا، می‌تواند برای طیف وسیعی از مسائل NLP به کار رود. برای اثبات این موضوع دو کاربرد متفاوت را برای آن پیاده سازی کرده‌ایم.
بات هوشمند تلگرام
این بات هوشمند، از روی جمله درخواستی کاربر، سرویس مرتبط را پیدا می‌کند و اطلاعات لازم را به کاربر می‌دهد. اطلاعات لازم برای این بات از سرویس استادکار[5]گرفته شده است.
بررسی مدل پیشنهادی
ابتدا برای بهبود عملکرد از نمایش برداری کلمات فارسی با استفاده از الگوریتم GloVe استفاده کردیم
سپس با استفاده از دو شبکه عصبی بازگشتی عمیق متصل به هم با معماری زیر از روی جملات سوال، جواب را تولید میکنیم.
نتایج و جمع بندی
پس از توسعه سرویس‌های بالا، تعدادی جمله به صورت دستی که قبلا توسط مدل‌ها دیده نشده‌ به آن‌ها داده شد و نتایج زیر حاصل شد.
برنامه
کل جملات
پاسخ صحیح
دقت
سفارش غذا
۲۰۰
۱۷۲
۸۶٪
بات تلگرام
۳۰۰
۲۷۷
۹۲.۳٪
مراجع
[1] A. Manouri, H. Faili , “State of the art English to Persian statistical machine translation system”, Artificial Intelligence and Signal Processing (AISP).
[2] S. Zamani, M. Asadpour, D. Moazzami, “Rumor detection for Persian Tweets”, Iranian Conference on Electrical Engineering (ICEE).
[3] Kumar et al, “Ask Me Anything: Dynamic Memory Networks for Natural Language Processing”.
[4]
[5]