1. مقدمه اي بر پردازش زبان طبيعي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, Dr. Ahmad Abdollahzadeh

2. نکات مورد بحث هوش مصنوعي پردازش زبان طبيعي تاريخچه NLP کاربرد هاي NLP
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

3. هوش مصنوعي نحوه پردازش فکر را در ماشين نشان مي دهد
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

4. اهداف AI ساخت ماشين هاي هوشمندتر (هدف اوليه)
ساخت ماشين هاي مفيدتر (هدف کاربردي)
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

5. يادگيري يا از طريق تجربه رفع ابهام استفاده از استدلال براي حل مسائل
علائم هوشمندي
يادگيري يا از طريق تجربه
رفع ابهام
استفاده از استدلال براي حل مسائل
فهم و استنباط تشخيص ارتباط عناصر مختلف
...
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

6. artificial intelligence
تست تورينگ
artificial intelligence
natural intelligence
interrogator A B
فرض مي کنيم در يک اتاق يک انسان و يک سيستم قرار دارند. سوال مشابهي از هر دو پرسيده مي شود. اگر از روي جوابها نتوانيم تشخيص دهيم که کداميک انسان و کداميک سيستم است در اينحالت سيستم هوشمندانه عمل کرده است.
دليلي ندارد که جوابها مشابه باشند.
ممکن است جوابها اشتباه هم باشد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

7. زمينه هاي هوش مصنوعي سيستم هاي خبره پردازش زبان طبيعي پردازش گفتار
رباتيک
بينايي ماشين
محاسبات تکاملي
و ...
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

8. زبان طبيعي
زبان طبيعي زباني است که در تعاملات اجتماعي روز مره ما با استفاده از آن مي نويسيم و صحبت مي کنيم
زبان هاي طبيعي مختلف و زيادي وجود دارند
ممکن است که فرم گفتاري و نوشتاري زبان ها متفات باشند و همچنين از هم مستقل باشند.
سيستم هايي از واژگان قوائد و معاني که مي توانند ثبت ومشاهده شوند مجود دارند
NLP اين ادعا را دارد که با خودکار کردن پردازش زبان سيستم هاي مفيدي بر پايه اين توصيفات بوجود آورد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

9. پردازش زبان طبيعي
NLP در ارتباط با توسعه مدل هاي محاسباتي، از ديدگاه پردازش زبان مي باشد.
- خواندن و تفسير يک کتاب درسي
نوشتن
محاوره
ترجمه سند.
-جستجوي اطلاعات مورد نياز
اين مدل ها براي ايجاد برنامه هاي کامپيوتري به منظور انجام عمليات پردازش زبان و براي فهم بهتر مورد استفاده قرار مي گيرند
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

10. پردازش زبان طبيعي
هدف از پردازش زبان طبيعي اين است که کامپيوترها از زبان طبيعي به عنوان ورودي و خروجي استفاده نمايند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

11. ساير عناوين عناوين متداول : پردازش خودکار زبان زبان شناسي محاسباتي
فهم زبان طبيعي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

12. زبان شناسي محاسباتي کاربرد کامپيوتر ها براي مطالعه علمي زبان انسان
کاربرد کامپيوتر ها براي مطالعه علمي زبان انسان
مطالعه در زمينه اينکه انسان ها چطور زبان را توليد کرده و مي فهمند
در زمينه زبان شناسي توليدي و قبل ازآن شامل مطالعه زبان رسمي و زبان هاي برنامه نويسي مي شد.
کامپيوتر به عنوان يک ابزار در مدل هايي که قابليت توسعه و ارزيابي دارند، استفاده مي شد. به عنوان مثال
پياده سازي تئوري ”يادگيري زبان توسط نوزاد“
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

13. از 1957 تا 1970: NLP تاريخچه
اولين برنامه کامل تشخيص NLP يک سيستم جستجوي لغت در فرهنگ لغت بودکه در کالج Birkbeck در لندن در سال 1948 ايجاد شد.
NLP از 1957 تا 1970:
مبتني بر گرامر:
استفاده از فرمال گرامر به عنوان پايه پردازش زبان و سيستمهاي يادگيري (Chomskey,Harris,Kaplan,Peters)
مبتني بر منطق:
استفاده از منطق و برنامه نويسي منطق به منظور مشخص کردن syntax و استنتاج معنايي. (Minskey,Schunk,Winograd,Colmerauer,Kay)
فهم زبان در حقيقت نوعي استنتاج گرامري بود.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

14. از 1957 تا 1970: NLP تاريخچه مدلهاي آماري:
استفاده از روشهاي احتمالاتي براي بازشناسي گفتار و OCR
(Fodor,Bever,Garrett,Bresnan,Weinberg)
اولين مدل فيزيکي-زباني قابل تست براي يادگيري زبان و فهم آن پيشنهاد شد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

15. از 1970 تا 1980: NLP تاريخچه استفاده از شبکه هاي ATN Case Grammar:
حل يکي از مسائل از ترجمه ماشيني
نمايش معنايي:
-schank و همکارانش تئوري وابستگي معنايي،که تئوريي دربيان زبان درواژه هاي اوليه معنايي است راارائه دادند.
- ارائه نظريه شبکه هاي مفهومي که در فرم هاي مختلف براي ارائه دانش در بسياري از سيستم ها استفاده مي شد.
- WILIIAM WOODSاز نظريه مفاهيم رويه اي براي عمل کردن به عنوان يک ارائه مياني بين يک سيستم پردازش زبان و يک سيستم پايگاه داده استفاده مي کرد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

16. از 1970 تا 1980: NLP تاريخچه SHRDIU
LUNAR: يک سيستم واسط پايگاه داده که از مفاهيم رويه اي و ATNاستفاده مي کرد.
LIFER/LADDER : يکي از موثر ترين سيستم هاي NLP که به عنوان يک واسط زبان طبيعي براي يک پايگاه داده از اطلاعات در باره کشتي هاي ارتش آمريکا طراحي شده بود.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

17. ادامه از 1980 تا 1993: NLP تاريخچه
- گرامر رسمي (Grammar Formalisms)
NLP از 1990 تا حال:
- چند زباني وچندبعدي
(Multilinguality and Multimodality )
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

18. NLPکاربرد هاي
کاربرد ها مي توانند به راه هاي مختلفي دسته بندي شوند.به عنوان مثال: وسيله/بعد،عمق تحليلها ،درجه تعاملات.
- کاربرد هاي بر پايه متن.
- فهم زبان طبيعي.
- سيستم هاي مکالمه.
- چند بعدي.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

19. کاربرد هاي بر پايه متن
پردازش متون نوشته شده مثل،کتابها،اخبار،مقالات،گزارش ها
- يافتن سند مناسب در عنوان هاي مشخص از يک پايگاه داده متني.
- استخراج اطلاعات از پيام ها مقالات،صفحات وب و ...
- ترجمه سند از يک زبان به زبان ديگر.
تلخيص متن.
* نکته: همه اين کاربرد ها نيازمند NLP نيستند.
تکنيک هايي که بر پايه کلمات کليدي هستند مي توانند براي شناخت نواحي موضوعي خاص موفق باشند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

20. زبان طبيعي فهم نيازمند يک سطح عميق از آناليز هستند:
”براي من پيدا کن همه مقالات در رابطه تصاد فات ماشين شامل بيش از دو ماشين در Malta در نيمه اول 2001“
اينجا سيستم بايد اطلاعات کافي را براي مشخص کردن اينکه آيا مقاله ها ملاک تعريف شده اي به وسيله پرسش معرفي مي کنند، استخراج کند.
يک تشخيص قاطع از يک سيستم ،فهم اين است که آن، ارائه هاي اطلاعاتي که مي توانند براي واسط هاي بعدي مورد استفاده قرار بگيرند مي تواند محاسبه کند.
- يک سوال قاطع براي يک سيستم NLP اين است که چطور هوشمندي زيادي براي بدست آوردن هدف سيستم لازم است .
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

21. کاربرد هاي بر پايه مکالمه
ارتباط بين ماشين وانسان را شامل مي شود
سيستم پردازش پايگاه داده NL
سرويس هاي مشتري خودکار مثل سرويس هاي بانکي
سيستم حل مسئله NL عمومي
برخي از تفاوت هاي سيستم هاي متني و مکالمه اي:
زبان هاي استفاده شده زياد رسمي نيستند
استفاده از شرح تصديق هاي زير مکالمه اي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

22. کاربرد هاي چند بعدي شامل دو يا بيش از دو بعد ارتباطي است: متن گفتار
اشاره
تصوير
توليد سند هاي چند بعدي
سيستم هاي ترجمه گفتاري
سيستم هاي مکالمه گفتاري
گفتار متن
متن گفتار
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

23. شناسايي گفتار
زبان گفتاري شناسايي مي شود و مثلا در سيستمهاي ديکته ، به متن ،يا در سيستم هاي کنترل روبات ، به فرامين، يا به بازنمود دروني ديگري ، تبديل مي شود.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

24. ترکيب گفتار
اداها (Utterance) در زبان گفتاري از متن (سيستم هاي متن – به – گفتار ) يا از بازنمودهاي دروني لغات يا جملات ( سيستم هاي مفهوم – به – گفتار) توليد مي شوند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

25. مقوله بندي متن
اين تکنولوژي متون را به مقولات اختصاص مي دهد. متون ممکن است به بيش از يک مقوله متعلق باشند، مقوله ها ممکن است حاوي مقولات ديگري باشند.تصفيه سازي حالت خاصي از مقوله بندي داراي تنها دو مقوله است.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

26. تلخيص متن
مربوط ترين بخش هاي يک متن به صورت خلاصه استخراج مي شوند . اين کار به طول و درازاي مورد نياز خلاصه ها بستگي دارد. در صورتي که لازم باشد که خلاصه به يک پرسش معين مختص باشد ، تلخيص سخت تر است.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

27. نمايه سازي متن
به عنوان پيش شرطي براي بازيابي سند ، متون در يک پايگاه داده اي نمايه سازي شده ذخيره مي شوند. معمولا متن براي همۀ شکلهاي کلمه يا – بعد از شرح و تفسير براي همۀ کلمات نمايه مي شود. گاهي اوقات نمايه سازي با مقوله بندي و تلخيص ترکيب مي شود .
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

28. بازيابي متن
متون از يک پايگاه داده اي که بيشتر با يک پرسش يا سند معين مطابقت مي کند ، بازيابي مي شوند . اسناد مورد نظر با توجه به مناسبت مورد انتظارشان مرتب مي شوند . نمايه سازي، مقوله بندي، تلخيص و بازيابي اغلب تحت اصطلاح بازيابي اطلاعات قرار مي گيرند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

29. استخراج اطلاعات
تکه هاي اطلاعاتي مربوط ومناسب اطلاعات کشف و براي استخراج نشان دار مي شوند: قطعات استخراج شده مي توانند به شکل هاي ذيل باشند: موضوع ، هويت هاي با نام از قبيل اسامي شرکت ، مکان يا شخص ، رابطه هاي ساده از قبيل قيمتها ، مقاصد، کارکردها و غيرو يا رابطه هاي پيچيده ازقبيل شرح دادن تصادفات ، ادغام شرکتها يا مسابقات فوتبال .
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

30. ترکيب داده ها و استخراج داده هاي متن
قطعات استخراج شده اطلاعات از چندين منبع در يک پايگاه داده اي ترکيب مي شوند. ممکن است مناسباتي که از قبل تشخيص داده نشده اند ، کشف شوند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

31. پاسخ به پرسش
پرسشهاي زبان طبيعي براي دسترسي به اطلاعات در پايگاه داده اي مورد استفاده قرار مي گيرند. پايگاه داده اي ممکن است مبناي داده هاي ساختاري شده يا مخزني از ستون ديجيتال باشد که در آن بخش هاي معين به عنوان پاسخ هاي بالقوه نشان دار شده اند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

32. ايجاد گزارش
گزارش به زبان طبيعي ايجاد مي شود که محتواي اساسي پايگاه داده اي يا تغييرات آن را شرح مي دهد. گزارش مي تواند حاوي اعداد جمع شده ، حداکثر، حداقل و بنيادي ترين تغييرات باشد.  
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

33. تکنولوژي هاي ترجمه
تکنولوژي هايي که متون را ترجمه مي کنند يا به مترجمان کمک مي کنند . ترجمه خودکاريا ترجمه ماشيني خوانده مي شود . حافظه هاي ترجمه از مقادير بزرگي متن همراه با ترجمه هاي موجود براي دنبال کردن موثر ترجمه هاي احتمالي کلمات ، عبارات و جملات استفاده مي کنند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

34. Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

35. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

36. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

37. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh

38. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, NLP Course, Dr. Ahmad Abdollahzadeh
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory, Dr. Ahmad Abdollahzadeh