1. مقدمه اي بر پردازش زبان طبيعي
دانشگاه صنعتي امير کبير
دانشکده مهندسي کامپيوتر و فناوري اطلاعات
آزمايشگاه سيستم‌هاي هوشمند
Natural Language Processing
Natural Language Processing
ارائه دهنده: دکتر احمد عبدالله زاده
تنظيم کننده: پرهام مرادي
پائيز 85

2. نکات مورد بحث هوش مصنوعي پردازش زبان طبيعي تاريخچه NLP کاربرد هاي NLP
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

3. هوش مصنوعي نحوه پردازش فکر را در ماشين نشان مي دهد
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

4. اهداف AI ساخت ماشين هاي هوشمندتر (هدف اوليه)
ساخت ماشين هاي مفيدتر (هدف کاربردي)
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

5. مفاهيم AI و تعاريف AI شامل تعاريف زيادي است
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

6. هوش مصنوعي
انجام عملي در ماشين، که اگر آن عمل توسط انسان انجام مي‌گرفت نياز به تفکر و هوشمندي داشت
مطالعه چگونگي انجام اعمالي توسط کامپيوتر که انسان همان عمل را بهتر و راحتتر انجام مي‌دهد (Rich and Knight 1991)
تئوري مربوط به نحوه انجام تفکر در انسان (Mark Fox)
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

7. (Winston and Prendergast [1984])
اهداف AI
ايجاد ماشين‌هاي باهوش‌تر (هدف اوليه)
فهم اينکه هوش چيست
ايجاد ماشين‌هاي مفيدتر
(Winston and Prendergast [1984])
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

8. علائم هوشمندي يادگيري يا ادراک از طريق تجربه رفع ابهام
يادگيري يا ادراک از طريق تجربه
رفع ابهام
استفاده از استدلال براي حل مسائل
فهم و استنباط تشخيص ارتباط عناصر مختلف
تفکر و استنتاج
به‌کارگيري دانش جهت عمل بر روي محيط
فهم و نتيجه گيري عاقلانه
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

9. AI از يک سري علائم در حل مساله استفاده مي‌کند
علائم و ساختار آنها : بازنمايي دانش
روشهاي غير الگوريتمي براي حل مسائل در سيستم‌هاي AI مورد استفاده قرار مي‌گيرد
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

10. محاسبات هوشمندانه بر پايه بازنمايي نشانه و بکارگيري آنهاست
يک نشانه، يک حرف، کلمه و يا عدد براي بازنمايي اشياء ، فرآيند‌ها و ارتباطات آنهاست
اشياء ، شامل افراد، مفاهيم، وقايع، ايده‌ها و يا حقايق
ايجاد دانش برپايه نشانه‌ها
AI استنتاج از دانش را با جستجو و تطابق الگو انجام مي‌دهد
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

11. محاسبات هوشمندانه بر پايه بازنمايي نشانه و بکارگيري آنهاست
يک نشانه، يک حرف، کلمه و يا عدد براي بازنمايي اشياء ، فرآيند‌ها و ارتباطات آنهاست
اشياء ، شامل افراد، مفاهيم، وقايع، ايده‌ها و يا حقايق
ايجاد دانش برپايه نشانه‌ها
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

12. artificial intelligence
تست تورينگ
artificial intelligence
natural intelligence
interrogator A B
يک کامپيوتر و يک انسان داخل اتاقي قرار دارند و در بيرون اتاق يک نفر سوال مي‌پرسد و از داخل اتاق جوابي مي‌شنود و متوجه نشود که کامپيوتر جواب داده يا انسان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

13. زمينه هاي هوش مصنوعي سيستم هاي خبره پردازش زبان طبيعي پردازش گفتار
رباتيک
بينايي ماشين
محاسبات تکاملي
الگوريتم‌هاي ژنتيک
منطق فازي
خلاصه سازي اخبار
ترجمه ماشيني
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

14. جايگاه پردازش زبان طبيعي در هوش مصنوعي
ابزار
تکنيک
کاربرد‌ها
Learning
Knowledge Representation
Reasoning
Prolog
Lisp
پردازش زبان طبيعي
پردازش تصوير
سيستم‌هاي خبره
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

15. زبان طبيعي
زبان طبيعي زباني است که در تعاملات اجتماعي روز مره ما با استفاده از آن مي‌نويسيم و صحبت مي‌کنيم
زبان هاي طبيعي مختلف و زيادي وجود دارند
ممکن است که فرم گفتاري و نوشتاري زبان ها متفات باشند و همچنين از هم مستقل باشند.
سيستم هايي از واژگان قوائد و معاني که مي توانند ثبت ومشاهده شوند مجود دارند
NLP اين ادعا را دارد که با خودکار کردن پردازش زبان سيستم هاي مفيدي بر پايه اين توصيفات بوجود آورد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

16. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

17. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

18. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

19. طبقه بندي زبانهاي جهان
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

20. پردازش زبان طبيعي
NLP در ارتباط با توسعه مدل هاي محاسباتي، از ديدگاه پردازش زبان مي باشد.
- خواندن و تفسير يک کتاب درسي
نوشتن
محاوره
ترجمه سند.
-جستجوي اطلاعات مورد نياز
اين مدل ها براي ايجاد برنامه هاي کامپيوتري به منظور انجام عمليات پردازش زبان و براي فهم بهتر مورد استفاده قرار مي گيرند
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

21. پردازش زبان طبيعي ساخت يک مدل محاسباتي از زبان براي فهم زبان طبيعي
ورودي: زبان طبيعي
خروجي : زبان طبيعي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

22. Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

23. ساير عناوين عناوين متداول : پردازش خودکار زبان زبان شناسي محاسباتي
فهم زبان طبيعي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

24. زبان شناسي محاسباتي کاربرد کامپيوتر ها براي مطالعه علمي زبان انسان
کاربرد کامپيوتر ها براي مطالعه علمي زبان انسان
مطالعه در زمينه اينکه انسان ها چطور زبان را توليد کرده و مي فهمند
در زمينه زبان شناسي توليدي و قبل ازآن شامل مطالعه زبان رسمي و زبان هاي برنامه نويسي مي شد.
کامپيوتر به عنوان يک ابزار در مدل هايي که قابليت توسعه و ارزيابي دارند، استفاده مي شد. به عنوان مثال
پياده سازي تئوري ”يادگيري زبان توسط نوزاد“
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

25. تاريخچه NLP :
ارائه نظريه زبانها توسط نوام چامسکي - Kleene و Backus
طبقه بندي گرامر‌ها
ارائه جمله با گرامر
تئوري احتمالات
فهم جملات با توجه به ابهامات
اولين برنامه کامل تشخيص NLP يک سيستم جستجوي لغت در فرهنگ لغت بودکه در کالج Birkbeck در لندن در سال 1948 ايجاد شد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

26. کنفرانس Dartmouth : تولد AI (1956)
تاريخچه NLP :
کنفرانس Dartmouth : تولد AI (1956)
جستجوي Heuristic (Newell – Simon 1956)
LISP (McCarthy 1960)
ترجمه ماشيني
در سال 1957 چاپ کتاب Verbal Behavior توسط اسکينر
يادگيري بر پايه رفتار
نظريه رفتار گرايي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

27. تاريخچه NLP : 1960 - 1970 NLP از 1957 تا 1970: مبتني بر گرامر:
استفاده از فرمال گرامر به عنوان پايه پردازش زبان و سيستمهاي يادگيري (Chomskey,Harris,Kaplan,Peters)
مبتني بر منطق:
استفاده از منطق و برنامه نويسي منطق به منظور مشخص کردن syntax و استنتاج معنايي. (Minskey,Schunk,Winograd,Colmerauer,Kay)
فهم زبان در حقيقت نوعي استنتاج گرامري بود.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

28. تاريخچه NLP : 1960 - 1970 مدلهاي آماري:
استفاده از روشهاي احتمالاتي براي بازشناسي گفتار و OCR
(Fodor,Bever,Garrett,Bresnan,Weinberg)
اولين مدل فيزيکي-زباني قابل تست براي يادگيري زبان و فهم آن پيشنهاد شد.
BASEBALL (Green 1963)
STUDENT (Bobrow 1968)
ELIZA (Weizenbaum 1966)
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

29. تاريخچه NLP : 1970 - 1980 استفاده از شبکه هاي ATN Case Grammar:
حل يکي از مسائل از ترجمه ماشيني
نمايش معنايي:
-schank و همکارانش تئوري وابستگي معنايي،که تئوريي دربيان زبان درواژه هاي اوليه معنايي است راارائه دادند.
- ارائه نظريه شبکه هاي مفهومي که در فرم هاي مختلف براي ارائه دانش در بسياري از سيستم ها استفاده مي شد.
- WILIIAM WOODSاز نظريه مفاهيم رويه اي براي عمل کردن به عنوان يک ارائه مياني بين يک سيستم پردازش زبان و يک سيستم پايگاه داده استفاده مي کرد.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

30. تاريخچه NLP :
SHRDIU
LUNAR: يک سيستم واسط پايگاه داده که از مفاهيم رويه اي و ATNاستفاده مي کرد.
LIFER/LADDER : يکي از موثر ترين سيستم هاي NLP که به عنوان يک واسط زبان طبيعي براي يک پايگاه داده از اطلاعات در باره کشتي هاي ارتش آمريکا طراحي شده بود.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

31. سطوح مختلف پردازش زبان (دانشهاي مورد نياز)
فونوتيک (Phonetic & Phonology )
مورفولوژي (Morphology)
در مورد لغات بحث مي‌کند
Syntax
رابطه ساختاري بين لغات
Semantic
معناي لغات
Pragmatic
نحوه استفاده از جمله
Discourse
رابطه بين معناي لغات در بعد مکان و زمان
در رابطه با جمله و هدف جمله در بعد مکان و زمان
Common sense
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

32. سطوح مختلف پردازش زبان (دانشهاي مورد نياز)
Meaning Representation
Speech Recognition/ Segmentation
Lexical Choice
Morphological Analysis
Syntactic Analysis
Syntactic Realization
Semantic Interpretation
Morphological Realization
Discourse Processing
Generation
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

33. معماري کلي سيستم‌هاي پردازش زبان
Parsing
Tokenize
Word
Syntax Structure
جمله
Conceptual Interpret
Semantic Analysis
Response
Application Reasoning
Word
Syntax
Planning
جمله
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

34. تاريخچه NLP : 1980 - 1993 NLP از 1980 تا 1990 :
- گرامر رسمي (Grammar Formalisms)
NLP از 1990 تا حال:
- چند زباني وچندبعدي
(Multilinguality and Multimodality )
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

35. کاربرد‌هاي NLP
کاربرد ها مي توانند به راه هاي مختلفي دسته بندي شوند.به عنوان مثال: وسيله/بعد،عمق تحليلها ،درجه تعاملات.
- کاربرد هاي بر پايه متن.
- فهم زبان طبيعي.
- سيستم هاي مکالمه.
- چند بعدي.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

36. کاربرد هاي بر پايه متن
پردازش متون نوشته شده مثل،کتابها،اخبار،مقالات،گزارش ها
- يافتن سند مناسب در عنوان هاي مشخص از يک پايگاه داده متني.
- استخراج اطلاعات از پيام ها مقالات،صفحات وب و ...
- ترجمه سند از يک زبان به زبان ديگر.
تلخيص متن.
* نکته: همه اين کاربرد ها نيازمند NLP نيستند.
تکنيک هايي که بر پايه کلمات کليدي هستند مي توانند براي شناخت نواحي موضوعي خاص موفق باشند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

37. زبان طبيعي فهم نيازمند يک سطح عميق از آناليز هستند:
”براي من پيدا کن همه مقالات در رابطه تصاد فات ماشين شامل بيش از دو ماشين در Malta در نيمه اول 2001“
اينجا سيستم بايد اطلاعات کافي را براي مشخص کردن اينکه آيا مقاله ها ملاک تعريف شده اي به وسيله پرسش معرفي مي کنند، استخراج کند.
يک تشخيص قاطع از يک سيستم ،فهم اين است که آن، ارائه هاي اطلاعاتي که مي توانند براي واسط هاي بعدي مورد استفاده قرار بگيرند مي تواند محاسبه کند.
- يک سوال قاطع براي يک سيستم NLP اين است که چطور هوشمندي زيادي براي بدست آوردن هدف سيستم لازم است .
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

38. کاربرد هاي بر پايه مکالمه
ارتباط بين ماشين وانسان را شامل مي شود
سيستم پردازش پايگاه داده NL
سرويس هاي مشتري خودکار مثل سرويس هاي بانکي
سيستم حل مسئله NL عمومي
برخي از تفاوت هاي سيستم هاي متني و مکالمه اي:
زبان هاي استفاده شده زياد رسمي نيستند
استفاده از شرح تصديق هاي زير مکالمه اي
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

39. کاربرد هاي چند بعدي شامل دو يا بيش از دو بعد ارتباطي است: متن گفتار
اشاره
تصوير
توليد سند هاي چند بعدي
سيستم هاي ترجمه گفتاري
سيستم هاي مکالمه گفتاري
گفتار متن
متن گفتار
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

40. شناسايي گفتار
زبان گفتاري شناسايي مي شود و مثلا در سيستمهاي ديکته ، به متن ،يا در سيستم هاي کنترل روبات ، به فرامين، يا به بازنمود دروني ديگري ، تبديل مي شود.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

41. ترکيب گفتار
اداها (Utterance) در زبان گفتاري از متن (سيستم هاي متن – به – گفتار ) يا از بازنمودهاي دروني لغات يا جملات ( سيستم هاي مفهوم – به – گفتار) توليد مي شوند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

42. مقوله بندي متن
اين تکنولوژي متون را به مقولات اختصاص مي دهد. متون ممکن است به بيش از يک مقوله متعلق باشند، مقوله ها ممکن است حاوي مقولات ديگري باشند.تصفيه سازي حالت خاصي از مقوله بندي داراي تنها دو مقوله است.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

43. خلاصه سازي متون
مربوط ترين بخش هاي يک متن به صورت خلاصه استخراج مي شوند . اين کار به طول و درازاي مورد نياز خلاصه ها بستگي دارد. در صورتي که لازم باشد که خلاصه به يک پرسش معين مختص باشد ، تلخيص سخت تر است.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

44. نمايه سازي متن
به عنوان پيش شرطي براي بازيابي سند ، متون در يک پايگاه داده اي نمايه سازي شده ذخيره مي شوند. معمولا متن براي همۀ شکلهاي کلمه يا – بعد از شرح و تفسير براي همۀ کلمات نمايه مي شود. گاهي اوقات نمايه سازي با مقوله بندي و تلخيص ترکيب مي شود .
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

45. بازيابي متن
متون از يک پايگاه داده اي که بيشتر با يک پرسش يا سند معين مطابقت مي کند ، بازيابي مي شوند . اسناد مورد نظر با توجه به مناسبت مورد انتظارشان مرتب مي شوند . نمايه سازي، مقوله بندي، تلخيص و بازيابي اغلب تحت اصطلاح بازيابي اطلاعات قرار مي گيرند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

46. استخراج اطلاعات
تکه هاي اطلاعاتي مربوط ومناسب اطلاعات کشف و براي استخراج نشان دار مي شوند: قطعات استخراج شده مي توانند به شکل هاي ذيل باشند: موضوع ، هويت هاي با نام از قبيل اسامي شرکت ، مکان يا شخص ، رابطه هاي ساده از قبيل قيمتها ، مقاصد، کارکردها و غيرو يا رابطه هاي پيچيده ازقبيل شرح دادن تصادفات ، ادغام شرکتها يا مسابقات فوتبال .
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

47. ترکيب داده ها و استخراج داده هاي متن
قطعات استخراج شده اطلاعات از چندين منبع در يک پايگاه داده اي ترکيب مي شوند. ممکن است مناسباتي که از قبل تشخيص داده نشده اند ، کشف شوند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

48. پاسخ به پرسش
پرسشهاي زبان طبيعي براي دسترسي به اطلاعات در پايگاه داده اي مورد استفاده قرار مي گيرند. پايگاه داده اي ممکن است مبناي داده هاي ساختاري شده يا مخزني از ستون ديجيتال باشد که در آن بخش هاي معين به عنوان پاسخ هاي بالقوه نشان دار شده اند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

49. ايجاد گزارش
گزارش به زبان طبيعي ايجاد مي شود که محتواي اساسي پايگاه داده اي يا تغييرات آن را شرح مي دهد. گزارش مي تواند حاوي اعداد جمع شده ، حداکثر، حداقل و بنيادي ترين تغييرات باشد.  
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh

50. تکنولوژي هاي ترجمه
تکنولوژي هايي که متون را ترجمه مي کنند يا به مترجمان کمک مي کنند . ترجمه خودکاريا ترجمه ماشيني خوانده مي شود . حافظه هاي ترجمه از مقادير بزرگي متن همراه با ترجمه هاي موجود براي دنبال کردن موثر ترجمه هاي احتمالي کلمات ، عبارات و جملات استفاده مي کنند.
Amirkabir University of Technology, Computer Engineering Faculty , Intelligent Systems Laboratory,NLP Course , Ahmad Abdollahzadeh