1. روشهاي پارس بهينه ارائه دهنده : دکتر احمد عبدالله زاده تنظيم کننده : پرهام مرادي پائيز 85 دانشگاه صنعتي امير کبير دانشکده مهندسي کامپيوتر و فناوري اطلاعات آزمايشگاه سيستم‌هاي هوشمند http://ce.aut.ac.ir/islab

2. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 2 از 41 فهرست هدف انتخاب تفاسير مختلف پارسر شيفت – کاهش Determiner Parser

3. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 3 از 41 پارس توسط انسان تمام روشهاي پارس که تا کنون مطرح شدند از تکنيکهاي “ جستجوي کامل ” براي تفسير جمله استفاده مي کردند. به نظر ميرسد که پارس در انسانها مشابه پردازشهاي قطعي است. در پردازشي که صورت مي گيرد، به جاي استفاده از يک جستجوي وسيع، اطلاعات کمکي مورد استفاده قرار مي گيرد تا يک جواب مناسب بدست آيد. شواهد نشان ميدهد که انسانها هنگام پارس يک گرامر، از جستجوي کامل استفاده نمي کنند.

4. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 4 از 41 اهداف بهبود کارايي الگوريتم هاي پارس با کاهش فضاي جستجو، بدون اينکه در نتيجه نهايي تغييري حاصل شود. يافتن تکنيکي براي انتخاب بين تفاسير مختلف که پارسر ميتواند بيابد. ( رفع ابهام )

5. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 5 از 41 انتخاب تفاسير مختلف روش ‌ هاي انتخاب تفاسير مختلف جهت رفع ابهام الحاق مينيمال (Minimal Attachment) الحاق راست ( Right Association ) تقدم لغوي ( Lexical Preference)

6. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 6 از 41 الحاق مينيمال (Minimal Attachment) روش کار به گونه اي است که کمترين گره در درخت معنايي ايجاد شود. درختي مورد نظر است که کمترين گره را داشته باشد ايجاد حده ‌ اقل ملحقات به درخت پارس درحد امکان سعي مي شود، کلمات تحت گره هاي موجود دسته بندي شوند، در غير اين صورت يک گره جديد ايجاد مي شود.

7. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 7 از 41 بر اين اساس تفسير اول محتمل تر است که احتمالا موافق با درک شما از جمله است. الحاق مينيمال (Minimal Attachment) The man kept the dog in the house تفسير اول تفسير دوم

8. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 8 از 41 عنصر جديد تمايل دارد تا به عنوان عنصري از مولفه کنوني جمله درنظر گرفته شود. مثال : George said that Henry left in his car بصورت زير تفسير مي شود : Henry left in the car rather than that George spoke in the car. الحاق راست (Right Association)

9. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 9 از 41 تفسير اول تفسير دوم George said that Henry left in his car بر اين اساس تفسير اول محتمل تر است الحاق راست (Right Association)

10. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 10 از 41 تقدم لغوي (Lexical Preferences) ممکن است در برخي موارد دو اصل ذکر شده، با يکديگر در تناقض باشند به عنوان مثال در جمله زير الحاق راست و الحاق مينيمال، دو تفسير مختلف از جمله را ارايه مي دهند : The man kept the dog in the house S NPVP VNP PP The mankept The dog In the house NP VP V NPPP The mankept The dog In the house S NP

11. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 11 از 41 تقدم لغوي (Lexical Preferences) جملات زير را در نظر بگيريد : I wanted the dog in the house. I kept the dog in the house. I put the dog in the house.

12. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 12 از 41 عبارت ”the house” در جمله اول براي توضيح “dog” آماده است، اگر چه تفاسير ديگري هم ممکن است مثلا “I wanted the dig to be in the house” در مثال 2 بهترين تفسير اين است که pp براي تفسير vp آمده است، اگر چه مي توان تفسيري براي np نيز در نظر گرفت. يعني : “I kept the dog was in the house” سر انجام در مثال ، 3 pp به طور صريح در ارتباط با vp است و تفسيرهاي ديگري امکان پذير نيست. تقدم لغوي (Lexical Preferences)

13. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 13 از 41 اجزاي کليدي ( فعل اسم...) ميتوانند برتقدم پارس تاثير بگذارند. در اکثر موارد تقدم لغوي، نسبت به اصول مينيمم الحاق و الحاق راست اولويت دارد. براي افعال مثال قبل :”want” هيچ تقدمي در هيچ يک از pp ها ندارد در حاليکه “keep” ممکن است از pp ها، با پيش حرف “in” ، “or” يا “by” استفاده نمايد. سرانجام فعل put نياز دارد تا از يک pp که با in يا or يا by شروع شود استفاده نمايد. تقدم لغوي (Lexical Preferences)

14. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 14 از 41 پارسر شيفت – کاهش (Shift-Reduce) در اين روش، عدم قطعيت پارس به گونه اي مدل شده است که پارسر مي تواند يک انتخاب انجام دهد ولي بعضا مجبور مي شود تا به عقب برگردد. تمام احتمالات ممکن و اطلاعاتي کمکي در جداول ذخيره مي شوند تا پارسر را کنترل کنند و سبب سرعت الگوريتم هاي پارس شوند.

15. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 15 از 41 عناصر پارسر شيفت - کاهش پشته پارس پشته ورودي عمليات شيفت – کاهش جدول پارس ( اراکل )

16. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 16 از 41 وضعيت پارس به صورت يک مجموعه کامل قوانين نقطه دار است که در ان موقعيت از پارس استفاده مي شود. قوانين به فرم زير هستند : Y ->... o X..., که در ان x يک غير پايانه است لذا اين حالت شامل تمام قوانين براي x مي شود براي مثال حالت ابتداي پارسر بايستي قانون زير باشد : S -> o NP VP همچنين شامل قوانين مربوط به NP ، يعني : NP -> o ART N در نتيجه حالت اوليه s0 بايستي به صورت زير باشد : Initial State S0: S -> o NP VP NP -> o ART N حالت پارسر (Parser State)

17. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 17 از 41 پشته هاي پارسر شيفت - کاهش براي کنترل عملکرد پارسر از دو پشته زير استفاده مي شود : 1. پشته پارس : داراي وضعيت پارس (Parse State) و علائم گرامر (Grammar Symbol) است 2. پشته ورودي : شامل ورودي و بعضي علائم گرامر است در هر زمان پارسر با استفاده از اطلاعاتي خاص که در بالاي هر پشته وجود دارد، عمل مي کند.

18. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 18 از 41 عمل کاهش (Reduce Action ) وضعيتي که شامل تنها يک قانون با يک نقطه در انتهاي سمت راست قانون است : S -> NP VP o در اينحالت پارسر بايستي علامت پشته پارس را باز نويسي کند. بر اساس اين قانون علامت جديد مشتق شده (s در اين مثال ) به بالاي پشته ورودي push ميشود.

19. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 19 از 41 عمل شيفت هر يک از حالات ديگر که شامل قانون کامل نيستند توسط دياگرام گذر (Transition Diagram) تفسير ميشوند. اگر علامت بالاي علائم ورودي با يک يال دياگرام مطابقت داشته باشد، ان علامت و حالت جديد ( انتهاي يال گذر ) به پشته پارس اضافه ميشود.

20. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 20 از 41 مثالي از گرامر گذر (Transitional Grammar):

21. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 21 از 41 جدول اراکل جدول اراکل نشان ميدهد که پارسر در هر موقعيت چه عملي انجام دهد.

22. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 22 از 41 الگوريتم پارسر شيفت - کاهش

23. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 23 از 41 الگوريتم پارسر شيفت - کاهش مفروضات : 1 - يک تابع که موجب نگاشت state و ورودي (input) به يکي از ارزش ‌ هاي Shift ، Reduce و success مي ‌ شود. Action (S,W) 2 - تابعي که موجب نگاشت state هاي ورودي به state هاي جديد مي ‌ گردد که در parse state وجود دارد و به شکل کلي (SnCn…S1C1 S0C0) که Si عبارت از parse state و Ci يک ورودي جزئي از جمله است. GoTo ( S,W) 3 - ورودي پشته به شکل (W1.. Wn ) که W1 جزيي از جمله يا يک لغت است.

24. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 24 از 41 الگوريتم پارسر شيفت - کاهش عمليات : 1 - اگر Action (Sn,W1)=Shift و GoTo (Sn,W1)=S : حذف W1 از بالاي پشته ورودي (Input Stack) اضافه نمودن W1 به parse stack اضافه نمودن S به parse stack Parse Stack : (SW1 SnWn … S1C1S0) Input Stack : (W2…..Wn)

25. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 25 از 41 الگوريتم پارسر شيفت - کاهش عمليات : 2 - اگر i Action (Sn,W1)=Reduce و قانون گرامري i داراي n جزئ (Constituent) باشد : حذف 2n عنصر از از Parse Stack اضافه کردن طرف چپ قانون i ‌ به input stack مثال : Rule i : NP  ART N Parse Stack : (Sn-2Cn-2 …. S1C1S0) Input Stack : (NP W1… Wn)

26. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 26 از 41 الگوريتم پارسر شيفت - کاهش عمليات : 3 - اگر Action (Sn,W1)=Success ( Accept) Successful 4 - اگر Action (Sn,W1)=Not Defined Failed

27. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 27 از 41 مثال 1 نحوه پارس جمله ”the man eate the carrot” را بررسي ميکنيم. Parse Stack Input Stack (S0) (The man ate the carrot) حالت ابتداي پارسر عبارت است از Parse Stack Input Stack (S1 ART S0) (man ate the carrot) با بررسي ورودي جدول براي s0 Parse Stack Input Stack (S1' N S1 ART S0) (ate the carrot) با بررسي ورودي جدول براي s1 کاهش با قاعده 2.2si را خارج ميکند و vp را به پشته ورودي وارد ميکند Parse Stack Input Stack (S0) (NP ate the carrot)

28. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 28 از 41 Parse StackInput Stack (S2 NP S0) (ate the carrot) لغات بعدي همگي شيفت و خروج به حالت بعدي هستند Parse Stack Input Stack ( S1' N S1 ART S3 V S2 NP S0) ( ) قاعده کاهش 2.2N و Art را از پشته خارج ميکند Parse Stack Input Stack (S3 V S2 NP S0) (NP) مثال 1

29. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 29 از 41 اکنون به s3 ميرويم که با np مواجه مي شود و بعد از شيفت به s3 با قاعده 2.4 کاهش مي يابد Parse Stack Input Stack (S2 NP S0) (VP) سرانجام از حالت s2 به s0 شيفت ميکند و با قاعده 2.1 کاهش مي يابد. در اين وضعيت به s0 شيفت ميکند و در اين موقعيت Accept را خواهيم داشت. Parse Stack Input Stack ( S0) (S) مثال 1

30. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 30 از 41 جمله زير را با روش shift -reduce پارس نماييد. 1- S  NP VP 2- NP  ART NP 3- NP  N 4- NP  ADJ NP 5- NP  NP PP 6- PP  P NP 7- PP  P NP PP 8- VP  V NP 9- VP  V 10- VP  V PP مثال 2

31. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 31 از 41 مثال 2

32. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 32 از 41 مثال 2

33. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 33 از 41 پارسر شيفت – کاهش و ابهام موجب انتقال لغات مبهم به پشته پارس شده و تاخير در عمل طبقه بندي نمودن آن تا زمان کاهش (reduction) حاصل مي شود لازم است که تعداد حالات (states) مرتبط با ابهام بسط داده شود

34. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 34 از 41 مثال : هندل کردن ابهام توسط پارسر شيفت – کاهش Can هم مي ‌ تواند V و هم مي ‌ تواند AUX باشد. در صورتيکه V باشد به حالت S3 و در صورتيکه AUX باشد به حالت S4 مي ‌ رويم. براي رفع اين ابهام يک حالت جديد به اسم S3-4 مطابق زير ايجاد مي ‌ کنيم S3-4: VP  ART o AUX V NP VP  V o NP NP  o ART N

35. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 35 از 41 مثال : هندل کردن ابهام توسط پارسر شيفت – کاهش در اين حالت کلمه بعدي در جمله موجب رفع ابهام خواهد شد اگر کلمه بعدي V باشد به حالت S5 ميرويم اگر کلمه بعدي ART باشد به حالت S1 ميرويم اگر کلمه بعدي NP باشد به حالت S3 ’ ميرويم در حالت کلي، کلمه بعدي هم ممکن است داراي ابهام باشد. لذا تعداد حالات جديد بايد زياد باشد

36. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 36 از 41 Deterministic Parser اجزاء Deterministic Parser بافر (Buffer) : شامل Input Stack عمليات (Operations) Create New Node موجب ايجاد يک نود جديد در Parse Stack مي ‌ شود. Attach موجب اتصال يک جزء گرامري (Input Constituent) به node بالايي پشته مي ‌ گردد Drop Drop نود بالايي پشته پارس به بافر. مي ‌ تواند موجب امتحان مجدد جزء گرامري بوسيله پارسر شود. به نحويکه يک قانون (Rule) به جزء بالاتر که هنوز در پشته است اختصاص يابد. مثل تکنيک lookahead بسيار کارا است. قوانين (Rules)

37. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 37 از 41 State of Deterministic Parser

38. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 38 از 41 State of Deterministic Parser

39. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 39 از 41 مثال : The cat ate fish عمل Attach to MAIN-V موجب حذف لغت ate از بافر و به خصوصت MAIN-V در S به پشته پارس نسبت داده مي ‌ شود عمل Create NP يک NP خالي به پشته پارس اضافه مي کند دو عمل Attach to DET و Attach to HEAD يک NP را با استفاده از لغات براي the و fish ايجاد مي ‌ کند. اکنون بافر ورودي خالي است.

40. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 40 از 41 Rules and Packets Each rule has a pattern that contains feature checks on the buffer to determine the applicability of the rule. Rules are organized into packets, which may be activated or deactivated during the parse. Additional actions are available for changing the parser state by selecting which packets to use. In particular, there are actions to Activate a packet (that is, all its rules are to be used to interpret the next input) Deactivate a packet

41. پارسر شيفت - کاهشهدفانتخاب تفاسير مختلف Determiner Parser NLP Amirkabir University of Technology, Computer Engineering Faculty, Intelligent Systems Laboratory,NLP Course, Ahmad Abdollahzadeh 41 از 41 Example: Rules for Parsing Auxiliary Structures