سازگاري فرايندهاي يادگيري Consistency of Learning Processes ارائه دهنده : الهام باوفای حقیقی استاد درس : آقای دکتر شيري دانشگاه امير كبير دانشكده ‌ مهندسي كامپيوتر و فناوري اطلاعات الهام باوفا 1 سازگاري فرايندهاي يادگيري

فهرست الهام باوفا 2 سازگاري فرايندهاي يادگيري مقدمه همگرايي آنتروپي مجموعه اي از توابع شروط همگرايي تئوري غير قابل رد كردن نتايج ضميمه ( تعاريف و بحث هاي آماري )

مقدمه الهام باوفا 3 سازگاري فرايندهاي يادگيري ريسك واقعي را نيز كم كرد؟ حداقل كردن ريسك مشاهدات، چه زماني مي توان همزمان با سازگاري Consistency

مقدمه تعريف سازگاري الهام باوفا 4 سازگاري فرايندهاي يادگيري تعريف كلاسيك ريسك ( خطاي ) مشاهدات ريسك ( خطاي ) واقعي

مقدمه انواع سازگاري الهام باوفا 5 سازگاري فرايندهاي يادگيري نسخه غير جدي (trivial case) نسخه جدي (non trivial case) ادامه...

مقدمه انواع سازگاري الهام باوفا 6 سازگاري فرايندهاي يادگيري نسخه غير جدي (trivial case) نسخه جدي (non trivial case)... ادامه non trivially consistentconsistent

همگرايي الهام باوفا 7 سازگاري فرايندهاي يادگيري - همگرايي يكنواخت يك طرفه - همگرايي يكنواخت دو طرفه شرط لازم و كافي براي همگرايي؟

آنتروپي مجموعه از توابع توابع جداكننده (Indicator) الهام باوفا 8 سازگاري فرايندهاي يادگيري Sample Set: به چند طريق مختلف مي توان با استفاده از توابع جداكننده دسته بندي هاي مختلف روي يك مجموعه از نمونه ها داشت ادامه...

آنتروپي مجموعه از توابع توابع جداكننده (Indicator) الهام باوفا 9 سازگاري فرايندهاي يادگيري... ادامه Random Entropy: Entropy: افزايش آنتروپي نشاندهنده تعدد در تصميم گيري هاي مختلف و توانمندي در خرد كردن مجموعه نمونه ها به صورت هاي دلخواه است.

آنتروپي مجموعه از توابع توابع حقيقي الهام باوفا 10 سازگاري فرايندهاي يادگيري s.t.find : كوچكترين عددي كه شرايط فوق را تامين كند عدد بردار به طول Nl for N ادامه...

آنتروپي مجموعه از توابع توابع حقيقي الهام باوفا 11 سازگاري فرايندهاي يادگيري... ادامه

آنتروپي مجموعه از توابع توابع حقيقي الهام باوفا 12 سازگاري فرايندهاي يادگيري... ادامه Random V.C. Entropy: V.C. Entropy: با توجه به توزيع نمونه ها

شروط همگرايي همگرايي دوطرفه الهام باوفا 13 شرط لازم و كافي جهت همگرايي يكنواخت دو طرفه : كفايت : تابع صعودي... ادامه

شروط همگرايي همگرايي دوطرفه الهام باوفا 14 سازگاري فرايندهاي يادگيري... ادامه

شروط همگرايي همگرايي دوطرفه الهام باوفا 15 سازگاري فرايندهاي يادگيري... ادامه SUP... ادامه

شروط همگرايي همگرايي دوطرفه الهام باوفا ادامه

شروط همگرايي همگرايي دوطرفه الهام باوفا 17 سازگاري فرايندهاي يادگيري... ادامه شرط تكنيكي :

شروط همگرايي همگرايي يك طرفه الهام باوفا 18 سازگاري فرايندهاي يادگيري... ادامه همگرايي يكطرفه if

شروط همگرايي همگرايي يك طرفه الهام باوفا 19 سازگاري فرايندهاي يادگيري... ادامه s.t. شرط لازم و كافي جهت همگرايي يكنواخت يك طرفه

تئوري غير قابل رد كردن Theory of Nonfalsifiablity الهام باوفا 20 سازگاري فرايندهاي يادگيري... ادامه آيا همچنان مي توانيم سازگاري داشته باشيم؟

تئوري غير قابل رد كردن Theory of Nonfalsifiablity الهام باوفا 21 سازگاري فرايندهاي يادگيري... ادامه Popper’s Theory: two models of reasoning (i) Deductive: which means moving from general to particular (ii) Inductive: which means moving from particular to general

تئوري غير قابل رد كردن Theory of Nonfalsifiablity الهام باوفا 22 سازگاري فرايندهاي يادگيري... ادامه با توجه به تئوري پوپر : )Falsifiable ( حقايقي وجود داشته باشند كه در شرايط تئوري مورد نظر قرار داشته باشند اما نتوانند توسط آن تئوري توضيح داده شوند ! چون تئوري بر اساس تعداد محدود داده هاي آزمايشي درست شده پس حتما داراي نايقيني خواهد بود. زيرا يك تئوري استقرايي بايد قابل رد شدن باشد !

تئوري غير قابل رد كردن Theory of Nonfalsifiablity الهام باوفا 23 سازگاري فرايندهاي يادگيري... ادامه غير قابل رد شدن خواهد شد Complete (Popper’s) Nonfalsifiablity Partial Nonfalsifiablity Potential Nonfalsifiablity ERM

تئوري غير قابل رد كردن Complete Nonfalsifiablity الهام باوفا 24 سازگاري فرايندهاي يادگيري توانمندي در خرد كردن مجموعه نمونه ها به هر صورت دلخواه است.

تئوري غير قابل رد كردن Partial Nonfalsifiablity الهام باوفا 25 For any given sequence of binary values

تئوري غير قابل رد كردن Potential Nonfalsifiablity الهام باوفا 26 Q is Potentially Nonfalsifiable If exist two functions: s.t.... ادامه

تئوري غير قابل رد كردن Potential Nonfalsifiablity الهام باوفا ادامه سازگاري فرايندهاي يادگيري

تئوري غير قابل رد كردن نتيجه الهام باوفا 28 سازگاري فرايندهاي يادگيري مسئله حداقل كردن ريسك براي داده هاي آموزشي همواره سازگار نيست (ERM)

نتايج الهام باوفا 29 سازگاري فرايندهاي يادگيري 1... ادامه Sufficient condition for consistency of the ERM principle

نتايج الهام باوفا 30 سازگاري فرايندهاي يادگيري... ادامه 2 3 Sufficient condition for a fast rate of convergence ERM principle consistent and simultaneously provides a fast rate of convergence independent of the probability measure necessary and sufficient conditions Consistency sufficient condition for a fast rate of convergence

ضميمه ( تعاريف و بحث هاي آماري ) الهام باوفا ادامه مجموعه رخدادهاي پايه تعريف كيفي از آزمايش نگاه ايده آل مدل آماري

ضميمه ( تعاريف و بحث هاي آماري ) الهام باوفا 32 سازگاري فرايندهاي يادگيري... ادامه Probability Measure تعريف كمي از آزمايش نگاه ايده آل مدل آماري

ضميمه ( تعاريف و بحث هاي آماري ) الهام باوفا 33 سازگاري فرايندهاي يادگيري... ادامه Practical

ضميمه ( تعاريف و بحث هاي آماري ) الهام باوفا 34 سازگاري فرايندهاي يادگيري... ادامه مسئله اصلي در : تئوري آمار تئوري احتمالات بدست آوردن تابع توزيع بدست آوردن Probability Measure دو مود اصلي در محاسبه Probability Measure مود قوي مود ضعيف

ضميمه ( تعاريف و بحث هاي آماري ) الهام باوفا ادامه در بررسي شرايط سازگاري در مود ضعيف قرار داريم

الهام باوفا 36 سازگاري فرايندهاي يادگيري باتشکر از توجه شما

آنتروپي مجموعه از توابع توابع جداكننده (Indicator) الهام باوفا 37 سازگاري فرايندهاي يادگيري آنتروپي بي نهايت و كاهش قابليت تعميم بازگشت 1 بازگشت 2