1. دانشگاه صنعتی امیرکبیر Instructor : Saeed Shiry & Mitchell Ch. 2
یادگیری مفهوم
Instructor : Saeed Shiry
& Mitchell Ch. 2

2. دانشگاه صنعتی امیرکبیر
مفهوم چیست ؟
دسته بندی مغز برای اشیاء، حوادث، یا ایده ها که دارای مجموعه مشترکی از ویژگیها هستند.
مفاهیم ما را در دسته بندی اشیاء و رویدادها کمک می کنند
مثال : مفهوم کتاب چیست ؟
مسلما معادل دانستن کتاب با مجموعه ای از کاغذ گویای مفهوم کتاب نیست. مثلا یک دسته کاغذ باید دارای جلد هم باشند. اما این نیز کافی نیست.
بسیاری از اسامی که ما بکار میبریم نظیر خانه، کشور، کودک و غیره برای بیان مفاهیم است.
برای یادگیری یک مفهوم باید بر ویژگیهای مشترک تاکید کرده و ویژگیهای نامربوط حذف شود

3. یادگیری مفهوم در انسان چگونه است ؟
دانشگاه صنعتی امیرکبیر
یادگیری مفهوم در انسان چگونه است ؟
مکتب فکری (Clark Hall) :
تئوری نسبت دادن محرک– پاسخ(stimulus-response association):
برطبق این تئوری ما یک مفهوم را به مجموعه ای از محرکها که معرف آن هستند نسبت می دهیم
سگ : پوزه – چهارپا – دم – صدای خاص
مکتب فکری (Rosh (1978)) :
مفاهیم طبیعی روزمره از طریق مثالهای متعدد یاد گرفته می شوند ونه از طریق قوانین
سگ : با دیدن تعداد زیادی سگ
در طول سالیان متمادی ما محرک های مختلفی دریافت میکنیم که نحوه پاسخ ما به آنها بستگی به علائق، باورها، ارزش ها و تجربیات ما دارد. ایجادمفهوم نوعی از تفکر است که ما را در شناخت بهتر دنیای اطرافمان کمک میکند.

4. دانشگاه صنعتی امیرکبیر
یادگیری مفهوم
عبارت است از بدست آوردن یک مفهوم کلی از روی مثالهای مثبت و منفی.
این کار از طریق جستجو در فضای فرضیه های ممکن از قبل دانسته برای پیدا کردن بهترین فرضیه منطبق بر داده های آموزشی انجام می شود .
در عمل با موارد زیادی از یادگیری مواجه هستیم که در آن یک مفهوم کلی از روی مثالهای آموزشی یادگرفته میشود. چنین مفاهیمی را میتوان توسط یک تابع بولی نشان داد. از این رو در این فصل الگوریتمهایی را یاد می گیریم که یک تابع بولی را از روی مثالهای آموزشی یاد می گیرند .
یادگیری مفهوم: یادگیری یک تابع بولی از روی مثالهای آموزشی

5. دانشگاه صنعتی امیرکبیر
مثال
مفهوم هدف : یادگیری روزهایی از هفته که شخص از ورزش آبی لذت برده است
نمایش فرضیه: یک نمایش ساده برای فرضیه میتواند ترکیب تمام ویژگیهای موجود در مثالها باشد
<sky,temp,humidity,wind,water,forcast>

6. دانشگاه صنعتی امیرکبیر
نمایش فرضیه
برای هرویژگی :
آنرا با ”؟“ نشان می دهیم اگر هر مقداری برای آن قابل قبول باشد(don’t care)
آنرا با نشان می دهیم اگر هیچ مقداری برای آن قابل قبول نباشد
آنرا با یک مقدار مشخص نشان می دهیم (مثل گرم) اگر این مقدارحتمی باشد
اگر مثالی مثل x تمامی قیود فرضیه h را برآورده کند آنگاه h آنرا یک مثال مثبت تعیین میکند یعنی: h(x) =1
مثلا فرضیه < ?,cold,high,?,?,? > برای مجموعه مثال فوق یک فرضیه غلط است
h(x)=0
عمومی ترین فرضیه : <?,?,?,?,?,? > تمام روزها یک مثال مثبت هستند
اختصاصی ترین فرضیه : هیچ روزی مثال مثبت نخواهد بود

7. دانشگاه صنعتی امیرکبیر
تعاریف
نمونه(instance): مجموعه ای از ویژگیها که مفهوم را تعریف می کنند.
مفهوم هدفtarget concept)):تابعی که باید یاد گرفته شود (در این فصل با توابع بولی کار داریم)
C : x {0,1}
در جدول مثال فوق داریم:
if EnjoySport=No C(x)=1 if EnjoySport=Yes C(x)=0
مثالهای آموزشی:D مجموعه مثالهای مثبت یا منفی
خروجی یادگیر:فرضیه ای مثل h بنحویکه c(x)=h(x) باشد (برای تمامی xها)
ورودی یادگیر:مجموعه ای از مثالهای آموزشی x به همراه مقدارتابع هدف برای آنها >(<x,c(x
مجموعه تمام فرضیه ها را با H نشان می دهیم
این مجموعه بستگی به انتخاب نوع نمایش فرضیه خواهد داشت.

8. فرض اساسی یادگیری استنتاجی
دانشگاه صنعتی امیرکبیر
فرض اساسی یادگیری استنتاجی
هر تابعی که بتواند تقریب خوبی از تابع هدف برای یک مجموعه آموزشی به اندازه کافی بزرگ باشد قادر خواهد بود که تابع هدف را در مورد مثالهای مشاهده نشده هم تقریب بزند.
از آنجائیکه در این نوع از یادگیری تنها اطلاعات موجود مجموعه مثالهای آموزشی است لذا در بهترین حالت یک الگوریتم یادگیری میتواند فرضیه ای را ارئه دهد که تابع هدف را بر روی مثالهای آموزشی تقریب بزند.

9. یادگیری مفهوم بعنوان جستجو
میتوان به مسئله یادگیری مفهوم بعنوان جستجو در فضای بزرگی از فرضیه ها نگاه کرد. این فضا بصورت غیر صریح با نحوه نمایش فرضیه ها تعریف میشود.
انتخاب نحوه نمایش فرضیه، فضای فرضیه های قابل نمایش و قابل یادگیری را مشخص خواهد کرد.
در مثال قبل:
تعداد کل فرضیه ها برابر است با: = 5120
تعداد کل نمونه های ممکن برای مثال فوق : *2*2*2*2*2=96
با توجه به اینکه تهی برای تمامی مثالها مقدار منفی خواهد داشت تعداد فرضیه های با معنا عبارتند از: 1+( )=973

10. ترتیب کلی به جزئی فرضیه ها
الگوریتمهای یادگیری زیادی مبنای جستجوی خود را بر پایه ساختار مرتب سازی، کلی به جزئی فرضیه ها بنا نهاده اند
مثال :
چون h2 قید کمتری دارد تعداد بیشتری از نمونه ها را مثبت ارزیابی می کند.
هر نمونه ای که h1 آنرا مثبت ارزیابی کند h2 نیز مثبت خواهد دانست، بنابراین h2 ازh1 کلی تر است.

11. تعریف
اگر hj وhk دو تابع بولی تعریف شده روی x باشند آنگاه hj کلی تر یا برابر hk است اگروفقط اگر:
همچنین hj منحصرا کلی تراز hk نامیده می شود
اگر

12. مثال

13. دانشگاه صنعتی امیرکبیر
الگوریتم FIND-S
این الگوریتم به دنبال فرضیه Maximally Specific (اختصاصی حداکثر)می گردد.
مراحل الگوریتم :
h را با اختصاصی ترین فرضیه در H شروع می کنیم.
به ازاء هر نمونه آموزشی مثبت x اگر هر یک از قیود ویژگیهای ai موجود در h با x سازگار بود عملی انجام نمی دهیم در غیر اینصورت ai در h را با قیدی کلی تر که با x سازگار باشد جایگزین می کنیم.
hرا بعنوان فرضیه معرفی می کنیم.
مثال: 1 2
3 h =h2 4
مثال اول مثبت است از آنجائیکه قید تهی نمی تواند برای آن صحیح باشد لذا h را طوری عوض میکنیم که با مثال اول سازگار باشد.
مثال دوم هم مثبت است برای اینکه h بتواند برای آن هم سازگار باشد باید هر قیدی از آن که باعث ناسازگاری است با ? جایگزین شود.
مثال سوم منفی است از آن صرفنظر میکنیم.

14. نمونه های منفی چه میشوند؟
تا زمانیکه فضای فرضیه H در برگیرنده مفهوم هدف یعنی C باشد و همچنین به شرط آنکه مثالهای آموزشی دارای غلط نباشند، نیازی به در نظر گرفتن مثالهای منفی نیست زیرا:
h اختصاصی ترین فرضیه از H است که با مثالهای مثبت سازگار است. چون C هم جزئی از H است لذا باید C h
اما C هرگز مثالهای منفی را شامل نخواهد شد لذا h هم همینطور خواهد بود ( بنا به تعریف رابطه). لذا نیازی به اصلاح h در برخورد با مثالهای منفی نیست.

15. FIND-S به سئولات زیر نمی تواند پاسخ دهد :
دانشگاه صنعتی امیرکبیر
FIND-S به سئولات زیر نمی تواند پاسخ دهد :
آیا این الگوریتم به مفهوم صحیح رسیده است. آیا فرضیه سازگار دیگری وجود دارد؟
آیا اختصاصی ترین فرضیه خوب است ؟
نسبت به نویز بسیار حساس است. این الگوریتم نمیتواند خطا را کشف کند.
اگر چندین فرضیه اختصاصی حداکثر وجود داشت یا نداشت چه می شود ؟
برای رفع مشکلات FIND-S از الگوریتم حذف کاندید(Candidate-Elimination) استفاده می شود

16. ویژگی الگوریتم حذف کاندید
دانشگاه صنعتی امیرکبیر
ویژگی الگوریتم حذف کاندید
این الگوریتم برخی از محدودیت های Find_S را برطرف میکند. این الگوریتم توصیفی در مورد مجموعه همه فرضیه های سازگار با مثالهای آموزشی را ارائه می دهد بدون آنکه تک تک اعضاء آنرا مشخص کند (این الگوریتم به سئوالات 1و4 پاسخ می دهد).
این الگوریتم نیز از مفهوم مرتب سازی کلی به جزئی استفاده میکند.
اگرچه هر دو الگوریتم برای مثالهای عملی نیز استفاده شده اند اما کاربرد آنها در عمل بسیار محدود است زیرا در صورت وجود نویز در داده های آموزشی بسیار ضعیف عمل میکنند.

17. دانشگاه صنعتی امیرکبیر
تعاریف
سازگاری: می گوییم فرضیه h با مثالهای آموزشی سازگاراست اگر وفقط اگر
Version Space : این فضا عبارتست از مجموعه تمام فرضیه هایی ازH که با مثالهای D سازگار هستند
الگوریتم List-Then-Eliminate: یک راه حل ساده برای بدست آوردن VS این است که تمام فرضیه های H را لیست کرده و سپس هر فرضیه ای که ناسازگار با مثالهای آموزشی است را از آن حذف کنیم. باقیمانده VS خواهد بود. ( فقط برای H کوچک عملی است)

18. دانشگاه صنعتی امیرکبیر
فضای Version Space
راه حل دیگر برای پیدا کردن VS محدود کردن آن بین محدوده ] کلی ترین فرضیه , اختصاصی ترین فرضیه[ است.
اثبات می شود VS مجموعه ای است شامل S,G واعضای که بین آن دو قرار می گیرند G S

19. دانشگاه صنعتی امیرکبیر
تعاریف
حد کلی G : برای فضای فرضیه H و فضای آموزشی D، حد کلی G برابر است با مجموعه ای از اعضاء H که بصورت Maximally General با D سازگار هستند
حد اختصاصی S:برای فضای فرضیه H و فضای آموزشی D،حد اختصاصی S برابر است با :

20. دانشگاه صنعتی امیرکبیر
الگوریتم حذف کاندید :
G را با فرضیه Maximally General مقدار دهی می کنیم
S را با فرضیه Maximally Specific مقدار دهی می کنیم
برای مثالهای آموزشی عملیات زیر را تکرار می کنیم
اگرD یک مثال مثبت باشد :
ازG هر فرضیه ناسازگار با آن را حذف می کنیم
ازS هر فرضیه ناسازگار با آن را حذف می کنیم وبدنبال آن:
از S تمام فرضیه هایی که عمومی تراز سایر فرضیه های آن باشند را حذف می کنیم .

21. الگوریتم حذف کاندید (ادامه) :
دانشگاه صنعتی امیرکبیر
الگوریتم حذف کاندید (ادامه) :
اگر D یک مثال منفی باشد :
ازS هر فرضیه ناسازگار با آن را حذف می کنیم
به ازاء هر فرضیه g متعلق به G که با d ناسازگاراست مراحل زیر را انجام می دهیم :
1) g را ازG حذف می کنیم
2) به G فرضیه هایی با تخصیص حداقل اضافه می کنیم به نحویکه :
با d سازگار بوده و اختصاصی تراز اعضاء S نباشد
3) از G فرضیه هایی را که از سایراعضاء آن اختصاصی تر هستند را حذف می کنیم

22. الگوریتم حذف کاندید

23. الگوریتم حذف کاندید
در واقع این الگوریتم با دیدن هر مثال جدید مرزهای VS را طوری تغییر میدهد که ضمن حفظ سازگاری با نمونه های قبلی با نمونه های جدید نیز سازگار گردند.
برای یک مثال مثبت اعضا S حداقل تعمیم را پیدا میکنند تا عضو جدید را شامل شوند. همچنین اعضائی از G که با عضو جدید سازگار نیستند حذف میشوند.
برای یک مثال منفی اعضا G اختصاصی تر میشوند تا نمونه های منفی را شامل نشوند. البته باید سازگاری با نمونه های قبلی حفظ شود. همچنین اعضائی از S که به اشتباه عضو منفی را شامل میشوند حذف میگردند.

24. دانشگاه صنعتی امیرکبیر
مثال
G0=<?,?,?,?,?,?>
G1=G0
G2=G1
G3=<?,?,?,?,?,same> <sun,?,?,?,?,?> <?,warm,?,?,?,?>
G4= <sun,?,?,?,?,?> <?,warm,?,?,?,?>
S4= <sun,warm,?,strong,?,?>
S3=S2
S2= < sun,warm,?,strong,warm,same >
S1= < sun,warm,normal,strong,warm,same >
S0=< >
برای مثال سوم هم باید G2تغییر کند تا دیگرآنرا شامل نشود. لذا باید G2 اختصاصی تر شود که چندین حالت مختلف برای آن وجود دارد.
برای مثال چهارم هم باید S0تغییر کند تا آنرا شامل شود.
برای مثال دوم هم باید S0تغییر کند تا آنرا شامل شود.
برای اولین مثال باید S0تغییر کند تا آنرا شامل شود.
در واقع S خلاصه مثالهای مثبت و G خلاصه مثالهای منفی قبلی است. هر فرضیه عمومی تر از S شامل مثالهای قبلی خواهد شد و هر فرضیه اختصاصی تر از G با مثالهای قبلی سازگار خواهد بود.

25. تمامی فرضیه های ممکن VS:
برای مثال فوق فرضیه های متعددی بین G ,S قرار خواهند گرفت:
G4= <sun,?,?,?,?,?> <?,warm,?,?,?,?>
<sun,?,?,strong,?,?> <sun,Warm,?,?,?,?> <?,warm,?,Strong,?,?>
S4= <sun,warm,?,strong,?,?>
با افزایش مثالهای آموزشی G و Sبه هم نزدیکتر خواهند شد.

26. شرط خاتمه الگوریتم حذف کاندید
دانشگاه صنعتی امیرکبیر
شرط خاتمه الگوریتم حذف کاندید
الگوریتم وقتی متوقف می شود که :
مثالها تمام شده باشند یا تعداد فرضیه های باقیمانده صفرشده باشد
در حالت کلی ممکن است تعداد فرضیه های باقیمانده بصورت زیر باشد :
صفر: تعریف سازگاری برای الگوریتم وجود ندارد
یک : الگوریتم همگرا شده
بیشتراز دو: تمام توضیف های کلی پیدا شده

27. مثال یادگیری مفهوم Japanese Economy Car
ویژگی ها: Country of Origin, Manufacturer, Color, Decade, Type
مثالها:
Origin
Manufacturer
Color
Decade
Type
Example Type
Japan
Honda
Blue
1980
Economy
Positive
Toyota
Green
1970
Sports
Negative
1990
USA
Chrysler
Red
White

28. ادامه مثال مثال اول مثبت است:
G = { (?, ?, ?, ?, ?) } S = { (Japan, Honda, Blue, 1980, Economy) }
مثال اول مثبت است:
مثال دوم منفی است لذا باید G اختصاصی تر شود تا آنرا شامل نگردد.
G ={ (?, Honda, ?, ?, ?),(?, ?, Blue, ?, ?), (?, ?, ?, 1980, ?), (?, ?, ?, ?, Economy) }
S = { (Japan, Honda, Blue, 1980, Economy) }

29. (Japan, Toyota, Blue, 1990, Economy)
ادامه مثال
مثال سوم مثبت است:
(Japan, Toyota, Blue, 1990, Economy)
لذا فرضیه های ناسازگار با آن از G حذف میشود و S تعمیم می یابد تا آنرا در بر بگیرد
G { (?, ?, Blue, ?, ?), (?, ?, ?, ?, Economy) }
S = { (Japan, ?, Blue, ?, Economy) }

30. (USA, Chrysler, Red, 1980, Economy)
ادامه مثال
مثال چهارم منفی است لذا G اختصاصی تر میشود تا آنرا در بر نگیرد.
(USA, Chrysler, Red, 1980, Economy)
G = { (?, ?, Blue, ?, ?), (Japan, ?, ?, ?, Economy) }
S = { (Japan, ?, Blue, ?, Economy) }

31. (Japan, Toyota, Blue, 1990, Economy)
ادامه مثال
مثال پنجم مثبت است:
(Japan, Toyota, Blue, 1990, Economy)
لذا فرضیه های ناسازگار با آن از G حذف میشود و S تعمیم می یابد تا انرا در بر بگیرد
G = { (Japan, ?, ?, ?, Economy) } S = { (Japan, ?, ?, ?, Economy) }
هر دو محدوده G و S به هم رسیده اند و مثال دیگری وجود ندارد لذا میگوئیم الگوریتم همگرا شده است.

32. ادامه مثال فرض کنید دو نمونه دیگر هم داشته باشیم:
مثال ششم (Japan, Toyota, Green, 1980, Economy) مثبت بوده و با فرضیه سازگار است.
اما مثال هفتم با فرضیه ها سازگار نیست و الگوریتم نمیتواند فرضیه سازگاری با داده پیدا نماید.
Japan
Toyota
Green
1980
Economy
Positive
Honda
Red
1990
Negative
G = { (Japan, ?, ?, ?, Economy) } S = { (Japan, ?, ?, ?, Economy) }
G cannot be specialized. S cannot be generalized.
The version space collapses.
Conclusion: No conjunctive hypothesis is consistent with the data set.

33. دانشگاه صنعتی امیرکبیر
سئوال
به نظر شما اگر فضای فرضیه را در مثالهای فوق وسیعتر کرده ومثلا امکان ترکیب عطفی ، فصلی و نقیض فرضیه ها را هم بدهیم چه اتفاقی خواهد افتاد ؟ فضای فرضیه بسیار بزرگ خواهد بود
برای مثال اگر سه مثال مثبت x3,x2,x1 ودو مثال منفی x5,x4 وجود داشته باشد الگوریتم حذف کاندید به فضای زیر همگرا خواهد شد :
مشکل اینست که در این صورت الگوریتم فقط مثالها رایاد خواهد گرفت (حفظ خواهد کرد)و قادر به تعمیم نخواهد بود.

34. آیا الگوریتم حذف کاندید به مفهوم صحیح همگرا خواهد شد؟
بله! به شرطی که :
خطائی در مثالهای آموزشی نباشد
H شامل فرضیه ای باشد که بتواند بدرستی مفهوم هدف را توصیف کند
وقتی که S و G به یک فرضیه واحد همگراشوند مفهوم یادگرفته شده است.
اگر مثالها دارای خطا باشند ممکن است الگوریتم هدف را از VS حذف کرده و درصورت وجود مثال زیاد در نهایت به مجموعه تهی همگرا خواهند شد.

35. استفاده از مفاهیمی که بصورت جزئی یاد گرفته شده اند
اگر VS به یک فرضیه واحد همگرا نشود گفته میشود که مفهوم بصورت جزئی یاد گرفته شده است. با این وجود میتوان مثالهای جدید را با این VS ارزیابی کرد.
مثال:
مثال A توسط تمام فرضیه ها مثبت ارزیابی میشود. ( کافی است فقط مثبت بودن اعضا S بررسی شود) پس میتوان آنرا با اطمینان دسته بندی کرد.
مثال B توسط تمام فرضیه ها منفی ارزیابی میشود. ( کافی است فقط مثبت بودن اعضا G بررسی شود) پس میتوان آنرا با اطمینان دسته بندی کرد.
مثال C توسط نیمی از فرضیه ها مثبت و توسط نیمی دیگر منفی ارزیابی میشود. لذا نیمتوان با اطمینان در باره دسته بندی آن صحبت کرد.
مثال D توسط 2 فرضیه مثبت و توسط 4 فرضیه منفی ارزیابی میشود. یک راه این است که رای اکثریت پذیرفته شود.

36. بایاس استقراء (Inductive Bias)
دانشگاه صنعتی امیرکبیر
بایاس استقراء (Inductive Bias)
یک ویژگی یادگیری استقرایی این است که باید دارای فرض نهادینه ای در مورد فضای فرضیه باشد در غیراین صورت یادگیری غیر ممکن خواهد بود. یک سیستم یادگیری که هیچ پیش فرضی در مورد ماهیت تابع هدف نداشته باشد قادر به دسته بندی داده های مشاهده شده نخواهد بود در حقیقت تنها دلیل اینکه الگوریتم حذف کاندید قابلیت تعمیم داشت این بود که فرض کرده بود ، می توان تابع هدف را با ترکیب عطفی ویژگی ها نشان داد . به این فرض که در مورد فضای فرضیه اعمال
می شود بایاس می گویند
بعنوان مثال بایاس FIND-S فضای H بصورت ترکیب عطفی ویژگیها تعریف شده ودارای مفهوم C می باشد .

37. بایاس استقراء (Inductive Bias)
همانگونه که گفته شد الگوریتم حذف کاندید در صورتی به مفهوم صحیح همگرا خواهد شد که مثالهای یادگیری صحیح بوده و فضای فرضیه دربرگیرنده مفهوم بوده باشد.
اما اگر فضای فرضیه مفهوم هدف را در بر نگرفته باشد چه؟
آیا میتوان برای پزهیز از مشکل فوق فضای فرضیه را طوری انتخاب کرد که تمامی فرضیه های ممکن را دربر بگیرد؟
تاثیر اندازه فضای فرضیه در قابلیت تعمیم الگوریتم چیست؟
رابطه بین اندازه فضای فرضیه و تعداد مثالهای آموزشی چیست؟

38. دانشگاه صنعتی امیرکبیر
یادگیری بدون بایاس
یک راه اطمینان ازوجود مفهوم هدف در فضای فرضیه این است که این فضا را آنقدر بزرگ در نظر بگیریم که همه فرضیه های ممکن راشامل شود.
Power Set of X: اگر X تمامی مثالهای یادگیری باشد،مجموعه تمامی زیرمجموعه های X را power set آن میگویند.
در مثال قبلی X تعداد 96 عضوداشت که مجموعه توانی آن 296 عضو خواهد داشت!
دقت شودکه در مثال قبل H فقط 973 عضو داشت که بخش کوچکی از مجموعه فوق را تشکیل میدهد.
گسترش H
میتوان H را طوری تغییر داد که حالتهای عطفی، فصلی و نقیض را هم دربر بگیرد. در اینصورت میتوان فرضیه عطفی را بصورت زیر نوشت.

39. مشکل یادگیری بدون بایاس
با تغییر فضای فرضیه میتوان به فرضیه ای رسید که مثالهای زیر را دربرگیرد.
علیرغم موفقیت الگوریتم در یادگیری مثالهای فوق، الگوریتم قادر به تعمیم نبوده و صرفا مثالهای آموزشی را حفظ خواهد کرد.
برای مثال اگر مجموعه آموزشی دارای مثالهای مثبت x1,x2,x3 و مثالهای منفی x4,x5 باشد فضای VS به مجموعه زیر تبدل خواهد شد.
چنین فرضیه ای قادر به دسته بندی مثالهای نادیده نخواهد بود.

40. یک خاصیت اصلی یادگیری استقرائی
یک سیستم یادگیر که هیچ پیش فرضی در مورد ماهیت تابع هدف نداشته باشد قادر به دسته بندی داده های مشاهده نشده نخواهد بود.
در حقیقت تنها دلیل اینکه الگوریتم حذف کاندید قدرت تعمیم به مثالهای نادیده را داشت این بود که فرض شده بود تابع هدف را میتوان با ترکیب عطفی ویژگی ها نشان داد!

41. Model Selection & Generalization
Learning is an ill-posed problem; data is not sufficient to find a unique solution
The need for inductive bias, assumptions about H
Generalization: How well a model performs on new data
Overfitting: H more complex than C or f
Underfitting: H less complex than C or f 41
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

42. Triple Trade-Off
There is a trade-off between three factors (Dietterich, 2003):
Complexity of H, c (H),
Training set size, N,
Generalization error, E, on new data
As N­, E¯
As c (H)­, first E¯ and then E­ 42
Lecture Notes for E Alpaydın 2004 Introduction to Machine Learning © The MIT Press (V1.1)

43. تمرین تمرینهای شماره 3 و 4 و 5 و9 از فصل دوم کتاب
مقاله های زیر در دو صفحه خلاصه شود: