1. بسم الله الرحمن الرحیم هرس درخت تصمیم Dr.vahidipour Zahra bayat
بسم الله الرحمن الرحیم
هرس درخت تصمیم
Dr.vahidipour
Zahra bayat
Elham saffar

2. هرس درخت تصمیم در درخت تصمیم مشکلی با نام overfitting مطرح است:
ممکن است در ایجاد درخت تعداد زیادی شاخه به وجود آید دلیل آن وجود آنومالی در داده‌ها است آنومالی به دلیل وجود نویز و داده های پرت به وجود آید
از طرفی ممکن است درخت ایجاد شده برای داده های جدید ضعیف عمل کند
راه حل:
هرس نمودن شاخه‌های زائد است
اینکار باعث کوچک شدن، ساده شدن و به الطبع فهم آسان درخت خواهد شد.
ازجهتی برای داده های تست عملکرد بهتری خواهد داشت

3. هرس درخت تصمیم
برای این منظور دو روش وجود دارد
Prepruning
Postpruning

5. هرس درخت تصمیم Prepruning این روش در زمان ساخت درخت اعمال می‌شود
درواقع در صورتی که تشخیص داده شود که تقسیم بیشتر یک شاخه بهبودی در دقت نخواهد داشت
آن شاخه هرس شده و دیگر تقسیم انجام نمیگیرد
کلاس آن شاخه براساس بیشترین تعداد اعضای آن محاسبه می‌شود
مثلا درصورتی که بیشتر داده‌های باقی‌مانده در آن شاخه yes باشند، شاخه را دیگر تقسیم نکرده و یک برگ با مقدار برچسب yes قرار میدهیم
تقسیم شدن یا نشدن براساس تعیین یک آستانه مناسب است
تعیین این آستانه ساده نیست

6. هرس درخت تصمیم Postpruning روش متداول تر است
زمانی که درخت تصمیم ایجاد شد اعمال می‌شود
درصورتی که زیر درخت یک گره، هرس شود ؛آن گره تبدیل به برگ می‌شود
کلاس این برگ بیشترین درصد کلاس‌های آن زیر درخت خواهد شد
این روش از روش قبلی هزینه برتر است

7. نمونه Postpruning
بطور مثال در درخت CART از معیار cast complexity برای پس هرس استفاده می‌شود
این معیار توسط دو عامل تعیین می‌شود
تعیین برگ های درخت(number of leaves)
نسبت خطای درخت(error rate)
هرس از پایین درخت شروع می‌شود و براساس این معیار هرس شدن یا نشدن یک شاخه تعیین می‌شود
برای تعیین خطای درخت از مجموعه pruning set برای تعیین درصد خطا استفاده میشود

8. Cost complexity pruning
نرخ خطا درخت T با مجموعه داده S به این صورت تعریف میشود: err(T,S)
زیر درختی که مقدار زیر را به حداقل برساند برای حذف انتخاب میشود
تابع prune(T,t) تعریف میکند درختی را که بوسیله هرس کردن زیر درخت t از درخت T بدست می‌آید

9. Cost complexity pruning example
Yes no
Yes no A2
Class B A2 A3
Yes no
Yes no no
Yes A4
Class A A4
Class A A5
Class B
Yes no
Yes no
Yes no
Class A
Class B
Class A
Class B
Class B
Class A

10. Reduced error pruning
هرس خطای کاهش یافته از پایین به بالا انجام می شود.
برای زیر درخت S در درخت ، اگر با جایگزین کردن S بوسیله ی برگ, خطا روی مجموعه هرس بیشتر نشد ؛ زیردرخت s را با برگ جایگزین میکنیم
توجه داشته باشید که هرس از پایین به بالا و چپ به راست است.

11. reduced error pruning example

12. reduced error pruning example
در هر درخت، تعداد نمونه هایی در داده های هرس که توسط گره های فردی اشتباه طبقه بندی می شوند در پرانتز داده می شوند.
مرحله اول برای حذف زیر درختی وابسته به گره 3 است
از آنجا که خطای زیردرخت در داده های هرس (1 خطا) ، خطای گره 3 خود (oerrors) است، گره 3 به یک برگ تبدیل می شود
بعد، گره 6 به همین دلیل با یک برگ جایگزین می شود
سپس در رویه هرس ،گره 2 برای حذف انتخاب میشود
با این حال، به دلیل اینکه زیر درخت به گره 2 متصل می شود اشتباهات کمتر (0 خطا) از خود گره 2 (1 خطا) است ، زیر درختی باقی می ماند
بعد، گره 6 با یک برگ جایگزین می شود
با این حال، 2 نمی تواند به یک برگ ساخته شود، زیرا یک خطا را ایجاد می کند، در حالی که به عنوان یک زیر درخت، با برگ های تازه 3 و 6 ایجاد نمی کند.ُ

13. After pruning