Decision Tree

تعریف درختی با درجه دلخواه است که برای دسته بندی نمونه ها استفاده می شود. هر نود برگ، یک دسته بندی از نمونه ها یا تصمیم را ارائه می کند. هر نود غیربرگ، یک ویژگی تست یا در واقع یک انتخاب بین چندین آلترناتیو را ارائه می کند.

مثال درخت تصمیم گیری برای کمک به یک موسسه مالی در تصمیم برای اینکه به شخصی وام بدهد یا نه

مثالی برای ساخت درخت تصمیم گیری 7 نمونه داریم و 3 ویژگی و نمونه ها در دو کلاس دسته بندی می شوند. ویژگیها و ارزشهای آنها: size: small medium large colour: red blue green shape: brick wedge sphere pillar کلاسها: کلاس yes: medium blue brick small red sphere large green pillar large green sphere کلاس no: small red wedge large red wedge large red pillar

الگوریتم استنتاج درخت الگوریتم بر روی مجموعه نمونه های training ِ C عمل می کند. اگر تمام نمونه ها متعلق به یک کلاس باشند، نود مربوط به آن کلاس را ایجاد کرده و متوقف می شود. در غیر این صورت یک ویژگی را انتخاب کرده و نود تصمیم گیری مربوط به آن را ایجاد می کند. و مطابق با ارزشهای آن، نمونه های training ِ C را به چند بخش تقسیم می کند. و به همین ترتیب ادامه می دهد.

الگوریتم استنتاج درخت این الگوریتم با if های تو در تو قابل پیاده سازی است. if (shape == wedge) return no; if (shape == brick) return yes; if (shape == pillar) { if (colour == red) return no; if (colour == green) return yes; } if (shape == sphere) return yes;

خروجی الگوریتم

الگوریتم های ساخت Decision Tree الگوریتم ID3 الگوریتم C4.5 الگوریتم C5 الگوریتم Bagging الگوریتم Boostering

انتخاب ویژگیها در الگوریتم ID3 پیچیدگی درخت بستگی به ترتیب انتخاب ویژگیها دارد. ID3 از تئوری اطلاعات برای تعیین میزان اطلاع دهندگی ویژگی استفاده می کند. میزان محتوای اطلاعات پیغام، معکوس احتمال دریافت آن پیغام می باشد. information1(M) = 1/probability(M) تعداد بیتهای لازم برای انکود پیغام از رابطه زیر بدست می آید: Information(M) = -log2 (probability(M))

Entropy میانگین میزان اطلاعات در واحد بیت را برای ویژگیها بیان می کند. -ΣP log2P

الگوریتم ID3 ویژگیها را برای اضافه کردن در سطح بعدی درخت با استفاده از محاسبه entropy بررسی کنید. ویژگیی را انتخاب کنید که entropy را مینیمم کند.

مثال (استفاده از الگوریتم ID3) درخت تصمیم گیری اولیه شامل یک نود با تمام جوابها است. 4 خروجی مثبت و 3 خروجی منفی داریم. بنابراین احتمال جوابهای مثبت 7/4=0.57 و احتمال جوابهای منفی 7/3=0.43 است. Entropy: - (0.57 * log 0.57) - (0.43 * log 0.43) = 0.99 ویژگیهای مختلف را انتخاب کرده و entropy آنها را بدست می آوریم. سایز: سه ارزش بزرگ، متوسط و کوچک دارد. 4 نمونه با سایز بزرگ داریم که خروجی 2 تای آن مثبت و 2 تای دیگر منفی است. و entropy آن برابر است با: - (0.5 * log 0.5) - (0.5 * log 0.5) = 1 2 نمونه با سایز کوچک داریم که خروجی یکی مثبت و دیگری منفی است. و entropy آن برابر است با: 1 نمونه با سایز متوسط داریم که خروجی آن مثبت است. و entropy آن برابر است با صفر. میزان اطلاعات مورد انتظار برای شکستن بر روی سایز برابر است با: 1*4/7+1*2/7+0*1/7=0.86 رنگ: میزان اطلاعات مورد انتظار برای شکستن بر روی آن برابر است با: 0.48 شکل: میزان اطلاعات مورد انتظار برای شکستن بر روی آن برابر است با: 0.3 بنابراین شکل را انتخاب می کنیم. برای تمام زیر درختها نیز این عمل را تکرار می کنیم.

فهرست منابع Lucas Ballard, “Topics in Machine Learning: Decision Tree Learning”. 9/18/02