Adaboost (Adaptive boosting) Jo Yeong-Jun Schapire, Robert E., and Yoram Singer. "Improved boosting algorithms using confidence- rated predictions." Machine learning 37.3 (1999):

 Introduction of Learning Classifier (discriminative model)  Adaboost (Adaptive boosting) Content 2

3 Introduction of Learning Classifier

 How to classify fish?  목적 배스와 연어를 구분 할 수 있는 분류기 (Classifier) 를 설계 Introduction of classifier 4 배스연어 input 분류기 Bass!

 어떤 정보를 이용하여 분류를 하는가 ? Introduction of classifier 5 Image raw data R G B 너무 큰 데이터 쓸데 없는 정보 포함

 어떤 정보를 가지고 분류를 하는가 ?  분류를 위한 의미 있는 특징 정보 추출 (Feature Extraction)  추출된 특징 정보는 벡터로 표현 대상에 따라 Label 부여 Introduction of classifier 6 Image raw data R G B 너무 큰 데이터 쓸데 없는 정보 포함 Width : 8 Brightness: 2 Width : 7 Brightness : 9

 무엇을 가지고 학습을 하는가 ? – 학습을 위해 수집한 Training samples. Introduction of classifier 7 배스 연어 Feature Extraction 5 Width Brightness 5 10

Introduction of classifier 8 5 Width Brightness 5 10  무엇을 학습하는가 ? Training samples 을 잘 분류 할 수 있는 line 일반적으로 hyperplane 이라고 함 bias weight input Bass! 분류기 h(x) TEST 과정

Introduction of classifier  어떻게 학습하는가 ? -Correctly classified -Miss classified Loss functionCost function

Introduction of classifier  요약 Training Training samples Feature Extraction Test input Feature Extraction Decision h(x) = -2.1

Adaboost (Adaptive Boosting)

 Introduction –1995 년 Schapire 가 adaboost 를 제안함 –Error rate 가 50% 이하인 weak classifier 들의 weighted combination 으로 최종 strong classifier 생성 Adaboost 12 Weak classifier Weight Strong classifier

Combination  Example 13 Adaboost Error: 3 Error: 1 Error: 2 Error: 0

14 Adaboost Error ! → Weight 상승 t=2 Error ! → Weight 상승 … t= T

15 Adaboost t=2 … t= T

Adaboost 16

17 Adaboost

18 Adaboost t=2

19 Adaboost 1

20 Adaboost 1 t=2

21 Adaboost  수식 정리

 알고리즘 22 Adaboost

 정리 –50% 이상의 검출 성능을 가지는 weak classifiers 의 weighted combination 으로 strong classifier 를 설계 –Advantages Very simple to implement Fairly good generalization –Disadvantages Suboptimal solution Sensitive to noisy data and outliers 23 Adaboost

24 Q & A