1. Adaboost (Adaptive boosting) 2013-07-31 Jo Yeong-Jun Schapire, Robert E., and Yoram Singer. "Improved boosting algorithms using confidence- rated predictions." Machine learning 37.3 (1999): 297-336.

2.  Introduction of Learning Classifier (discriminative model)  Adaboost (Adaptive boosting) Content 2

3. 3 Introduction of Learning Classifier

4.  How to classify fish?  목적 배스와 연어를 구분 할 수 있는 분류기 (Classifier) 를 설계 Introduction of classifier 4 배스연어 input 분류기 Bass!

5.  어떤 정보를 이용하여 분류를 하는가 ? Introduction of classifier 5 Image raw data R G B 너무 큰 데이터 쓸데 없는 정보 포함

6.  어떤 정보를 가지고 분류를 하는가 ?  분류를 위한 의미 있는 특징 정보 추출 (Feature Extraction)  추출된 특징 정보는 벡터로 표현 대상에 따라 Label 부여 Introduction of classifier 6 Image raw data R G B 너무 큰 데이터 쓸데 없는 정보 포함 Width : 8 Brightness: 2 Width : 7 Brightness : 9

7.  무엇을 가지고 학습을 하는가 ? – 학습을 위해 수집한 Training samples. Introduction of classifier 7 배스 연어 Feature Extraction 5 Width Brightness 5 10

8. Introduction of classifier 8 5 Width Brightness 5 10  무엇을 학습하는가 ? Training samples 을 잘 분류 할 수 있는 line 일반적으로 hyperplane 이라고 함 bias weight input Bass! 분류기 h(x) TEST 과정

9. Introduction of classifier 9 5 5 10  어떻게 학습하는가 ? -Correctly classified -Miss classified Loss functionCost function

10. Introduction of classifier  요약 Training Training samples 5 5 10 Feature Extraction Test input Feature Extraction 5 5 10 Decision h(x) = -2.1

11. Adaboost (Adaptive Boosting)

12.  Introduction –1995 년 Schapire 가 adaboost 를 제안함 –Error rate 가 50% 이하인 weak classifier 들의 weighted combination 으로 최종 strong classifier 생성 Adaboost 12 Weak classifier Weight Strong classifier

13. Combination  Example 13 Adaboost 1 -0.5 0.5 2 3 4 4 2 3 1 -2 -5 -4 -2.5 -2 1 3 4 5 4 3 -0.5 3 0.5 -0.5 -4 -5 -4 -5 1 -2 0.5 3 5 6 4 1 -2 2 -0.5 -0.5 -3 -5 -4 1.5 -3 1 6.5 9 14 12 8 -0.5 8 1 -1.5 -3 -9 -11 -10 -13 0 Error: 3 Error: 1 Error: 2 Error: 0

14. 14 Adaboost Error ! → Weight 상승 t=2 Error ! → Weight 상승 … t= T

15. 15 Adaboost t=2 … t= T

16. Adaboost 16

17. 17 Adaboost

18. 18 Adaboost t=2

19. 19 Adaboost 1

20. 20 Adaboost 1 t=2

21. 21 Adaboost  수식 정리

22.  알고리즘 22 Adaboost

23.  정리 –50% 이상의 검출 성능을 가지는 weak classifiers 의 weighted combination 으로 strong classifier 를 설계 –Advantages Very simple to implement Fairly good generalization –Disadvantages Suboptimal solution Sensitive to noisy data and outliers 23 Adaboost

24. 24 Q & A