Universitatea Politehnica Bucuresti Anul universitar 2008-2009 Invatare automata Universitatea Politehnica Bucuresti Anul universitar 2008-2009 Adina Magda Florea http://turing.cs.pub.ro/inva_09 si curs.cs.pub.ro

Curs Nr. 12 I. Sisteme de clasificare cu invatare (LCS) II. Predictie Bayesiana 2

I. Sisteme de clasificare cu invatare (LCS) 3

1. Abordare LCS LCS Sisteme bazate pe reguli Reguli prelucrate in paralel Generarea adaptiva a noi reguli Testarea calitatii regulilor existente Tehnica de invatare situata intre invatarea simbolica si cea non-simbolica: RL si AG 4

Inceputuri Holland, 1975, 1980 Scop: emergenta abilitatilor cognitive bazate pe mecanisme adaptive Set de reguli = clasificatori Initial: rezolvarea problemelor de interactiune cu un mediu Recent: interes LCS

Structura LCS [r] [l] [f]

De ce LCS? Combina RL cu AG De exemplu Q-learning Q(a,s)  Q(a,s) + (R(s) +  maxa’Q(a’, s’) – Q(a,s)) (s,a,R(s)) Initial: Bucket brigade

Reprezentare (Holland) Intrare codificata binar Reguli if then cu conditii si actiuni din alfabetul {0,1,#} Ex: 00#10 / 010 Populatie de N reguli – clasificatori – au asociat un merit Selecteaza o regula – mecanism de licitatie pe baza de merit Actiuni selectate se pun in lista interna mesaje Bid = fitness (eventual + specificitate (#)) Bucket brigade – la t, bidurile plasate in bucket Castigatorii la t – cota egala t-1 Fitness – recompensa din mediu pt actiunea executata Dupa un nr de pasi – GA Necesita multe cicluri

Ajustare pondere reguli Generare noi reguli Lista mesaje match Lista reguli Structura LCS mesaj iesire mesaj intrare Interfata iesire efectori Interfata intrare detectori Ajustare pondere reguli Generare noi reguli recompensa Mediu

2. Tipuri de LCS Pittsburg style AG aplicat la populatia de LCS pt a alege cel mai bun LCS Michigan style Combinat cu RL pt un singur LCS

3. Clasificatorul LCS – Strength based LCS – populaie de clasificatori Un clasificator = <c,a,p> c – [Conditie] a – [Actiune] p – estimare a recompensei asteptate pe care un agent o poate primi daca utilizeaza acest clasificator [Conditie] – lista de teste pt valori de atribute Teste: booleene, valori continue, s-expresii # - situatii de intrare comune

Evolutia regulior Se evolueaza partea [Conditie] cu AG Fiecare clasifiator contine o singura masura de merit care este atat recompensa cat si fitness Au o dimensiune fixa a populatiei

Evolutia regulior Se determina [M] – match set - multimea clasificatorilor care satisfac starea curenta Se selecteaza actiunea de executat pe baza unui mecanism de ruleta din [M] Bazat pe probabilitate calculata ca meritul relativ (al unui clasificator fata de meritul tutuor clasificatorilor) [A] – action set – multimea clasificatorilor care au ca actiune pe a – actiunea selectata

Evolutia regulior 3. Se face suma meritelor din [A] - S 4. - Toti clasificatorii selectati la momentul t-1 primesc o fractiune () egala din S - Toti clasificatorii din [A] primesc o fractiune () egala din recompensa R pentru executarea actiunii a la momentul t - Toti clasificatorii din [M] \ [A] au meritul redus cu un factor 

Evolutia regulior La fiecare moment de timp, exsita o probabilitate p pt AG AG foloseste mecanismul de ruleta bazat pe fitness clasificatori pentru a selecta 2 clasificatori din populatie Copii – one point crossover + operator mutatie Daca [M] vida sau daca contine reguli cu fitness < media fitmess (merit) a intregii populatii - Operator de acoperire Adauga o noua regula cu [Conditie] care sa faca match pe situatia curenta, [Actiune] aleasa aleator si fitness initial egal cu media fitness a populatiei Fiecare test din [Conditie] poate lua valoarea # cu o probabiliate de 33%

Experimente Bull si Hurst (2002) GA = 0.5 Populatie initiala = 400 Fitness initial = 20 Viteza de invatare () = 0.2 Factor de atenuare () = 0.71 Taxa () = 0.1 Crossover rate = .5 Mutation rate = 0.002 Operator de acoperire = .5

4. Clasificatorul LCS – Assumption - based In loc de [Conditie] -> [Actiune] [Conditie] [Actiune] -> [Efect] [Efect] = efectul asteptat (starea urmatoare) a [Actiune] Model al tranzitiilor LCS invata un model al tranzitiilor Invata un mdel, deci anticipativ Invata reguli din exemple - generalizare

Reprezentare [Efect] = care atribute se schimba Clasificator [#0#1] [0] [=10=] face predictiile situatie - [1031]  [1101] [2011]  [2101] [1 # # # # # # #] [Nord] [= = = = = = = =] daca percepe perete la Nord, indiferent de ce percepe in alta directie, deplasarea la nord nu va modifica perceptia

[# 1 # # # # # # #] [Est] [1 ? ? ? ? ? ? ? ?] Nu poate prezice valoarea atributului "?" Mentine separate valori de recompensa si fitness AG se executa pe [A] si nu pe toata populatia

5. LCS pentru clasificarea exemplelor Clasifica concepte Mediu ofera exemplele de invatare Concluzia regulilor este clasificarea

Problema calugarilor a4 (holding): 1 . sword Monk 1, 2, 3 2 . balloon 3 . flag a5 (jacket colour): 1 . red 2 . yellow 3 . green 4 . blue a6 (has tie): 1 . yes 2 . no Monk 1, 2, 3 a1 (head shape): 1 . round 2 . square 3 . octagon a2 (body shape): a3 (is smiling): 1 . yes 2 . no

Problema calugarilor Monk 1 (a1 = a2) OR (a5 = 1). Codifica binar valorile de atribute

Problema calugarilor Monk 2 15 + , 27 - Exact 2 din cele 6 atribute au ca valoare prima valoare din lista de valori Atribute cu n valori n biti cu 1 pe pozitia i valorii

Problema calugarilor Monk 3 (a5 = 3 AND a4 = 1) OR (a5 ≠ 4 AND a2 ≠ 3) + zgomot

II. Predictie Bayesiana Utilizarea teoriei probabilitatilor in predictie Predictia Bayesiana calculeaza probabilitatea fiecarei ipoteze pe baza datelor culese si face predictii pe aceasta baza. Predictia se face pe baza tuturor ipotezelor, nu numai pe baza celei mai bune ipoteze

Regula lui Bayes Generalizare P(Y|X) = P(X|Y) P(Y) / P(X) P(a^b) = P(a|b) P(b) P(a^b) = P(b|a)P(a) P(b|a) = P(a|b) P(b) / P(a) Generalizare P(Y|X) = P(X|Y) P(Y) / P(X) cu normalizare P(Y|X) =  P(X|Y) P(Y) 27

Predictie Bayesiana date – probe, ipoteze Dropsuri h1: 100% cirese h2: 75% cirese 25% lamaie h3: 50% cirese 50% lamaie h4: 25% cirese 75% lamaie h5: 100% lamaie H (multimea de ipoteze) – tip de punga cu valori h1 .. h5 Se culeg probe (variabile aleatoare): d1, d2, … cu valori posibile cirese sau lamaie Scop: prezice tipul de aroma a urmatorului drops 28

Predictie Bayesiana Fie D datele cu valoarea observata d Probabilitatea fiecarei ipoteze, pe baza regulii lui Bayes, este: P(hi|d) =  P(d|hi) P(hi) (1) Predictia asupra unei ipoteze necunoscute X P(X|d) = Σi P(X|hi) P(hi|d) (2) Elemente cheie: ipotezele apriori P(hi) si probabilitatea unei probe pentru fiecare ipoteza P(d|hi) P(d|hi) = Πj P(dj|hi) (3) Presupunem probabilitatea apriori pentru h1 h2 h3 h4 h5 0.1 0.2 0.4 0.2 0.1 29

P(hi|d) =  P(d|hi) P(hi) (1) h1 h2 h3 h4 h5 0.1 0.2 0.4 0.2 0.1 h1: 100% cirese h2: 75% cirese 25% lamaie h3: 50% cirese 50% lamaie h4: 25% cirese 75% lamaie h5: 100% lamaie P(lamaie) = 0.1*0 + 0.2*0.25 + 0.4*0.5 + 0.2*0.75+ 0.1*1 = 0.5 = 1/0.5 = 2 P(h1|lamaie) =  P(lamaie|h1)P(h1) = 2*0.1*0 = 0 P(h2|lamaie) =  P(lamaie|h2)P(h2) = 2 * (0.25*0.2) = 0.1 P(h3|lamaie) =  P(lamaie|h3)P(h3) = 2 * (0.5*0.4) = 0.4 P(h4|lamaie) =  P(lamaie|h4)P(h4) = 2 * (0.75*0.2) = 0.3 P(h5|lamaie) =  P(lamaie|h5)P(h5) = 2 * (1*0.1) = 0.2 P(hi|d) =  P(d|hi) P(hi) (1) 30

P(hi|d) =  P(d|hi) P(hi) (1) h1 h2 h3 h4 h5 0.1 0.2 0.4 0.2 0.1 h1: 100% cirese h2: 75% cirese 25% lamaie h3: 50% cirese 50% lamaie h4: 25% cirese 75% lamaie h5: 100% lamaie P(lamaie,lamaie) = 0.1*0 + 0.2*0.25*0.25 + 0.4*0.5*0.5 + 0.2*0.75*0.75+ 0.1*1*1 = 0.325 = 1/0.325 = 3.0769 P(h1|lamaie,lamaie) =  P(lamaie,lamaie|h1)P(h1) = 3* 0.1*0*0 =0 P(h2|lamaie,lamaie) =  P(lamaie,lamaie|h2)P(h2) = 3 * (0.25*.25*0.2) = 0.0375 P(h3|lamaie,lamaie) =  P(lamaie,lamaie|h3)P(h3) = 3 * (0.5*0.5*0.4) = 0.3 P(h4|lamaie,lamaie) =  P(lamaie,lamaie|h4)P(h4) = 3 * (0.75*0.75*0.2) = 0.3375 P(h5|lamaie,lamaie) =  P(lamaie,lamaie|h5)P(h5) = 3 * (1*1*0.1) = 0.3 P(hi|d) =  P(d|hi) P(hi) (1) P(d|hi) = Πj P(dj|hi) (3) 31

P(hi|d1,…,d10) din ecuatia (1) 32

P(X|d) = Σi P(X|hi) P(hi|d) (2) h1 h2 h3 h4 h5 0.1 0.2 0.4 0.2 0.1 h1: 100% cirese h2: 75% cirese 25% lamaie h3: 50% cirese 50% lamaie h4: 25% cirese 75% lamaie h5: 100% lamaie P(d2=lamaie|d1)=P(d2|h1)*P(h1|d1) + P(d2|h2)*P(h2|d1) + P(d2|h3)*P(h3|d1) + P(d2|h4)*P(h4|d1) + P(d2|h5)*P(h5|d1) = = 0*+0.25*0.1+.5*0.4+0.75*0.3+1*0.2 = 0.65 P(X|d) = Σi P(X|hi) P(hi|d) (2) Predictie Bayesiana 33

Observatii Ipoteza adevarata va domina in final predictia Predictia Bayesiana este optimala: fiind dat setul de ipoteze, orice alta predictie va fi corecta mai putin frecvent Probleme daca spatiul ipotezelor este mare Aproximare Se fac predictii pe baza ipotezei celei mai probabile MAP Learning – maximum aposteriori P(X|d)=~P(X|hMAP) In exemplu hMAP=h5 dupa 3 probe deci 1.0 Pe masura ce se culeg mai mlte date MAP si Bayes se apropie 34