1. Základné princípy strojového učenia
Kristína Machová

2. OSNOVA: Uvažované kognitívne algoritmy
Základné princípy kognitívnych algoritmov
Usporiadanie priestoru pojmov
Horolezecký princíp
Delenie priestoru príkladov na podpriestory
Riadenie výnimkami
Súťaživý princíp
Skórovacia funkcia
Redukcia počtu kandidátov
Návrh a výber algoritmu
Voľba základných princípov

3. Klasifikačná úloha
Sekvenčná úloha
Kontrolovanéučenie -
s učiteľom
Learning
apprentices
Nekontrolo-vané učenie -
bez učiteľa
Zhlukovanie
Reinforce-ment learning

4. Uvažované kognitívne algoritmy
VSS – Version space search (logické konjunkcie)
EGS – Exhaustive General to Specific (logické konjunkcie)
ESG – Exhaustive Specific to General (logické konjunkcie)
HGS – Heuristic General to Specific (logické konjunkcie)
HSG – Heuristic Specific to General (logické konjunkcie)
HCT – Heuristic criteria tables (prahové pojmy)
IWP – Iterative Weight Perturbation (prahové pojmy)
SOMA – SamoOrganizujúci sa Migračný algoritmus()
NCD – Nonincr. Induction of Competitive Disjunctions (etalóny)
ICD – Incr. Induction of Competitive Disjunctions (etalóny)
AQ11 – (disjunktívna normálna forma - DNS)
NSC – Non-incremental Separate and Conquer (DNS)
ID3 – Iterative Dichotomizer 3 (rozhodovacie stromy RS)
ID5R – Iterative Dichotomizer 5 Recursive (RS)
C4.5 – (rozhodovacie stromy)
MDLP – Minimum Description Lenght Principle (rozhodovacie stromy)
CN2 – (rozhodovacie zoznamy RZ)
NEX – Nonincremental Induction with Exclusions(RZ)
BSK – Bayes-ovský klasifikátor (pravdepodobnostné pojmy)

5. hgs(PSET,NSET,CLOSED-SET,HSET)
nech OPEN-SET={}
for každý pojem H v HSET
nech SPECS sú všetky jedno-podmienkové špecifikácie H,
nech NEWSET={}
for každý špecifikovaný pojem S v SPECS
if Score (S,PSET,NSET)>Score (H,PSET,NSET)
then pridaj S do NEWSET
if NEW-SET={}
then pridaj H do CLOSED-SET
else for každý pojem S v NEW-SET
pridaj S do OPEN-SET
for každý pojem C v CLOSED-SET
if S je aspoň tak špecifický ako C
then if Score (C,PSET,NSET)>Score (S,PSET,NSET)
then vymaž S z OPEN-SET
else vymaž C z CLOSED-SET
if OPEN-SET={}
then vráť člena s najvyšším skóre v CLOSED-SET
else
nech BEST-SET je Beam-Size počet najvyššie skórovaných
členov zjednotenia OPEN-SET a CLOSED-SET
nech CLOSED-SET je množina členov CLOSED-SET v BEST-SET
nech OPEN-SET je množina členov OPEN-SET v BEST-SET
hgs (PSET,NSET,CLOSED-SET,OPEN-SET).

6. hct(PSET,NSET,ATTS)
nech etalón E je množinou najfrekventovanejších hodnôt v PSET
pre každý z atribútov v ATTS
nech inicializačná prahová hodnota T = veľkosť ATTS (počet atribútov)
nech inicializačná množina hypotéz HSET={[T_z_E]}
htc-aux(PSET,NSET,E,{},HSET)
htc-aux(PSET,NSET,E,CLOSED-SET,HSET)
nech OPEN-SET={}
for každý pojem H v HSET
nech SPECS je najšpecifickejšie zovšeobecnenie(H,E)
nech NEWSET={}
for každý špecifikovaný pojem S v SPECS
if Score (S,PSET,NSET)>Score (H,PSET,NSET)
then pridaj S do NEWSET
if NEW-SET={}
then pridaj H do CLOSED-SET
else for každý pojem S v NEW-SET
pridaj S do OPEN-SET
if OPEN-SET={}
then vráť člena s najvyšším skóre v CLOSED-SET
else nech BEST-SET je Beam-Size počet najvyššie skórovaných
členov zjednotenia OPEN-SET a CLOSED-SET
nech CLOSED-SET je množina členov CLOSED-SET v BEST-SET
nech OPEN-SET je množina členov OPEN-SET v BEST-SET
hct-aux(PSET,NSET,E,CLOSED-SET,OPEN-SET)

7. Základné princípy kognitívnych algoritmov
P1 - usporiadanie priestoru pojmov
P2 - horolezecký princíp
P3 - delenie priestoru príkladov na podpriestory
P4 - riadenie výnimkami
P5 - súťaživý princíp
P6 - skórovacia funkcia
P7 - redukcia počtu kandidátov

8. základné princípy
charakteristické princípy
dodatkové princípy P6 P7 P1 P2 P3 P4 P5

9. Usporiadanie priestoru pojmov
Prehľadávanie priestoru všetkých kandidátov pojmov.
Priestor pojmov je usporiadaný (napr. podľa všeobecnosti).
Nutnosť definovať operátory pre pohyb v priestore pojmov (napr. operátorov špecifikácie/zovšeobecnenia).
Prehľadávame od všeobecného k špecifickému (G-S), od špecifického k všeobecnému (S-G), resp. obidvoma smermi.
Princíp využívajú algoritmy: VSS, EGS a ESG.

10. HOROLEZECKÝ PRINCÍP
Prehľadávacia stratégia založená na gradientnom hľadaní extrému v lokálnom okolí aktuálneho riešenia.
Extrém – najsľubnejšie riešenie je možné merať skórovacou funkciou.
V rýchlo nájdenom lokálnom extréme často uviazne (dotiahnutie extrému nájdeného inou metódou).
Princíp využívajú algoritmy: IWP, SADE a SOMA.

11. Delenie priestoru príkladov na pod priestory
Priestor príkladov sa rekurzívne delí na pod priestory, kým nie je splnená ukončovacia podmienka (napr. v každom pod priestore sú iba príklady jednej triedy).
Podmienka delenia (testovací atribút) sa vyberá pomocou informačnej teórie (napr. minimálna entrópia).
Princíp využívajú algoritmy: NSC, AQ11, ID3, ID5R, C4.5 a MDPL.

12. RIADENIE VÝNIMKAMI
Pre chybne klasifikované príklady - výnimky sa vytvoria nové triedy (pseudotriedy).
Tento proces sa opakuje, kým nie sú všetky príklady správne klasifikované (nové iterácie neprinášajú lepšie výsledky, maximálny počet iterácií).
Princíp využívajú algoritmy: NCD, ICD a NEX.

13. SÚŤAŽIVÝ PRINCÍP
Kandidáti pojmov sa ohodnotia pomocou zvolenej hodnotiacej funkcie a vyberie sa najlepšie ohodnotený pojem.
Príklad hodnotiacej funkcie – pravdepodobnosť triedy podmienená hodnotami atribútov klasifikovaného príkladu.
Príklad hodnotiacej funkcie –vzdialenosť (Euklidova) klasifikovaného príkladu od typických reprezentantov jednotlivých tried.
Princíp využívajú algoritmy: NCD, ICD a Bayes-ovský klasifikátor.

14. Skórovacia funkcia
Umožňuje vytvárať systémy s prehľadávacími preferenciami (search bias), ktorý bude pojmy lepšie ohodnotené skórovacou funkciou uvažovať skôr.
Vo všeobecnosti je skóre priamo úmerne závislé na počte pokrytých pozitívnych príkladov a nepriamo úmerne závislé na počte pokrytých negatívnych príkladov.
Zložitejšie prístupy používajú štatistické alebo informačné miery (entrópia, signifikancia).
Princíp využívajú algoritmy: HGS, HSG, HCT, ID3, ID5R, C4.5 a CN2.

15. Redukcia počtu kandidátov
V každej iterácii algoritmu sa obmedzí počet pojmov na určitý počet (Beam Size – BS).
Z kandidátov pojmov usporiadaných podľa hodnôt skórovacej funkcie sa vyberie iba BS najsľubnejších pojmov.
Horolezecký princíp je špeciálnym prípadom prípadom pri BS=1.
Tvrdé preferencie (Hard Bias) – niektoré typy pojmov sú vopred vylúčené z prehľadávania.
Mäkká zaujatosť (Soft Bias) – pojmy s vyšším skóre majú prednosť.
Princíp využívajú algoritmy: HGS, HSG a HCT.

16. P2 P1
IWP
SADE
EGS
VSS
SOMA
HGS
HGS P6
ID3
HSG
ID5R P7
HCT
NSC
MDPL
C4.5
AQ11
CN2 P3 P4
NCD
NEX
ICD P5

17. NÁVRH RESPEKTÍVE VÝBER ALGORITMU
Analýza problému resp. kognitívnej úlohy.
Na základe analýzy, voľba základných princípov vyhovujúcich danej úlohe.
Návrh všeobecného algoritmu kombinujúceho zvolené základné princípy.

18. VOĽBA ZÁKLADNÝCH PRINCÍPOV
Ak je veľký rozsah trénovacích údajov, široký priestor pojmov alebo zašumené trénovacie údaje a nemusíme trvať na optimálnom riešení, potom je vhodná kombinácia princípov P1 & P6 & P7.
Pre úlohu charakteristickú veľkým rozptylom príkladov jednej triedy medzi príklady ostatných tried je vhodný princíp P3 & P1 alebo P4.
Ak je priestor pojmov lineárne separabilný, potom môžeme použiť P2.
Keď sú trénovacie údaje kontradičné (klasifikácia dokumentov) je vhodné použitie princípu P5.

19. Príklady použitia
Klasifikácia podozrivej bankovej operácie - veľké množstvo trénovacích údajov z niekoľkých bánk: P1 & P6 & P7.
Diagnostika zriedkavých diagnóz špecializovanej oblasti medicíny – málo početná trénovacia množina a veľký rozptyl príkladov jednej triedy medzi príklady ostatných tried: P3 a v jednotlivých podpriestoroch P1 alebo P4 (P4 formuje pre výnimky pseudotriedu – novú chorobu spôsobenú zmutovaným vírusom).

20. Ďakujem za pozornosť