Proiectul: MyDiary: What have I done today? Curs 5 Proiectul: MyDiary: What have I done today?

Ambient Assisted Living (AAL) Chemarea la proiecte lansată în această primăvară: http://www.aal-europe.eu/wp-content/uploads/2014/05/AAL-2014-call-text-20140526.pdf

Proiectul nostru: MyDiary Un agent capabil să “înțeleagă” situațiile în care se află Masterul său, să le transpună în text și să conducă un dialog relativ la ele

Ce vrem să facă sistemul? Să “știe”, în cât mai multe momente ale zilei: ce fac unde mă aflu cu cine mă întâlnesc despre ce vorbesc cine îmi scrie mesaje (?)… de ce fac anumite lucruri Să fie capabil să formeze fraze care exprimă ce am făcut Să fie capabil să poarte un dialog despre ziua de azi, cea de ieri cea de mâine (?)

Exemplu TIME=7:30, PROXIMITY = bedroom, CLOCK = awake_time, SOUND = awake_ringing, GG:LIGHT = intensity_raise, WiFi_WAVE = movement, ACCELERATION = zero, GPS = null, GEO_POSITION = home(remember_last_position) MyDiary output: Astă dimineață am fost trezit de alarmă la ora 7:30 în dormitorul meu.

Exemplu TIME=7:45, PROXIMITY = bedroom, ACCELERATION = unknown INTERVAL_END=7:46, ACCELERATION = walking, TIME=7:46, ACCELERATION = unknown, PROXIMITY = kitchen MyDiary output: La 7:46 am intrat în bucătărie. MyDiary reasoning: Ce am făcut între 7:15 și 7:46?

Exemplu TIME=7:48, GG:GYRO = head_vertical_tilt PROXIMITY = kitchen, ACCELERATION = unknown MyDiary output: La 7:48 am băut ?ceva. MyDiary reasoning: Ce am mâncat și băut la micul dejun?

Exemplu TIME=8:16, MO:BAROMETER = change_low2high(20m); ACCELERATION = steps, PROXIMITY = lost MyDiary output: La 8:16 am ieșit din casă și am coborât scările. MyDiary reasoning: Am intenționat să merg ?undeva.

Exemplu TIME=8:17, ACCELERATION = zero, BLUETOOTH = in_car; GPS = movement(speed<5 km/h) MyDiary output: La 8:17 am scos maşina din garaj. MyDiary reasoning: Am plecat cu mașina ?undeva.

Exemplu INTERVAL=8:17-8:28, ACCELERATION = car, BLUETOOTH = in_car; GPS = movement(speed<50 km/h), GEO_PATH = {street_S1, street_S2, street_S3} TIME=8:28, ACCELERATION = walking, BLUETOOTH = zero, GPS = movement(speed<5 km/h), GEO_POSITION = location_L1 MyDiary output: Între 8:17 și 8:28 am condus maşina de acasă până la location_L1.

Un graf al situațiilor – ierarhie de clase alive awake sleeping at_home in_activity moving not_moving shopping in_park in_theater driving walking jogging driving_in_town driving_outside

Instanțele de situații: moștenire multiplă alive awake in_activity moving in_park walking I am walking in the park

O evoluție 7:15 alive sleeping I am sleeping sunt în casă, mă scol, sunt în casă, plec din casă, conduc mașina, mă plmb în parc, fac jogging in parc, conduc mașina, sunt în casă, mă culc… cu animație

O evoluție 7:18 alive awake at_home I am at home

O evoluție 8:20 alive awake moving driving driving_in_town I am driving in town

O evoluție 8:25 alive awake in_activity moving in_park walking I am walking in the park

O evoluție 8:27 alive awake in_activity moving in_park jogging I am jogging in the park

O evoluție 9:20 alive awake moving driving driving_in_town I am driving in town

O evoluție 9:28 alive awake at_home I am at home

Generarea primară a textului La 7:15 m-am sculat. Între 7:15 și 8:20 am stat în casă. Între 8:20 și 8:25 am condus mașina. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Sec. Nu leagă acțiunile între ele. Nu înțelege semnificația lor.

Interpretări și reformulări La 7:15 m-am sculat. Între 7:15 și 8:20 am stat în casă. Între 8:20 și 8:25 am condus mașina. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Ora trezirii e importantă: de ea se leagă toate celelalte activități; definește un pattern de comportament zilnic

Interpretări și reformulări La 7:15 m-am sculat. Între 7:15 și 8:20 am stat în casă. Între 8:20 și 8:25 am condus mașina. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Statul în casă nu e spectaculos. Poate fi eliminat.

Interpretări și reformulări La 7:15 m-am sculat. Între 7:15 și 8:20 am stat în casă. Între 8:20 și 8:25 am condus mașina. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. BA NU! Niciodată, propriu-zis nu stau. Am făcut ceva de care nu știu…

Interpretări și reformulări La 7:15 m-am sculat. … Între 8:20 și 8:25 am condus mașina. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Când mai întâi ești în casă și apoi conduci mașina, la un moment dat ai plecat din casă.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina … Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina… Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Mașina este un mijloc de a ajunge undeva. Ca urmare dacă conduc mașina trebuie să spun unde am mers cu ea.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Între 8:25 și 8:27 m-am plimbat în parc. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Dacă pleci undeva, în general ajungi acolo la o anumită oră.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă. Spune locul acțiunii și ora de sfârșit a ei.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă.

Interpretări și reformulări Când mai întâi ești în parc și apoi conduci mașina, la un moment dat ai plecat din parc. La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. Între 9:20 și 9:28 am condus mașina. La 9:28 am intrat în casă.

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. La 9:20 am plecat cu mașina din parc… La 9:28 am intrat în casă. Deci spui când și cu ce ai plecat din parc...

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. La 9:20 am plecat cu mașina din parc spre casă. La 9:28 am intrat în casă. Iar mașina o conduci ca să ajungi undeva...

Interpretări și reformulări La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. La 9:20 am plecat cu mașina din parc spre casă. La 9:28 am intrat în casă.

Reinterpretări: caută scopul acțiunilor M-am dus în parc ca să alerg, dar ca să ajung acolo a trebuit să iau mașina. La 7:15 m-am sculat. … La 8:20 am plecat de acasă cu mașina spre parc. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. La 9:20 am plecat cu mașina din parc spre casă. La 9:28 am intrat în casă.

Reinterpretări: caută scopul acțiunilor și simplifică Compară duratele și simplifică La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am ajuns în parc la 8:25. M-am plimbat în parc până la 8:27. Între 8:27 și 9:20 am alergat în parc. La 9:20 am plecat cu mașina din parc spre casă. La 9:28 am intrat în casă.

Reinterpretări: caută scopul acțiunilor și simplifică La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am ajuns în parc la 8:25. Am alergat 53 de minute. La 9:20 am plecat cu mașina din parc spre casă. La 9:28 am intrat în casă.

Reinterpretări: renunță la detalii neimportante La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am ajuns în parc la 8:25. Am alergat 53 de minute. La 9:20 am plecat cu mașina din parc spre casă. La 9:28 am intrat în casă.

Descoperă noi elemente: caută explicații La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am alergat 53 de minute. La 9:28 am intrat în casă. De ce am luat mașina?

Descoperă noi elemente: caută explicații La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am alergat 53 de minute. La 9:28 am intrat în casă. De ce am luat mașina? Ah… “Între 8:20 și 8:25 am condus mașina” => 5 minute la dus “Între 9:20 și 9:28 am condus mașina” => 8 minute la întors

Descoperă noi elemente: caută explicații La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am alergat 53 de minute. La 9:28 am intrat în casă. De ce am luat mașina? Un timp mediu de 6,5 min, la viteza mașinii de 50 km/h => distanța de 5,4 km => e prea departe de casă ca să merg pe jos (aprox. 1.5 ore) sau ca să aleg (aprox. 40 min)!

Descoperă noi elemente: caută explicații La 7:15 m-am sculat. La 8:20 am plecat de acasă cu mașina spre parc ca să alerg. Am alergat 53 de minute. La 9:28 am intrat în casă. Dar de ce am alergat? Și de ce nu am alergat pe lângă casă? Etc…

Module 1. OPEN-AIR LOCALISATION 2. IN-HOUSE LOCALISATION 3. MOVEMENT TYPE 4. FACES 5. VOICES 6. INFERENCE 7. TEXT GENERATION 8. QUESTION-ANSWERING 9. CLIENT-SERVER 10. STANDARDS AND EVALUATION

Detalii de organizare 2 proiecte! 2 grupuri: conduse de Ionuț Pistol și Marius Zbancioc Fiecare proiect include un număr de module (10?) Fiecare modul este construit de o echipă Fiecare echipă are aprox. 10-15 membri Există o unică echipă de STANDARDS AND EVALUATION

Termen imediat Echipele organizate în 2 săptămâni! Puteți folosi Google Projects wiki planificare (diagrame Gantt), termene forum documentație