HealthCare Monitoring: GERHOME Project Monique Thonnat, Francois Bremond & Nadia Zouba PULSAR, INRIA Date

Approach for video analysis Alarms Detection Classification Tracking & posture detection Activity Recognition A person is in the kitchen

Gerhome laboratory (CSTB, PULSAR) GERHOME (Gerontology at Home) : homecare laboratory Experimental site in CSTB (Centre Scientifique et Technique de Bâtiment) at Sophia Antipolis http://gerhome.cstb.fr

Position of the sensors in Gerhome laboratory 4

Sensors in Gerhome laboratory Video cameras: installed in the kitchen and in the living-room used to detect and track a mobile objects (mostly people) evolving in the scene. Environmental sensors: used to collect information about the interactions with the objects in the environment: Contact sensors: installed on different locations, they detect usage for doors, cupboards, drawers, fridge, … Usage sensors: installed into an electrical outlets with the appliance plugging directly to the sensor, they detect whether an appliance is on or off (e.g. microwave). Presence sensors: installed in front of sink and cooking stove to detect the presence of people near sink and stove. Water sensors: to detect the use of a water in the kitchen and in the bathroom. Pressure sensors: to detect when a person is sitting on a chair, armchair, … 5

Sensors installed in Gerhome laboratory Contact sensor in the cupboard door Contact sensor in the window Dans la cuisine Pressure sensor underneath the legs of armchair Video camera in the living-room

Posture recognition Posture recognition approach [Boulay, et al. PRL06]: Using a set of 3D models defining the postures of interest. standing (a), standing with arms up (b), standing with hands up (c), bending (d), sitting on a chair (e), sitting on the floor with outstretched legs (f), sitting on the floor with flexed legs (g), slumping (h), lying on the side with flexed legs (i), lying on the back with outstretched legs (j). These postures are used to detect primitive states and complex events (e.g. falling). 7

Postures 8

Recognition of the “Feeling faint” event The person is recognized with the postures "standing” “bending”, " sitting on the floor with flexed legs”, and “sitting on the floor with outstretched legs”. Visualization of the recognition of “Feeling faint” in the Gerhome laboratory

Recognition of the “Falling down” event The person is recognized with the postures "standing”, " sitting on the floor with flexed legs ”, and “lying with outstretched legs”. Visualization of the recognition of “Falling down” in the Gerhome laboratory

Recognition of the “Prepare meal” event The person is recognized with the postures "standing”, “bending”, “located in the kitchen”, “using the fridge”,, and “using the microwave”. Visualization of the recognition of “Prepare meal” in the Gerhome laboratory

Recognition of the “Resting in living-room” event The person is “located in the living-room” and recognized with the postures “sitting” and “slumping”. Visualization of the recognition of “Resting in living-room” in the Gerhome laboratory

Recognition of the “Prepare meal” event with elderly person

Recognition of the “Take meal” event with elderly person

Stopping zones: person is standing for more than 20 s Trajectory Stopping zones: person is standing for more than 20 s Trajectory of the person in the apartment Distance walked during 3 hours = 3.71 km

Preliminary results 45 12 :00 0.16 200 30 :00 0.09 12 :00 0.16 200 30 :00 0.09 Etre debout immobile 6 11 :00 1 :83 4 8 :00 2 :00 Etre dans l’entrée 5 5 :00 1 :00. 2 1 :00 Entrer dans la salle de bain 7 23 :00 3 :28 1 :25 Entrer dans la chambre 3 2 :66 2 :45 Entrer dans la cuisine 13 35 :00 2 :68 20 25 :00 Entrer dans le salon 15 0.20 30 0.04 Se baisser 0:06 0 :01 Assis sur le fauteuil 12 73:27 6 :07 Assis sur la chaise2 185:25 92 :42 Assis sur la chaise1 65:18 16 :19 169:12 42 :18 TV allumée 1 0 :56 Utiliser les toilettes 9 42:24 4 :42 25 21:34 0 :51 Utiliser le tiroir haut 19 0:58 0 :03 9:36 0 :28 Utiliser l’eau froide (cuisine) 22 3:31 0 :09 40 12:40 0 :19 Utiliser l’eau chaude (cuisine) Utiliser le micro-onde 102 27:57 0 :16 35 4 :52 0 :08 Utiliser les plaques chauffantes 1:09 0 :13 14 2 :50 0 :12 Utiliser le frigidaire Nb instances Durée totale (min) Temps moyen (min) Activités / s.ous activités Volontaire 2 ( > 80 ans) Volontaire 1 ( < 65 ans) Volontaires

Preliminary results Incohérence capteurs 45 12 :00 0.16 200 30 :00 12 :00 0.16 200 30 :00 0.09 Etre debout immobile 6 11 :00 1 :83 4 8 :00 2 :00 Etre dans l’entrée 5 5 :00 1 :00. 2 1 :00 Entrer dans la salle de bain 7 23 :00 3 :28 1 :25 Entrer dans la chambre 3 2 :66 2 :45 Entrer dans la cuisine 13 35 :00 2 :68 20 25 :00 Entrer dans le salon 15 0.20 30 0.04 Se baisser 0:06 0 :01 Assis sur le fauteuil 12 73:27 6 :07 Assis sur la chaise2 185:25 92 :42 Assis sur la chaise1 65:18 16 :19 169:12 42 :18 TV allumée 1 0 :56 Utiliser les toilettes 9 42:24 4 :42 25 21:34 0 :51 Utiliser le tiroir haut 19 0:58 0 :03 9:36 0 :28 Utiliser l’eau froide (cuisine) 22 3:31 0 :09 40 12:40 0 :19 Utiliser l’eau chaude (cuisine) Utiliser le micro-onde 102 27:57 0 :16 35 4 :52 0 :08 Utiliser les plaques chauffantes 1:09 0 :13 14 2 :50 0 :12 Utiliser le frigidaire Nb instances Durée totale (min) Temps moyen (min) Activités / s.ous activités Volontaire 2 ( > 80 ans) Volontaire 1 ( < 65 ans) Volontaires Incohérence capteurs

Déplacements + ou - rapides Preliminary results 45 12 :00 0.16 200 30 :00 0.09 Etre debout immobile 6 11 :00 1 :83 4 8 :00 2 :00 Etre dans l’entrée 5 5 :00 1 :00. 2 1 :00 Entrer dans la salle de bain 7 23 :00 3 :28 1 :25 Entrer dans la chambre 3 2 :66 2 :45 Entrer dans la cuisine 13 35 :00 2 :68 20 25 :00 Entrer dans le salon 15 0.20 30 0.04 Se baisser 0:06 0 :01 Assis sur le fauteuil 12 73:27 6 :07 Assis sur la chaise2 185:25 92 :42 Assis sur la chaise1 65:18 16 :19 169:12 42 :18 TV allumée 1 0 :56 Utiliser les toilettes 9 42:24 4 :42 25 21:34 0 :51 Utiliser le tiroir haut 19 0:58 0 :03 9:36 0 :28 Utiliser l’eau froide (cuisine) 22 3:31 0 :09 40 12:40 0 :19 Utiliser l’eau chaude (cuisine) Utiliser le micro-onde 102 27:57 0 :16 35 4 :52 0 :08 Utiliser les plaques chauffantes 1:09 0 :13 14 2 :50 0 :12 Utiliser le frigidaire Nb instances Durée totale (min) Temps moyen (min) Activités / s.ous activités Volontaire 2 ( > 80 ans) Volontaire 1 ( < 65 ans) Volontaires Déplacements + ou - rapides

Principales activités Preliminary results 45 12 :00 0.16 200 30 :00 0.09 Etre debout immobile 6 11 :00 1 :83 4 8 :00 2 :00 Etre dans l’entrée 5 5 :00 1 :00. 2 1 :00 Entrer dans la salle de bain 7 23 :00 3 :28 1 :25 Entrer dans la chambre 3 2 :66 2 :45 Entrer dans la cuisine 13 35 :00 2 :68 20 25 :00 Entrer dans le salon 15 0.20 30 0.04 Se baisser 0:06 0 :01 Assis sur le fauteuil 12 73:27 6 :07 Assis sur la chaise2 185:25 92 :42 Assis sur la chaise1 65:18 16 :19 169:12 42 :18 TV allumée 1 0 :56 Utiliser les toilettes 9 42:24 4 :42 25 21:34 0 :51 Utiliser le tiroir haut 19 0:58 0 :03 9:36 0 :28 Utiliser l’eau froide (cuisine) 22 3:31 0 :09 40 12:40 0 :19 Utiliser l’eau chaude (cuisine) Utiliser le micro-onde 102 27:57 0 :16 35 4 :52 0 :08 Utiliser les plaques chauffantes 1:09 0 :13 14 2 :50 0 :12 Utiliser le frigidaire Nb instances Durée totale (min) Temps moyen (min) Activités / s.ous activités Volontaire 2 ( > 80 ans) Volontaire 1 ( < 65 ans) Volontaires Principales activités

Preliminary results + ou - dynamique 45 12 :00 0.16 200 30 :00 0.09 12 :00 0.16 200 30 :00 0.09 Etre debout immobile 6 11 :00 1 :83 4 8 :00 2 :00 Etre dans l’entrée 5 5 :00 1 :00. 2 1 :00 Entrer dans la salle de bain 7 23 :00 3 :28 1 :25 Entrer dans la chambre 3 2 :66 2 :45 Entrer dans la cuisine 13 35 :00 2 :68 20 25 :00 Entrer dans le salon 15 0.20 30 0.04 Se baisser 0:06 0 :01 Assis sur le fauteuil 12 73:27 6 :07 Assis sur la chaise2 185:25 92 :42 Assis sur la chaise1 65:18 16 :19 169:12 42 :18 TV allumée 1 0 :56 Utiliser les toilettes 9 42:24 4 :42 25 21:34 0 :51 Utiliser le tiroir haut 19 0:58 0 :03 9:36 0 :28 Utiliser l’eau froide (cuisine) 22 3:31 0 :09 40 12:40 0 :19 Utiliser l’eau chaude (cuisine) Utiliser le micro-onde 102 27:57 0 :16 35 4 :52 0 :08 Utiliser les plaques chauffantes 1:09 0 :13 14 2 :50 0 :12 Utiliser le frigidaire Nb instances Durée totale (min) Temps moyen (min) Activités / s.ous activités Volontaire 2 ( > 80 ans) Volontaire 1 ( < 65 ans) Volontaires + ou - dynamique

Utilisation + ou – facile Preliminary results 45 12 :00 0.16 200 30 :00 0.09 Etre debout immobile 6 11 :00 1 :83 4 8 :00 2 :00 Etre dans l’entrée 5 5 :00 1 :00. 2 1 :00 Entrer dans la salle de bain 7 23 :00 3 :28 1 :25 Entrer dans la chambre 3 2 :66 2 :45 Entrer dans la cuisine 13 35 :00 2 :68 20 25 :00 Entrer dans le salon 15 0.20 30 0.04 Se baisser 0:06 0 :01 Assis sur le fauteuil 12 73:27 6 :07 Assis sur la chaise2 185:25 92 :42 Assis sur la chaise1 65:18 16 :19 169:12 42 :18 TV allumée 1 0 :56 Utiliser les toilettes 9 42:24 4 :42 25 21:34 0 :51 Utiliser le tiroir haut 19 0:58 0 :03 9:36 0 :28 Utiliser l’eau froide (cuisine) 22 3:31 0 :09 40 12:40 0 :19 Utiliser l’eau chaude (cuisine) Utiliser le micro-onde 102 27:57 0 :16 35 4 :52 0 :08 Utiliser les plaques chauffantes 1:09 0 :13 14 2 :50 0 :12 Utiliser le frigidaire Nb instances Durée totale (min) Temps moyen (min) Activités / s.ous activités Volontaire 2 ( > 80 ans) Volontaire 1 ( < 65 ans) Volontaires Utilisation + ou – facile