1. HealthCare Monitoring: GERHOME Project Monique Thonnat, Francois Bremond & Nadia Zouba PULSAR, INRIA
Date

2. Approach for video analysis
Alarms
Detection
Classification
Tracking & posture detection
Activity Recognition
A person is in the kitchen

3. Gerhome laboratory (CSTB, PULSAR)
GERHOME (Gerontology at Home) : homecare laboratory
Experimental site in CSTB (Centre Scientifique et Technique de Bâtiment) at Sophia Antipolis

4. Position of the sensors in Gerhome laboratory4

5. Sensors in Gerhome laboratory
Video cameras: installed in the kitchen and in the living-room used to detect and track a mobile objects (mostly people) evolving in the scene.
Environmental sensors: used to collect information about the interactions with the objects in the environment:
Contact sensors: installed on different locations, they detect usage for doors, cupboards, drawers, fridge, …
Usage sensors: installed into an electrical outlets with the appliance plugging directly to the sensor, they detect whether an appliance is on or off (e.g. microwave).
Presence sensors: installed in front of sink and cooking stove to detect the
presence of people near sink and stove.
Water sensors: to detect the use of a water in the kitchen and in the bathroom.
Pressure sensors: to detect when a person is sitting on a chair, armchair, … 5

6. Sensors installed in Gerhome laboratory
Contact sensor in the cupboard door
Contact sensor in the window
Dans la cuisine
Pressure sensor underneath the legs of armchair
Video camera in the living-room

7. Posture recognition
Posture recognition approach [Boulay, et al. PRL06]:
Using a set of 3D models defining the postures of interest.
standing (a), standing with arms up (b), standing with hands up (c),
bending (d),
sitting on a chair (e), sitting on the floor with outstretched legs (f), sitting on the floor with flexed legs (g), slumping (h),
lying on the side with flexed legs (i), lying on the back with outstretched legs (j).
These postures are used to detect primitive states and complex events (e.g. falling). 7

8. Postures 8

9. Recognition of the “Feeling faint” event
The person is recognized with the postures "standing” “bending”, " sitting on the floor with flexed legs”, and “sitting on the floor with outstretched legs”.
Visualization of the recognition of “Feeling faint” in the Gerhome laboratory

10. Recognition of the “Falling down” event
The person is recognized with the postures "standing”, " sitting on the floor with flexed legs ”, and “lying with outstretched legs”.
Visualization of the recognition of “Falling down” in the Gerhome laboratory

11. Recognition of the “Prepare meal” event
The person is recognized with the postures "standing”, “bending”, “located in the kitchen”, “using the fridge”,, and “using the microwave”.
Visualization of the recognition of “Prepare meal” in the Gerhome laboratory

12. Recognition of the “Resting in living-room” event
The person is “located in the living-room” and recognized with the postures “sitting”
and “slumping”.
Visualization of the recognition of “Resting in living-room” in the Gerhome laboratory

13. Recognition of the “Prepare meal” event with elderly person

14. Recognition of the “Take meal” event with elderly person

15. Stopping zones: person is standing for more than 20 s
Trajectory
Stopping zones: person is standing for more than 20 s
Trajectory of the person in the apartment
Distance walked during 3 hours = km

16. Preliminary results 45 12 :00 0.16 200 30 :00 0.09
12 :00
0.16
200
30 :00
0.09
Etre debout immobile 6
11 :00
1 :83 4
8 :00
2 :00
Etre dans l’entrée 5
5 :00
1 :00. 2
1 :00
Entrer dans la salle de bain 7
23 :00
3 :28
1 :25
Entrer dans la chambre 3
2 :66
2 :45
Entrer dans la cuisine 13
35 :00
2 :68 20
25 :00
Entrer dans le salon 15
0.20 30
0.04
Se baisser
0:06
0 :01
Assis sur le fauteuil 12
73:27
6 :07
Assis sur la chaise2
185:25
92 :42
Assis sur la chaise1
65:18
16 :19
169:12
42 :18
TV allumée 1
0 :56
Utiliser les toilettes 9
42:24
4 :42 25
21:34
0 :51
Utiliser le tiroir haut 19
0:58
0 :03
9:36
0 :28
Utiliser l’eau froide (cuisine) 22
3:31
0 :09 40
12:40
0 :19
Utiliser l’eau chaude (cuisine)
Utiliser le micro-onde
102
27:57
0 :16 35
4 :52
0 :08
Utiliser les plaques chauffantes
1:09
0 :13 14
2 :50
0 :12
Utiliser le frigidaire
Nb instances
Durée totale (min)
Temps moyen (min)
Activités / s.ous activités
Volontaire 2 ( > 80 ans)
Volontaire 1 ( < 65 ans)
Volontaires

17. Preliminary results Incohérence capteurs 45 12 :00 0.16 200 30 :00
12 :00
0.16
200
30 :00
0.09
Etre debout immobile 6
11 :00
1 :83 4
8 :00
2 :00
Etre dans l’entrée 5
5 :00
1 :00. 2
1 :00
Entrer dans la salle de bain 7
23 :00
3 :28
1 :25
Entrer dans la chambre 3
2 :66
2 :45
Entrer dans la cuisine 13
35 :00
2 :68 20
25 :00
Entrer dans le salon 15
0.20 30
0.04
Se baisser
0:06
0 :01
Assis sur le fauteuil 12
73:27
6 :07
Assis sur la chaise2
185:25
92 :42
Assis sur la chaise1
65:18
16 :19
169:12
42 :18
TV allumée 1
0 :56
Utiliser les toilettes 9
42:24
4 :42 25
21:34
0 :51
Utiliser le tiroir haut 19
0:58
0 :03
9:36
0 :28
Utiliser l’eau froide (cuisine) 22
3:31
0 :09 40
12:40
0 :19
Utiliser l’eau chaude (cuisine)
Utiliser le micro-onde
102
27:57
0 :16 35
4 :52
0 :08
Utiliser les plaques chauffantes
1:09
0 :13 14
2 :50
0 :12
Utiliser le frigidaire
Nb instances
Durée totale (min)
Temps moyen (min)
Activités / s.ous activités
Volontaire 2 ( > 80 ans)
Volontaire 1 ( < 65 ans)
Volontaires
Incohérence capteurs

18. Déplacements + ou - rapides
Preliminary results 45
12 :00
0.16
200
30 :00
0.09
Etre debout immobile 6
11 :00
1 :83 4
8 :00
2 :00
Etre dans l’entrée 5
5 :00
1 :00. 2
1 :00
Entrer dans la salle de bain 7
23 :00
3 :28
1 :25
Entrer dans la chambre 3
2 :66
2 :45
Entrer dans la cuisine 13
35 :00
2 :68 20
25 :00
Entrer dans le salon 15
0.20 30
0.04
Se baisser
0:06
0 :01
Assis sur le fauteuil 12
73:27
6 :07
Assis sur la chaise2
185:25
92 :42
Assis sur la chaise1
65:18
16 :19
169:12
42 :18
TV allumée 1
0 :56
Utiliser les toilettes 9
42:24
4 :42 25
21:34
0 :51
Utiliser le tiroir haut 19
0:58
0 :03
9:36
0 :28
Utiliser l’eau froide (cuisine) 22
3:31
0 :09 40
12:40
0 :19
Utiliser l’eau chaude (cuisine)
Utiliser le micro-onde
102
27:57
0 :16 35
4 :52
0 :08
Utiliser les plaques chauffantes
1:09
0 :13 14
2 :50
0 :12
Utiliser le frigidaire
Nb instances
Durée totale (min)
Temps moyen (min)
Activités / s.ous activités
Volontaire 2 ( > 80 ans)
Volontaire 1 ( < 65 ans)
Volontaires
Déplacements + ou - rapides

19. Principales activités
Preliminary results 45
12 :00
0.16
200
30 :00
0.09
Etre debout immobile 6
11 :00
1 :83 4
8 :00
2 :00
Etre dans l’entrée 5
5 :00
1 :00. 2
1 :00
Entrer dans la salle de bain 7
23 :00
3 :28
1 :25
Entrer dans la chambre 3
2 :66
2 :45
Entrer dans la cuisine 13
35 :00
2 :68 20
25 :00
Entrer dans le salon 15
0.20 30
0.04
Se baisser
0:06
0 :01
Assis sur le fauteuil 12
73:27
6 :07
Assis sur la chaise2
185:25
92 :42
Assis sur la chaise1
65:18
16 :19
169:12
42 :18
TV allumée 1
0 :56
Utiliser les toilettes 9
42:24
4 :42 25
21:34
0 :51
Utiliser le tiroir haut 19
0:58
0 :03
9:36
0 :28
Utiliser l’eau froide (cuisine) 22
3:31
0 :09 40
12:40
0 :19
Utiliser l’eau chaude (cuisine)
Utiliser le micro-onde
102
27:57
0 :16 35
4 :52
0 :08
Utiliser les plaques chauffantes
1:09
0 :13 14
2 :50
0 :12
Utiliser le frigidaire
Nb instances
Durée totale (min)
Temps moyen (min)
Activités / s.ous activités
Volontaire 2 ( > 80 ans)
Volontaire 1 ( < 65 ans)
Volontaires
Principales activités

20. Preliminary results + ou - dynamique 45 12 :00 0.16 200 30 :00 0.09
12 :00
0.16
200
30 :00
0.09
Etre debout immobile 6
11 :00
1 :83 4
8 :00
2 :00
Etre dans l’entrée 5
5 :00
1 :00. 2
1 :00
Entrer dans la salle de bain 7
23 :00
3 :28
1 :25
Entrer dans la chambre 3
2 :66
2 :45
Entrer dans la cuisine 13
35 :00
2 :68 20
25 :00
Entrer dans le salon 15
0.20 30
0.04
Se baisser
0:06
0 :01
Assis sur le fauteuil 12
73:27
6 :07
Assis sur la chaise2
185:25
92 :42
Assis sur la chaise1
65:18
16 :19
169:12
42 :18
TV allumée 1
0 :56
Utiliser les toilettes 9
42:24
4 :42 25
21:34
0 :51
Utiliser le tiroir haut 19
0:58
0 :03
9:36
0 :28
Utiliser l’eau froide (cuisine) 22
3:31
0 :09 40
12:40
0 :19
Utiliser l’eau chaude (cuisine)
Utiliser le micro-onde
102
27:57
0 :16 35
4 :52
0 :08
Utiliser les plaques chauffantes
1:09
0 :13 14
2 :50
0 :12
Utiliser le frigidaire
Nb instances
Durée totale (min)
Temps moyen (min)
Activités / s.ous activités
Volontaire 2 ( > 80 ans)
Volontaire 1 ( < 65 ans)
Volontaires
+ ou - dynamique

21. Utilisation + ou – facile
Preliminary results 45
12 :00
0.16
200
30 :00
0.09
Etre debout immobile 6
11 :00
1 :83 4
8 :00
2 :00
Etre dans l’entrée 5
5 :00
1 :00. 2
1 :00
Entrer dans la salle de bain 7
23 :00
3 :28
1 :25
Entrer dans la chambre 3
2 :66
2 :45
Entrer dans la cuisine 13
35 :00
2 :68 20
25 :00
Entrer dans le salon 15
0.20 30
0.04
Se baisser
0:06
0 :01
Assis sur le fauteuil 12
73:27
6 :07
Assis sur la chaise2
185:25
92 :42
Assis sur la chaise1
65:18
16 :19
169:12
42 :18
TV allumée 1
0 :56
Utiliser les toilettes 9
42:24
4 :42 25
21:34
0 :51
Utiliser le tiroir haut 19
0:58
0 :03
9:36
0 :28
Utiliser l’eau froide (cuisine) 22
3:31
0 :09 40
12:40
0 :19
Utiliser l’eau chaude (cuisine)
Utiliser le micro-onde
102
27:57
0 :16 35
4 :52
0 :08
Utiliser les plaques chauffantes
1:09
0 :13 14
2 :50
0 :12
Utiliser le frigidaire
Nb instances
Durée totale (min)
Temps moyen (min)
Activités / s.ous activités
Volontaire 2 ( > 80 ans)
Volontaire 1 ( < 65 ans)
Volontaires
Utilisation + ou – facile