Mémoire de Projet de Fin d'Études Université de Sousse Ecole Nationale d’Ingénieurs de Sousse Mémoire de Projet de Fin d'Études Implémentation d’un algorithme de détection de mouvement sur une carte ZedBoard Réalisé par : Sirine Bouslama Soutenu le 25 juin 2016 devant le jury Merci Madame la présidente du jury , honorables membre de jury, bonjour Bonjour cher auditoires, Permettez moi de vous présenter mon projet de fin d’etude intitulé *** , pour cela je vais suivre le plan suivant   Encadreur : M. Abdelaziz AMMARI, ENISo Encadreur : M. Anouar BEN KHALIFA, ENISo

Plan Introduction Environnement de développement Conception de l’accélérateur Implémentation Je vais commencer par introduire le domaines dans lequel nous évoluons Par la suite je présenterai l’environnement de travail Ensuite la conception de l’accélérateur et l’implémentation Et finalement, je terminerai par la conclusion et les perspectives Conclusion & Perspectives

La vision embarquée Vision intelligente Systèmes Embarqués Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives La vision embarquée Vision intelligente Systèmes Embarqués Afin de bien commencer notre travail, il est important d’introduire le domaine dans le quel nous évoluons: la vision embarqué La vision embarqué représente la rencontre de deux univers: la vision intelligente et les systèmes embarqués, La vision intelligente est une branche de l’intelligence artificielle dont le but est de permettre aux systèmes de comprendre ce qu’il voit lorsque on le connecte à une ou plusieurs caméras. Commençons donc par donner un petit aperçu sur les domaines d’application de la vision intelligente

Les domaines d’application de la vision intelligente: Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Les domaines d’application de la vision intelligente: Vidéosurveillance Assistance à la conduite Interaction Homme machine les domaines d’application d’un système de vision sont diverses: Par exemple, Il est utilisé dans des applications de vidéosurveillance pour alerter les agents de sécurités des activités anormales Dans les applications d’assistance à la conduite, on peut trouver dans des fonctions de détection de piétons ou encore d’analyse du comportement du conducteur, on peut le retrouver dans le domaine d’interaction homme-machine ou les application concerne essentiellement le canal gestuel de letre humain afin de reconnaitre le langage des signes par exemple, ou encore dans le domaine de reconnaissance des activités humaines, pour détecter les chutes des personnes Dans l’industrie, il peut être utilisé pour l’identification et le suivie des objets Reconnaissance des activités humaines Vision industrielle

Processus d’un système de vision Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Détecter le mouvement Prise de décision Acquisition Des images Suivi et classification Toutes ces applications présentent un point en commun : il doivent détecter un mouvement pour pouvoir l’analyser, le suivre afin de le classifier et prendre une décision Processus d’un système de vision

Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives 480x640 ≈ 0,3 720x1280 ≈ 0,6 1920x1080 ≈ 2 4000x2000 ≈ 8 Mégapixels Comme montre cette illustration, le traitement des données d’une image est très intense, En plus , plus la taille de l’image augmente, plus les calculs deviennent complexes. Par exemple, pour une image FHD, nous devons traiter plus de 2mega octets de pixels. En considérant ces grandes dimensions, n’importe quel traitement impliquant ces pixels requiert un architecture bien spécifique,

La vision par ordinateur: Système d’acquisition Un PC Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives La vision par ordinateur: Système d’acquisition Un PC Les architectures dédiées aux implémentation matérielle/logicielle des applications de vision: Les FPGAs Les ASICs Les DSPs Les microprocesseurs Traditionnellement, la vision intelligente mettait en œuvre un système d’acquisition et un PC. Alors qu’aujourd’hui il existe des *** Cependant, le progrès dans la capacité d’intégration des circuits électroniques ont ouvert de nouvelles perspectives pour les applications de vision en temps réel sur des systèmes embarqués combinant à la fois le logiciel et le matériel. Dans ce contexte, le circuit Zynq sur lequel se base notre projet st apparue. C’est une nouvelle technologie hybride combinant à la fois la logique programmable avec des processeurs,

Plan Introduction Environnement de développement Conception de l’accélérateur Implémentation Nous allons donc se contenter, dans la partie suivante de présenter ce circuit ainsi que l’environnement de notre travail, Conclusion & Perspectives

La plateforme ZedBoard Le flot de conception Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives La circuit Zynq La plateforme ZedBoard Le flot de conception Le circuit zynq-7000 de Xilinx dispose d’une partie logique et deux processeurs, C’est le premier circuit ayant combiner deux cœurs du processeur ARM, une partie FPGA et des périphériques clés qui introduisent une grande flexibilité si on veut connecter le Zynq à son environnement extérieur sur une seule puce Le cœur du PS ou encore le processing system sont les processeurs ARM Les performances de ce circuit ne résident pas dans ses parties constructives, le PS et le PL mais dans la possibilité de les utiliser en tandem afin de former des systèmes complet, le facteur clé à cet égard sont les 9 interfaces de connexion entre le PS et le PL, Les quatre ports à usage général, les quatre ports de haute performances et le port ACP Accelerator coherency port , La différence majeur entre ces différents ports résident dans la bande passante ainsi que la latence lors de l’accès à la mémoire,

La plateforme ZedBoard Le flot de conception Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives La circuit Zynq La plateforme ZedBoard Le flot de conception La plateforme embarquée que nous avons utilisé pour notre application est la plateforme ZedBoard basé sur le circuit Zynq Au niveau connectique la carte est assez compléter et dans notre cas, nous allons utilisé : bien évidemment le circuit Zynq, la mémoire DDR de 512 M ,le port HDMI, la carte SD, les jumpers de configuration Alors afin de concevoir l’application, La suite d’outils Vivado conçu par Xilinx est l’environnement idéal pour cela, Nous allons maintenant présenter le flot de conception d’une application à base de ce circuit

Architecture du système Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives La circuit Zynq La plateforme ZedBoard Le flot de conception du système Architecture du système Application Logicielle Design matérielle Vivado IDE design IPs personnalisés Vivado HLS Intégrer les IPs IPs de Xilinx L’architecture du système concerne la conception du design matériel, l’application logicielle et la conception des IPs personnalisés, On commence par créer le design à partir des IPs ensuite valider et synthétiser notre design, et finalement générer le bitstream pour configurer la partie matérielle, Ceci est réalisé à partir de l’outil de Xilinx Vivado IDE Ensuite on passe à L’application logicielle conçue pour programmer la partie matérielle du design est réalisé à partir de l’OS Linux, Donc, afin d’accélérer et concevoir les applications prévisionnelles de vision, nous allons concevoir des accélérateur matériel pour les intégrer sur la partie FPGAs de ce circuit via cet outil: vivado_hls Valider Synthétiser SDK Bitstream

OpenCV La circuit Zynq La plateforme ZedBoard Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives La circuit Zynq La plateforme ZedBoard Le flot de conception Vivado HLS OpenCV la conception des IPs sur les FPGA au niveau RTL est très couteuse en terme de temps de développement. Cet nouveau outil de Xilinx, Vivado hls permet de traduire automatiquement un code écrit en langage haut niveau comme c/c++ ou system c en un code RTL. Une fois l’IP conçu, on peut l’intégrer dans la bibliothèque d’Ips de vivado IDE et ainsi l’utiliser pour la construction du design matérielle, Ce logiciel contient une bibliothèque c++ pour accélérer les fonctions de la bibliothèque OpenCV . Cette bibliothèque qui a été créée pour preter main forte à toute personne opérante dans le domaine de la vision, Xilinx a réalisé son utilité et a donc réécrit plusieurs fonctions Opencv pour qu’ils soient synthétisables,

Plan Introduction Environnement de développement Conception de l’accélérateur Implémentation On passe maintenant à la conception de l’accélérateur via l’outil vivado_hls Conclusion & Perspectives

Idée de base: la différence temporelle Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Idée de base: la différence temporelle Prendre deux images consécutives dans le temps Faire la soustraction entre ces deux images pour détecter le mouvement. Pour la détection de mouvement on a opté pour la méthode de la diférence temporelle qui consiste à : Via vivado hls, l’application est testé à partir de deux images, l’une considérée comme étant l’image courante et l’autre comme étant l’image précédente ! L’approche testée consiste donc

L’approche proposée pour la détection de mouvement : Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives L’approche proposée pour la détection de mouvement : Trame courante Trame précédente Transformation en niveau de gris Transformation en niveau de gris Filtre Gaussien Filtre Gaussien Soustraction des trames à prendre deux images consécutives on aboutit à une étape de prétraitement ensuite, on calcul la différence absolue entre les deux résultats obtenus et ainsi détecter le mouvement, pour valider ce flot, Binarisation Application du masque Détection de mouvement

Détection de mouvement avec Vivado HLS Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Image courante Transformation en niveau de gris et application du filtre de gauss Résultat de détection Image précédente Transformation en niveau de gris et application du filtre de gauss Différence binairisation Dessin du masque Color On va montrer les différents résultats obtenus à chaque étape. À partir des deux image , on va faire la transformation en niveau de gris et appliquer le filtre de gauss afin de réduire le bruit ensuite on pré calcule la différence absolue On va faire la binarisation avec un seuil déterminé empiriquement Détection de mouvement avec Vivado HLS

Plan Introduction Environnement de développement Conception de l’accélérateur Implémentation On passe maintenant à l’implémentation de l’alogorithme sur le circuit zynq Conclusion & Perspectives

Architecture du design Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Implémentation matérielle Implémentation logicielle L’implémentation va combiner l’utilisation de la partie programmable et la partie processeur du circuit Zynq. Comme montre l’illustration suivante , le flux vidéo est capturé à partir d’une caméra USB. Ce flux sera accessible, à la fois, par le logiciel et le matériel pour qu’il soit traité. L’interface utilisateur de l’OS est affichée via l’interface HDMI. Cette interface est construite en utilisant le design référence ADV7511 intégré dans le PL. Focalisons nous tout d’abord sur ce bloc « Video processing » Architecture du design

Bloc ‘’Processing’’ Implémentation matérielle Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Implémentation matérielle Implémentation logicielle Notre IP détection possède deux entrées car nous allons prendre en considération l’image courante et l’image précédente et deux sorties, une présentant l’image résultat de la détection et une pour sauvegarder l’image courante qui deviendra par la suite l’image précédente. Chaque port de notre IP est interfacé avec un IP de la bibliothèque de Xilinx « VDMA » l’abréviation de Video direct access memory Cet IP est capable de manipuler les données de 2d ( autrement dis les images) pour les lire ou écrire via la mémoire Bloc ‘’Processing’’

Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives 500M CF PF motion 12M DDR3 1 2 Quand une image est récupérée depuis la caméra, elle sera stockée dans la mémoire gérée par Linux qui est de 500 mega va et elle va être copiée dans une mémoire physique réservé pour les transferts des VDMAs afin d’assurer que l’image à manipulée sera disponible d’une façon continue dans cette zone mémoire, Ensuite une fois le frame courant est disponible, l’accélérateur commence à traiter les deux images disponibles en mémoire : le frame courant et le précédent. Quand le traitement sera terminé, le résultat de détection sera stocké dans cette mémoire Et finalement il sera recopié vers la zone mémoire de Linux pour qu’il soit affiché! Passons maintenant à la réalisation:

Architecture du design Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Implémentation matérielle Implémentation logicielle Alors afin de tester l’efficacité de l’IP conçu sur la partie FPGA, nous avons eu recours à l’implémentation de cet algorithme uniquement en utilisant les processeurs ARM, c’est-à-dire en utilisant un programme en c++ exécutée sur Linux. Architecture du design

Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives DDR3 500M 12M 2 3 4 1 5 6 7 Le flux vidéo sera capturé via la caméra usb, sera ensuite traités avec le processeurs avec bien évidemment plusieurs accès à la mémoire pour lire et écrire les images temporaires et finalement il sera récupéré depuis la mémoire pour s’afficher,

Je vais montrer ici une Vidéo démonstratif de mon projet, On montre finalement les résultats de détection

Hardware Software Temps d’exécution Résultats:   Hardware Software Temps d’exécution Sans les accès mémoire 0.00420s 0.130410s Avec les accès mémoire 0.11446s Accélération de x1.13 fois en considérant les transferts entre les mémoires Accélération de x31.05 fois sans considérer les transferts entre les mémoires Pour une image de 640x480 nous accélérons le processus de détection, en prenant en compte des accès mémoire, de x1.1392 fois. Alors que, si nous ne considérons pas les accès mémoire pour lire et écrire les images, nous avons une accélération de x31.05 fois.

Hardware Software Temps d’exécution Résultats:   Hardware Software Temps d’exécution Sans les accès mémoire 0.005258s 0.115549s Avec les accès mémoire 0.086751s Accélération de x 1,33 fois en considérant les accès à la mémoire Accélération de x 21,97 fois sans considérer les accès à la mémoire Pour la caméra dont la taille de l’image est de 640x480 pixels, nous accélérons le processus de détection, en prenant en compte des accès mémoire, de x 1.3319 fois. Alors que, si nous ne considérons pas les accès mémoire, nous avons une accélération de x 21.9758 fois.

Plan Introduction Environnement de développement Conception de l’accélérateur Implémentation Finalement je vais présenter la conlusion et les perspectives concernant ce projet Conclusion & Perspectives

Concevoir un accélérateur via un outil de synthèse haut niveau Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives Conclusion: Concevoir un accélérateur via un outil de synthèse haut niveau Valider un flot de conception rapide pour une implémentation matérielle d’un algorithme de vision sur un circuit FPGA-Zynq. Perspectives: Utilisation du port ACP. Exploiter l’utilisation en parallèle des deux processeurs ARM. Pendant ce projet, nous avons pu Mais notre conception n’est pas totalement optimisées suite à la latence de la mémoire DDR Ainsi les perspectives sont d’une part l’utilisation du port ACP qui fournit un accès de plus faible latence à la mémoire cache du PS et

Merci de votre attention

Sous Linux, les adresses manipulées sont virtuelle et l’accés à la mémoire physique ne nous permet pas d’écrire l’image d’une manière continue dans l’espace mémoire physique. Donc pour assurer ceci, nous avons aboutit à son écriture dans un espcae mémoire non gérée par Linux

Afin d’avoir accées à n’importe quel périphérique, nous utilisons une adresse virtuelle apres l’aavoir mappée à une adresse physique du compsant puisque leur configuration se fait à partir de l’adresse virtuelle et nous pourrons donc configurer le periphérique à partir de l’ecriture dans ses registres,

Séquence de boot de Linux FSBL/ Séquence de boot de Linux

Architecture matérielle du design Introduction Environnement de travail Conception de l’accélérateur Implémentation Conclusion & Perspectives l’illustration suivante présente le design complet et simplifié de notre application. L’IP le plus évident est celui du Zynq. Dans notre cas, il permet aux différents IPs de la partie PL de communiquer avec la mémoire DDR du PS. En effet, c’est à travers cet IP que le VDMA puisse accéder à la mémoire DDR pour lire et écrire les images. C’est aussi à travers cet IP que les horloges et d’autres périphériques tels que (UART, USB, Ethernet …) sont définis. Via Vivado IDE et une fois le design est validé et synthétisé, on génère le bitstream et on lance linux afin d’écrire le programme pour gérer le matériel, Architecture matérielle du design