(English at the end)
Nous proposons un stage / projet Master en perception au sein de l’équipe SyRI du laboratoire Heudiasyc, à Compiègne, dans le contexte d’applications liées au véhicule intelligent :
– Segmentation d’objets en mouvement en scène de conduite à l’aide de la vision par événements / Segmentation of moving objects in driving scenes with event vision
Pour toute information et pour candidater, merci de contacter Franck Davoine (franck.davoine@hds.utc.fr) et Julien Moreau (julien.moreau@hds.utc.fr).
Merci de joindre à votre candidature tout élément tangible sur les compétences que nous recherchons, ainsi que vos relevés de notes et les coordonnées de référents que nous pourrions contacter.
Pré-requis recherchés (en plus des éventuelles spécificités du sujet) / requirements (in addition to subject specific features):
> Savoir / Knowledge
Background computer vision if possible
Good English, scientific articles understanding and overview
> Savoir-faire / Expertise
Python or C++ developpement
Bonus: practice with middleware ROS
> Savoir-être / Soft skills
Curiosity for real experiments
Autonomy and strong motivation
Work in collaboration with teams
Ce stage de fin d’études s’inscrit dans les travaux du laboratoire Heudiasyc en perception par caméra à événements appliquée au véhicule. La caméra à événements détecte les changements de luminosité au niveau de chaque pixel au lieu de fournir des vidéos trame par trame, ce qui lui confère une extrême sensibilité et réactivité.
L’objectif de recherche du stage est de segmenter les objets en mouvement à partir de la vision par événements, dans le contexte de scènes de conduite. L’une des principales difficultés est de séparer les événements liés au mouvement propre du véhicule (ego-motion) des événements issus du mouvement des autres objets. Le mouvement d’arrière plan correspond en fait aux éléments fixes dans la réalité : les bâtiments, la route, etc. Le reste des événements observés correspond à des objets qui ont bougé. Il s’agira de chercher des méthodes basées modèle, telles [Gu21], éventuellement avec usage d’une centrale inertielle comme dans [Delbruck14]. Le flot optique pourra aussi être exploité, grâce à l’algorithme développé en interne [Brebion22], par l’usage de technique de séparation des mouvements comme [Lo22].
L’évaluation des résultats sera une étape cruciale. Nous pourrons utiliser les véhicules équipés du laboratoire et profiterons d’acquisitions réalisées en collaboration avec d’autres projets. Nous chercherons des méthodes pour annoter facilement des données haut niveau et suffisantes pour les besoins du projet, par exemple en comptant le nombre d’éléments mobiles visibles.
/
This Master internship is part of the Heudiasyc laboratory’s work in event camera perception applied to vehicles. The event camera detects changes in brightness at the level of each pixel instead of providing frame-by-frame videos, which gives it an extreme sensitivity and reactivity.
The research objective of the internship is to segment moving objects from event-based vision in the context of driving scenes. One of the main difficulties is to separate the events related to the vehicle’s own motion (ego-motion) from the events resulting from the motion of other objects. The background motion corresponds in fact to the fixed elements of the world: the buildings, the road, etc. The rest of observed events correspond to objects that have moved. It will be necessary to look for model-based methods, such as [Gu21], possibly with the use of an inertial unit as in [Delbruck14]. The optical flow can also be exploited, thanks to the algorithm developed in-house [Brebion22], by using motion separation techniques such as [Lo22].
The evaluation of the results will be a crucial step. We can use the equipped vehicles of the laboratory and take advantage of acquisitions made in collaboration with other projects. We will look for methods to easily annotate high-level data that are adequate for the project, for example by counting the number of visible moving objects.
[Delbruck14] T. Delbruck, V. Villanueva and L. Longinotti, “Integration of dynamic vision sensor with inertial measurement unit for electronically stabilized event-based vision,” 2014 IEEE International Symposium on Circuits and Systems (ISCAS), 2014, pp. 2636-2639, doi: 10.1109/ISCAS.2014.6865714.
[Gu21] C. Gu, E. Learned-Miller, D. Sheldon, G. Gallego and P. Bideau, “The Spatio-Temporal Poisson Point Process: A Simple Model for the Alignment of Event Camera Data,” 2021 IEEE/CVF International Conference on Computer Vision (ICCV), 2021, pp. 13475-13484, doi: 10.1109/ICCV48922.2021.01324.
[Brebion22] V. Brebion, J. Moreau and F. Davoine, “Real-Time Optical Flow for Vehicular Perception With Low- and High-Resolution Event Cameras,” in IEEE Transactions on Intelligent Transportation Systems, vol. 23, no. 9, pp. 15066-15078, Sept. 2022, doi: 10.1109/TITS.2021.3136358.
[Lo22] Lo, Ka-Man. “Optical Flow Based Motion Detection for Autonomous Driving.” ArXiv abs/2203.11693 (2022)