Résumé
C-Pilot est un projet de recherche partenarial financé par le CRSNG (Subvention Alliance) et le Consortium de recherche et d'innovation en aérospatiale au Québec (CRIAQ), en collaboration avec Bombardier, Beam Me Up Labs et Cognitive Group. Dirigé par Roger Nkambou (UQAM), il vise à extraire les comportements de pilotage, à développer des pilotes virtuels capables de reproduire à la fois les actions et l'état cognitif d'un pilote réel, et à concevoir des agents compagnons qui évaluent cet état et assistent le pilote dans ses tâches. Ange Adrienne Nyamen Tato y est cochercheure et codirige, avec Georges Ghazi (ÉTS), le volet consacré à la modélisation du comportement des pilotes par apprentissage automatique.
Problématique
La hausse du trafic aérien et des communications dans le cockpit expose les pilotes à une surcharge de travail qui peut entraîner confusion, erreurs dangereuses et accidents (Chaouachi et Frasson, 2012 ; Sweller et al., 2011). Cette charge de travail peut être détectée dans l'activité cérébrale du pilote (Klaproth et al., 2020). Il serait tout aussi important de prédire, dans cet état mental, la séquence possible d'actions erronées afin de réduire les manœuvres risquées. Plusieurs études ont mesuré la charge de travail pendant des tâches de pilotage, sans nécessairement l'inscrire dans une perspective d'assistance cognitive (Hassoumi et al., 2022). L'industrie aéronautique cherche par ailleurs à réduire la dépendance envers les membres d'équipage, notamment en vue d'opérations à pilote unique (Baomar et Bentley, 2016).
Chez les avionneurs, les modèles de pilote utilisés en simulation reproduisent surtout les commandes physiques, avec peu d'attention portée à l'état cognitif du pilote. Le projet prolonge Pilot-AI (CRSNG, 2019), qui a permis de développer des modèles pour classifier les actions de pilotage, évaluer l'attention et la charge cognitive, et détecter les déviations et incapacités (Tato et al., 2022, 2023 ; Courtemanche et al., 2022).
Objectifs
Le projet vise à développer un cockpit expérimental intégrant des techniques biométriques pour évaluer et visualiser l'état cognitif d'un pilote à partir de ses actions et réactions, puis à créer des copilotes artificiels qui surveillent et analysent ce comportement dans différentes conditions. Il s'articule autour de quatre volets.
Catégorisation des comportements et modèles appris. Extraire des catégories de comportements de pilotage interprétables à partir de données de vol, construire un modèle appris pour chaque catégorie et les intégrer dans un pilote synthétique validé en simulateur, en étendant les travaux à d'autres phases critiques du vol que le décollage.
Mesure de l'état cognitif. Développer des outils de prédiction de l'état cognitif à partir de mesures physiologiques (oculométrie, EEG, caméra thermique), avec l'objectif de recourir uniquement à des capteurs non intrusifs.
Pilote virtuel cognitif. Concevoir un pilote miroir fondé sur une architecture cognitive (ACT-R), capable de refléter l'état cognitif et affectif d'un pilote, et l'intégrer à une plateforme expérimentale de conception de cockpit (Tchio et al., 2023).
Agents compagnons. Créer des agents coopératifs qui détectent les baisses d'attention et la surcharge cognitive, recommandent des actions adaptées au contexte et au profil du pilote, et identifient les sources de déviation de l'attention.
Partenariat et équipe
Le projet réunit un avionneur (Bombardier), une entreprise spécialisée dans l'évaluation de la charge cognitive à partir de données neurophysiologiques (Beam Me Up Labs) et une firme spécialisée en facteurs humains et en extraction d'expertise dans des environnements critiques (Cognitive Group). L'équipe universitaire regroupe Roger Nkambou (UQAM, chercheur principal), Claude Frasson (Université de Montréal), Hamdi Ben Abdessalem (UQAC), Georges Ghazi (ÉTS) et Ange Adrienne Nyamen Tato, qui apporte son expertise en modélisation du comportement humain par apprentissage profond, développée notamment comme chercheure postdoctorale dans Pilot-AI.
Retombées
Pour Bombardier, une plateforme capable de simuler une grande variété de pilotes permet de rendre les lois de commande et la conception du cockpit plus robustes avant les essais en vol, de réduire le nombre d'heures d'essai et d'évaluer rapidement l'impact de modifications du cockpit. Les modèles de pilote serviront aussi à développer des moniteurs capables de détecter, voire de contrer, une incapacité soudaine du pilote en vol. Pour Beam Me Up Labs et Cognitive Group, le projet offre un cas d'application en aérospatiale pour leurs outils de mesure cognitive et de capture de l'expertise. À plus long terme, ces travaux posent les bases d'équipements de cockpit capables de surveiller et de prédire la charge cognitive et l'attention du pilote, avec des implications importantes pour la sécurité aérienne.
Références
Baomar, H. et Bentley, P. J. (2016). An intelligent autopilot system that learns piloting skills from human pilots by imitation. Dans 2016 International Conference on Unmanned Aircraft Systems (ICUAS) (p. 1023–1031). IEEE.
Chaouachi, M. et Frasson, C. (2012). Mental workload, engagement and emotions: An exploratory study for intelligent tutoring systems. Dans Intelligent Tutoring Systems (ITS 2012), LNCS 7315 (p. 65–71). Springer.
Courtemanche, M.-A., Tato, A. et Nkambou, R. (2022). Ontological reference model for piloting procedures. Dans Intelligent Tutoring Systems (ITS 2022), LNCS 13284. Springer.
Hassoumi, A., Peysakhovich, V., Coz, A., Hurter, C. et Causse, M. (2022). Thermal imaging of the face: Mental workload detection in flight simulator. Neuroergonomics and Cognitive Engineering, 42, 84–94.
Klaproth, O. W., Halbrügge, M., Krol, L. R., Vernaleken, C., Zander, T. O. et Russwinkel, N. (2020). A neuroadaptive cognitive model for dealing with uncertainty in tracing pilots' cognitive state. Topics in Cognitive Science, 12(3), 1012–1029.
Sweller, J., Ayres, P. et Kalyuga, S. (2011). Cognitive load theory. Springer.
Tato, A., Nkambou, R. et Nana Tato, G. J. (2022). Towards adaptive coaching in piloting tasks: Learning pilots' behavioral profiles from flight data. Dans Intelligent Tutoring Systems (ITS 2022), LNCS 13284 (p. 105–114). Springer.
Tato, A., Nkambou, R. et Nana Tato, G. J. (2023). Automatic learning of piloting behavior from flight data. Dans Intelligent Tutoring Systems (ITS 2023), LNCS 13891 (p. 541–552). Springer.
Tchio, G. C. T., Courtemanche, M.-A., Tato, A., Nkambou, R. et Psyché, V. (2023). Integrating an ontological reference model of piloting procedures in ACT-R cognitive architecture to simulate piloting tasks. Dans Intelligent Tutoring Systems (ITS 2023), LNCS 13891 (p. 183–194). Springer.