Des chercheurs et plusieurs start-up travaillent sur des interfaces cerveau-machine capables de traduire l’activité cérébrale en commandes de jeu, sans manette ni clavier.
Le principe repose sur des capteurs EEG placés sur le cuir chevelu, puis sur des algorithmes de machine learning qui convertissent ces signaux en actions, accélérer, tourner, sélectionner un objet. L’objectif prioritaire reste l’assistance aux personnes atteintes de handicap moteur, mais les démonstrations dans le jeu vidéo, en réalité virtuelle ou sur écran, servent de banc d’essai pour améliorer la précision, réduire le temps d’apprentissage et rendre l’usage plus naturel.
UT Austin et José del R. Milln testent un décodeur EEG auto-calibré
À l’Université du Texas à Austin, l’équipe associée au laboratoire de José del R. Milln a présenté en 2024 un système qualifié d’interface cerveau-machine universelle dans sa communication institutionnelle. L’idée est de réduire un verrou classique des BCI, le calibrage long et spécifique à chaque utilisateur. Les participants portent un bonnet équipé d’électrodes EEG, relié à un ordinateur qui collecte l’activité électrique du cerveau, puis un décodeur transforme ces données en commandes utilisables dans un jeu, par exemple un jeu de course qui exige des virages répétés et une gestion fine du timing.
Dans ce type d’approche non invasive, les signaux captés à la surface du crâne sont faibles, sensibles aux mouvements et au bruit, contraction des muscles du visage, clignements, micro-déplacements du bonnet. Le défi n’est donc pas seulement de lire la pensée, mais d’identifier des motifs cérébraux reproductibles, liés à l’intention, puis de les associer à des actions simples. Les protocoles s’appuient souvent sur l’imagerie motrice, imaginer un mouvement de la main ou du pied, ou sur des tâches d’attention visuelle, qui produisent des signatures exploitables dans certaines bandes de fréquence.
Le point mis en avant à Austin tient à l’adaptabilité. Plutôt que d’exiger une séance de calibration longue pour chaque nouveau joueur, le décodeur vise une forme d’auto-ajustement, en apprenant progressivement les caractéristiques individuelles. Dans les faits, les systèmes modernes combinent des modèles pré-entraînés, une phase de personnalisation rapide et une mise à jour en ligne. Ce fonctionnement rapproche la BCI d’un dispositif plug-and-play, même si l’exigence de qualité du signal impose encore une installation soignée, une bonne conductivité et une stabilité du capteur.
Le jeu vidéo sert ici de terrain d’évaluation, car il impose des contraintes mesurables, latence, précision, nombre d’erreurs, capacité à répéter une action. Dans un jeu de course, tourner à gauche ou à droite au bon moment devient un indicateur concret, plus parlant qu’un simple curseur sur un écran de laboratoire. Les chercheurs suivent généralement des métriques comme le taux de réussite, la vitesse d’apprentissage sur plusieurs sessions et la robustesse quand la fatigue augmente, un facteur central puisque l’attention soutenue sur EEG peut s’éroder au fil des minutes.
Neurable et le jeu VR Awakening relancent l’idée d’un contrôle sans manette
La start-up Neurable fait partie des acteurs les plus cités quand il s’agit de jeu vidéo contrôlé par l’activité cérébrale. Dès 2017, l’entreprise avait présenté Awakening, une démonstration en réalité virtuelle conçue pour fonctionner avec le casque HTC Vive. Le scénario mettait le joueur dans la peau d’un personnage retenu dans un laboratoire, avec une mécanique centrale, déplacer et manipuler des objets par une forme de télékinésie virtuelle, déclenchée par l’attention et la concentration.
Dans la pratique, ce type d’expérience repose rarement sur une commande continue aussi riche qu’une manette. Les prototypes privilégient des actions discrètes, sélectionner un objet, l’attirer, le pousser, activer une capacité. L’illusion de contrôle mental tient à la mise en scène et à l’ergonomie, le jeu masque une partie de l’incertitude en tolérant des marges d’erreur, en corrigeant la trajectoire ou en déclenchant l’action quand l’intention est détectée au-dessus d’un seuil. Cette logique est courante dans les BCI grand public, car elle permet de lisser les imperfections du signal EEG.
Les retours de testeurs décrivent souvent un moment marquant, l’objet bouge sans geste, comme si l’interface avait raccourci la chaîne entre intention et action. Mais l’expérience implique aussi un apprentissage, comprendre quel état mental déclenche le mieux l’action, rester stable, éviter de bouger la tête, limiter les contractions involontaires. Les démonstrations en VR ajoutent une contrainte, le casque et le bonnet EEG peuvent créer de l’inconfort, de la chaleur, et la VR elle-même peut provoquer une fatigue visuelle, ce qui pèse sur la qualité des signaux.
Neurable, comme d’autres, met en avant des usages qui dépassent le jeu, suivi de l’attention, interactions mains libres, accessibilité. Le jeu vidéo reste un accélérateur, parce qu’il attire des utilisateurs, génère des données et pousse à optimiser l’expérience en temps réel. De plus, les mécaniques ludiques facilitent l’entraînement, un joueur accepte plus facilement de répéter des essais si la progression est visible. Dans une logique industrielle, cette boucle d’itération sert à améliorer la robustesse des algorithmes de machine learning et à tester des scénarios où la latence doit rester faible pour préserver la sensation de contrôle.
L’EPFZ à Zurich cible la paralysie avec des sessions de jeu mesurables
En Suisse, des travaux relayés dans la presse européenne ont montré des dispositifs permettant à des personnes atteintes de paralysie de jouer à des jeux à l’aide d’un casque muni de capteurs EEG. L’enjeu est moins de produire un gadget spectaculaire que de proposer un canal d’interaction quand les voies motrices sont limitées. Dans ce contexte, une commande simple, déplacer un curseur, choisir une direction, déclencher une action, peut représenter un gain d’autonomie, par exemple pour accéder à des loisirs numériques, communiquer ou contrôler des interfaces.
Les essais cliniques et para-cliniques s’appuient sur des protocoles structurés. Les participants réalisent des tâches répétées, avec des pauses, et les chercheurs mesurent la performance sur plusieurs séances. Les jeux utilisés sont souvent adaptés, avec des objectifs clairs et des commandes réduites, car chaque action doit être détectée de manière fiable. La priorité devient la stabilité, éviter les faux positifs, ne pas déclencher une action par erreur, ce qui peut être frustrant et épuisant.
Dans les systèmes non invasifs, la variabilité interindividuelle est importante. Deux personnes portant le même bonnet peuvent produire des signaux très différents, selon l’épaisseur du crâne, la densité de cheveux, la sudation, la capacité à produire une imagerie motrice stable. Les équipes académiques travaillent donc sur des méthodes qui réduisent la dépendance à une calibration longue, et sur des algorithmes capables de s’adapter au fil de l’eau, en intégrant les retours du jeu, réussite ou échec, comme signal d’apprentissage.
Le choix du jeu sert aussi à évaluer la charge cognitive. Un jeu trop exigeant peut dégrader l’attention et faire baisser la performance, tandis qu’un jeu trop simple n’apporte pas assez d’information pour entraîner le décodeur. Les chercheurs cherchent un équilibre, une boucle action-retour suffisamment rapide pour que l’utilisateur sente une relation de cause à effet. Dans les études, la motivation compte, car l’entraînement améliore souvent les résultats, et le format ludique soutient l’engagement. Pour des personnes avec handicap moteur, le jeu peut aussi avoir un rôle social, partager une activité, retrouver un espace de compétition ou de coopération, même avec des commandes limitées.
EEG et machine learning: comment un signal faible devient une commande
Les capteurs EEG mesurent des variations électriques à la surface du cuir chevelu. Contrairement aux implants intracorticaux, qui captent des signaux plus précis mais exigent une chirurgie, l’EEG est non invasif et plus accessible. En contrepartie, le signal est atténué, filtré par les tissus, et facilement contaminé par des artefacts, mouvements, activité musculaire, interférences électriques. Les systèmes destinés au jeu vidéo doivent donc traiter un flux de données bruité, et décider en quelques dizaines de millisecondes si une intention est présente.
Le pipeline typique comporte plusieurs étapes. D’abord, l’acquisition, avec un nombre d’électrodes variable, de quelques capteurs à plusieurs dizaines. Ensuite, un prétraitement, filtrage fréquentiel, suppression d’artefacts, normalisation. Puis l’extraction de caractéristiques, puissance dans certaines bandes, motifs spatiaux, dynamiques temporelles. Enfin, un modèle de machine learning ou d’apprentissage profond estime la classe d’intention, gauche, droite, action, repos, ou une variable continue, par exemple un niveau d’activation.
La question de l’auto-calibrage est centrale. Les anciens systèmes exigeaient souvent une phase d’entraînement où l’utilisateur répétait des tâches pendant plusieurs minutes, voire plus, pour construire un modèle personnalisé. Les approches récentes cherchent à réduire cette contrainte, en s’appuyant sur des modèles pré-entraînés sur des cohortes, puis en adaptant rapidement les paramètres à la personne. Cette adaptation continue doit rester prudente, car un modèle qui se met à jour trop vite peut dériver, surtout si l’utilisateur est fatigué ou si le bonnet bouge.
Dans le jeu vidéo, la latence est un critère déterminant. Une commande détectée avec 300 millisecondes de retard peut rendre un jeu de course injouable, et une commande erronée ruine la confiance. Les développeurs compensent en concevant des mécaniques adaptées, actions à déclenchement, pouvoirs, sélection d’objets, plutôt que contrôle fin d’une caméra. Certains prototypes combinent aussi la BCI avec d’autres capteurs, suivi du regard, micro-gestes, commandes vocales, pour réduire l’ambiguïté. Le contrôle uniquement par la pensée reste le scénario le plus spectaculaire, mais les systèmes hybrides sont souvent plus réalistes pour un usage quotidien.
Accessibilité, limites et questions éthiques autour des données cérébrales
La promesse la plus tangible concerne l’accessibilité. Pour des personnes atteintes de paralysie ou de maladies neuromusculaires, une interface cerveau-machine non invasive peut offrir un canal supplémentaire pour interagir avec un jeu, un ordinateur ou des outils de communication. Même si le débit d’information reste limité, une commande fiable, sélectionner, valider, naviguer, peut changer l’expérience. Les équipes de recherche mettent souvent en avant ce bénéfice, car il justifie l’effort d’ingénierie et le passage du laboratoire à des tests plus proches du terrain.
Les limites techniques restent nettes. Le casque doit être bien positionné, la qualité du contact est cruciale, et les sessions longues peuvent provoquer une fatigue. Les performances varient selon les individus, et certains utilisateurs ont plus de mal à produire des motifs EEG exploitables. Dans les communautés BCI, on parle parfois de BCI illiteracy pour décrire ces difficultés, même si le terme est discuté. Pour le jeu vidéo grand public, cette variabilité complique la promesse d’un produit universel, car un échec d’appairage ou un taux d’erreur élevé se traduit par une mauvaise expérience.
Un autre enjeu concerne la nature des données. Les signaux EEG sont des données biométriques sensibles. Même si un casque grand public ne lit pas des pensées au sens narratif, il collecte des informations liées à l’attention, à la fatigue, à certains états cognitifs. La question devient alors, qui stocke ces données, pendant combien de temps, avec quelles garanties, et pour quels usages secondaires. Dans un contexte commercial, l’analyse de l’attention pourrait intéresser des acteurs du marketing ou de la publicité, ce qui impose un cadre clair de consentement, de minimisation et de sécurité.
Les chercheurs et industriels doivent aussi gérer l’écart entre démonstration et usage réel. Une vidéo de prototype peut donner l’impression d’un contrôle parfait, alors que le système s’appuie sur des seuils, des corrections et une scénarisation. Pour le public, l’enjeu est de comprendre ce que la technologie fait réellement, traduire des motifs cérébraux en commandes simples, et ce qu’elle ne fait pas, décoder des pensées complexes. À court terme, les avancées les plus crédibles concernent des jeux conçus pour la BCI, des commandes limitées mais robustes, et des dispositifs d’assistance où la fiabilité compte plus que la richesse des actions.
Source : Université du Texas
