Ce document résume un sous-ensemble des travaux récents et en cours de l’équipe que nous présentons lors de la soirée de démonstration d’IHM 2024 à Paris.
Thème : communication autour l’environnement
ARWAVs: Une visualisation de l’accumulation des déchets en 3D dans l’environnement réel
L’impact négatif des humains sur l’environnement est en partie dû à une consommation inconsidérée entraînant des déchets inutiles. Un facteur contributif probable est l’invisibilité relative des déchets : les déchets produits par les individus sont soit hors de leur vue, soit rapidement éliminés. Néanmoins, les systèmes d’élimination des déchets connaissent parfois des dysfonctionnements, provoquant leur accumulation et créant ainsi des affichages naturels qui peuvent avoir une valeur éducative. Nous nous inspirons de ces affichages naturels et introduisons une classe de visualisations situées que nous appelons des visualisations d’accumulation de déchets en réalité augmentée ou ARwavs. Cette démo inclut plusieurs exemples de visualisations d’accumulations de déchets intégrées dans un environnement physique direct : l’accumulation de bouteilles d’eau liée à la consommation d’eau domestique, l’accumulation de sacs poubelle dû à la production de déchets domestiques, l’accumulation de gobelets en plastique pour rendre compte de la production de plastique associée à une machine à café, et l’accumulation de terre extraite relative à la production de composants électroniques ([fig:arwavs]–gauche). Nous proposons également une version non-interactive de ce dernier exemple, affichant le tas de terre en 3D intégré à une photo de paysage neutre ([fig:arwavs]–droite).
Edo : Une physicalisation participative des données sur l’impact des choix alimentaires sur le climat
Une physicalisation participative des données, ou PPD, est une visualisation physique qui permet aux gens de participer physiquement à la création de la visualisation, en encodant directement leurs données. Les PPD offrent un moyen d’engager une communauté avec des données d’intérêt personnel qui, autrement, seraient intangibles. Le projet Edo est un PPD, qui permet à une petite communauté de contribuer par ses données à une visualisation physique montrant l’impact de ses choix alimentaires sur le climat. Dans le contexte de cette démo, nous montrerons une version réduite de voyage en mettant l’accent sur la communication des ordres de grandeur et sur la manière dont la fréquence de certains choix joue un rôle important (voir [l’image en bas]).
Dana : un mini-monde pour explorer l’impact environnemental de la nourriture
Dana est un logiciel interactif permettant la comparaison de l’impact environnemental de plusieurs repas. Basé sur le concept exploratoire des visualisations mandataires, ce projet vise à exploiter le caractère concret des impacts environnementaux pour modifier un environnement virtuel comme le ferait le changement climatique, une utilisation intensive des sols ou une consommation excessive d’eau. L’objectif de ce prototype est de questionner les forces et les faiblesses de ce nouveau type de visualisation quant à sa capacité à délivrer des connaissances à des non-expert.e.s à propos de l’impact environnemental de la nourriture . Dans le contexte de cette démo, l’utilisateur.ice sera en mesure de composer des repas et d’explorer comment le mini-monde évolue en fonction de ses choix, avec la possibilité de comparer deux repas en même temps (voir l’image ci-dessous).
Thème : Éducation
Apprendre avec les technologies immersives : une tâche collaborative en réalité virtuelle pour l’éducation
Les technologies immersives sont très prometteuses comme outil pédagogique car elles peuvent favoriser l’interaction, l’immersion et la collaboration entre les étudiants, créant ainsi des opportunités uniques d’améliorer divers aspects de l’apprentissage, dont proposer de nouvelle façon ensemble. Cependant, la collaboration dans la réalité virtuelle (RV) peut s’avérer difficile. Les habitudes de collaboration acquises dans la vie réelle ne s’appliquent pas nécessairement à cet environnement. Par exemple, certaines méthodes de communication et de résolution de problèmes peuvent nécessiter une adaptation car il manque certains “indices sociaux” dans la RV, comme l’absence d’expressions faciales, ce qui donne lieu à des défis associés à l’utilisation de ces technologies éducatives émergentes. Il est donc nécessaire d’étudier cette collaboration dans ce contexte particulier et de concevoir des outils permettant de tirer partie de cette technologie et de proposer une collaboration la plus efficace et agréable possible. Pour aider à l’étude et à la conception de système collaboratifs pour l’éducation en RV, nous proposons une application de réalité virtuelle spécialement conçue pour la collaboration entre deux personnes engagées dans une tâche éducative centrée sur la résolution créative de problèmes. La tâche est basée sur une tâche d’apprentissage appelée “CreaCube”, introduite par Romero et al. . Cette tâche implique la manipulation et l’assemblage de 4 cubes issus du matériel de robotique modulaire Cubelets afin de construire un véhicule qui se déplace de manière autonome d’un point initial à un point final, chaque cube ayant sa propre fonction : capteur, actionneur, inverseur ou mise sous tension/hors tension. Notre application offre une occasion unique d’étudier les processus collaboratifs impliqués dans le contexte spécifique de l’apprentissage, ouvrant ainsi de nouvelles voies pour améliorer les expériences éducatives par le biais de la réalité virtuelle. Dans cette démo, l’utilisateur.ice aura la possibilité de tester cette tâche dans un contexte collaboratif en utilisant des casque de RV Occulus Quest 2 (voir l’image ci-dessous).
Shire
L’apprentissage de l’optique est un challenge pour les étudiant.es puisqu’iels sont confrontés à des notions parfois abstraites ou contre-intuitive. Afin de palier à ce problème, les cours théoriques sont souvent couplés à des travaux pratiques. Ces derniers sont malheureusement coûteux ou difficile à appréhender. Dans ce contexte, le projet HOBIT a été amorcé pour proposer un banc optique tangible avec un processus physique simulé numériquement, et ainsi, fournir aux étudiants, un espace d’expérimentation à la fois intuitif et augmenté par du contenu pédagogique . Cependant, dans un contexte de confinement, un dispositif comme HOBIT n’est pas plus accessible qu’un banc optique classique. Le projet SHIRE vise à agir comme un complément au projet HOBIT, en proposant une version complètement digitale de ce dernier, utilisable depuis chez soi. Le passage au numérique permet également de s’affranchir de quelques limites du tangible pour proposer un set de fonctionnalités supplémentaires comme l’encapsulation d’un montage complet en un seul élément, la sauvegarde et l’export d’expérimentations d’une session à une autre. Pour cette démo, l’utilisateur.ice sera guidé dans la réalisation un montage d’optique ondulatoire sur SHIRE, qui, pourtant, pose problème aux étudiant.es: l’interféromètre de Michelson (voir l’image ci-dessous).
Interactions tangibles motorisées dans les centres opérationnels ferroviaires
Les centres opérationnels jouent un rôle primordial dans la gestion du trafic ferroviaire. Les opérateurs gèrent ce trafic en temps réel et sont responsables d’agir en cas de perturbation afin de retrouver une situation dite « normale » le plus rapidement et de façon efficace. Notre projet propose d’étudier les interactions tangibles motorisées (actuated tangible tokens, c’est-à-dire des objets tangibles pouvant se déplacer eux-mêmes et pouvant être déplacés par l‘utilisateur) dans un contexte de prise de décision en temps contraint (voir l’image ci-dessous). Cette démo montre un cas d’usage de cet outil lors d’un incident sur le réseau. Les solutions sont représentées par les objets tangibles. Les utilisateurs peuvent visualiser une solution proposée par le système en observant le mouvement d’un objet. Ils peuvent ajouter eux-mêmes des solutions avec un autre objet. Et enfin comparer deux solutions entre elles pour savoir laquelle choisir dans cette situation en plaçant les objets les uns à côté des autres.
Visualiser l’incertitude d’un déplacement à travers de simulations
La durée d’un déplacement (i.e., combien de temps met-on pour parcourir une distance entre deux points) est généralement plus ou moins incertaine. Pourtant, bien souvent cette durée n’est communiquée qu’à travers une unique valeur numérique (e.g., lorsque l’on utilise une application de navigation comme Waze ou Google Maps, la durée de trajet sera indiquée par une valeur unique telle que “15 minutes”). Il s’agit pourtant bien d’une estimation faite par le système, et qui implique alors de l’incertitude. Nous avons développé une nouvelle technique (voir l’image ci-dessous–droite) qui permet de visualiser la façon dont cette incertitude temporelle peut se développer au fil du trajet, à différents endroits, en animant le mouvement d’un certain nombre de simulations (des déplacement hypothétiques). Une simulation est représentée par un cercle se déplaçant le long du chemin, s’arrêtant potentiellement à un feu, et ralentissant parfois en fonction de l’élévation de la route. Notre outil permet de rendre l’incertitude derrière une estimation visible, et aux utilisateurs de mieux approcher ce concept complexe. La démonstration de cet outil se fait sur n’importe quel ordinateur, qui fait tourner un grand nombre de simulation et se basant sur des requêtes faites à un serveur local pour récupérer les méta-données de différent trajets. Une personne peut alors explorer les différentes options de trajet en choisissant une ville, puis un point de départ et d’arriver, mais également en choisissant d’imposer des détours le long de ce trajet pour ainsi créer une route personnalisée.
Data Comics : expliquer des concepts autour des données et leurs visualisations sous forme de bandes dessinées
Alors que les bandes dessinées traditionnelles racontent des histoires sur des personnages et leurs aventures, les Data Comics (bandes dessinées de données) racontent des histoires sur tous les aspects potentiels des données : leur collecte, leur analyse, leur transformation, leur contexte, leurs conclusions, leurs implications, leurs critiques, etc . Nos études ont suggéré des avantages perceptuels des Data Comics par rapport aux infographies et aux combinaisons texte-image . Nous avons créé une liste exhaustive de 29 patterns pour faciliter la création et l’enseignement des Data Comics, dans des ateliers de travail . Seuls et en collaboration avec des illustrateurs et des scientifiques, nous avons aussi créé des Data Comics racontant des histoires sur la pauvreté infantile et les inégalités, le tabagisme, le changement climatique et les extinctions massives, ainsi que des Data Comics expliquant les processus d’analyse de données et les changements dans les réseaux dynamiques. Nous avons créé un éditeur graphique pour la création de bandes dessinées interactives et un langage de script léger ComicScript pour le prototypage rapide d’interactions sur les Data Comics . Nous explorons actuellement les bandes dessinées pour la communication d’enjeux liés au changement climatique et à la durabilité, la litéracie des données , et la santé. Pour la demo IHM, nous démontrerons des exemples de data comics—statiques sur papier, ainsi que des bandes dessinées interactives.
Thème: bien-être et sensibilisation
Live-It
Live-It est une simulation des symptômes de la schizophrénie en réalité augmentée. Elle est conçue dans le but d’améliorer la formation des étudiants en santé et de les sensibiliser , avec comme objectif de réduire la stigmatisation grâce à une expérience “lived” à la première personne de ces symptômes. Dans notre simulation, les utilisateurs portent un casque de réalité augmentée et doivent réaliser un exercice. Pendant ce temps-là, ils font l’expérience d’hallucinations auditives, souvent décourageantes, basées sur celles décrites par les personnes souffrants de schizophrénie. Les utilisateurs font également l’expérience d’idées délirantes (c’est-à-dire des croyances bien ancrées qui ne sont pas fondées sur la réalité) grâce à la diffusion de leurs réponses personnelles aux exercices sur une télévision virtuelle présente dans la scène (voir l’image ci-dessous). Dans notre travail, nous cherchons à évaluer l’efficacité de notre simulation dans la représentation précise des symptômes de la schizophrénie ainsi que dans la réduction de la stigmatisation. Dans le contexte de cette démonstration, l’utilisateur.ice à l’occasion d’expérimenter une version plus courte de la simulation, de discuter de son expérience avec les chercheuses, et de donner leurs retours à l’équipe s’il ou elle le souhaite.
Zoom sémantique: sensibilisation aux féminicides
En transmettant des informations sur des données humanitaires, les auteurs d’infographies souhaitent que l’audience comprenne l’étendue de la crise, afin d’avoir une perception quantitative. Cependant, simplement comprendre les chiffres n’est pas le seul objectif d’une telle communication. L’objectif est aussi de provoquer une réponse émotionnelle chez l’audience, afin d’engendrer de l’empathie. Or, dans ce genre de visualisation traditionnelle, l’humain est souvent effacé par les chiffres . Afin de mettre en avant l’humain, des journalistes partagent la vie des victimes à travers des documentaires, parfois en réalité virtuelle pour plus d’immersion. Ce genre de documentaire a pour avantage de créer un lien émotionnel fort chez l’audience mais il ne transmet par une bonne compréhension des chiffres.
Dans cette recherche en cours, nous nous sommes inspirés sur le zoom sémantique afin de combiner une perception quantitative et une perception viscérale des données. L’utilisateur peut ainsi zoomer dans les jeux de données afin de passer d’un graphique en barre à un environnement où chaque victime est incarnée par un avatar (figure l’image ci-dessous). Dans notre démonstration, nous proposons d’explorer les données sur les victimes de féminicides. En évoluant au milieu des avatars, les utilisateurs peuvent lire des informations sur les victimes et observer la diversité des profils.
Ce travail a été soutenu par l’Agence Nationale de la Recherche (ANR), numéros de subvention ANR-19-CE33-0012, ANR-22-CE33-0002 et ANR-22-CE33-0003.