Dans un article précédent, nous avons vu que la réalité virtuelle n'était pas toute jeune mais que son usage s'est grandement démocratisé avec l'arrivée de nouvelles technologies. Bien qu'elle ne soit pas encore accessible au grand public, une pléiade de problématiques de design se posent avant de pouvoir offrir la meilleure expérience possible, et nous allons en parcourir quelques unes dans cet article.

La réalité virtuelle est un domaine auquel nous nous sommes intéressés que très récemment ; tout est encore à faire et à découvrir. Il existe aujourd'hui plusieurs types d'expériences en réalité virtuelle mais toutes partagent le même lot de contraintes utilisateurs. Quelle que soit l'expérience délivrée, il faut tenir compte des différentes physiologies des utilisateurs mais aussi de l'espace qui leur est disponible ! L'objectif étant de proposer l'expérience la plus immersive ("sensoriellement" parlant) possible afin de générer des émotions chez l'utilisateur et de s'ancrer dans sa mémoire. De ce fait en réalité virtuelle, tous les sens sont exploités mis à part le goût et l'odorat.

LE MOTION SICKNESS

La vue est aujourd'hui un des challenges les plus corsés qu'il soit et nous allons aborder une problématique qui a su faire parler d'elle : le motion sickness (ou cinétose en français). Le motion sickness, qui affecte les individus différemment, apparaît lorsqu'il y a une contradiction entre les informations ressenties et les informations perçues. Dans l'oreille interne se situe des canaux semi-circulaires qui envoient des informations au cerveau sur la position de la tête et ses différents mouvements. Si ces informations ne sont pas en accord avec celles que les yeux et les différents capteurs proprioceptifs envoient, l'équilibre du corps est mis en péril et le cerveau traduit cette dissonance avec des nausées et des vomissements. (À l'extérieur du champ de vision se situent des repères externes statique que les yeux utilisent pour confirmer l'immobilité du corps et de la tête. Avec les casques de réalité virtuelle, ces repères disparaissent !) On distingue alors deux types de cinétoses : un mouvement ressenti mais non vu et un mouvement vu mais non ressenti. Il y a bien évidemment plusieurs solutions à ce sujet, même si le problème ne disparaît pas complètement, qui sont toutes dans un superbe article sur le blog pressstarttothink. (La plus connue étant d'ajuster le framerate au dessus de 60.) Une des solutions exprimée est d'ajouter un point de référence fixe à l'écran, comme le nez par exemple. Une autre est d'ajuster l'équilibre du corps et de tromper le cerveau avec des signaux électriques envoyés depuis des électrode situées derrière les oreilles.

Expérience sur l'équilibre d'un individu en utilisant la stimulation vestibulaire galvanique (GVS)

On voudra aussi éviter tout mouvement d'accélération progressive (il semble que ce soit bon pour les accélérations linéaires), et les remplacer par une mécanique de téléportation par exemple. Aujourd'hui, des technologies complémentaires aux casques de réalité virtuelle comme le tapis Virtuix Omni ou le Teslasuit commencent à faire leurs apparitions (même si elles sont encore loin d'être accessibles au grand public). Elles accroissent l'immersion en apportant des feedback haptiques. Mais le motion sickness n'est pas le seul problème lié à la vue. En effet, même si c'est dur à réaliser et à mettre en place, la stéréoscopie comprend elle aussi son lot de problématiques.

LA STÉRÉOSCOPIE

Mais la stéréoscopie, qu'est-ce que c'est exactement ? Eh bien c'est le procédé qui permet de percevoir du relief à partir de deux images planes, comme celles que capte chaque œil chez l'Homme. C'est un principe très rigoureux qui peut être facilement brisé s'il y a des décalages verticaux entre les deux images, des perceptions du relief, de la couleur ou de la lumière différentes, des mouvements trop rapides, ou encore une variation de la parallaxe excessive. Les personnes atteintes de strabisme ou de cécité à l'un des deux yeux ont donc une perception du relief différente. De plus, la distance entre deux appareils qui capturent des images (un pour chaque œil) ne doit pas dépasser une certaine valeur. Cette dernière est relative à la distance interoculaire moyenne : elle est donc variable en fonction de chaque individu. La stéréoscopie peut être reproduite en prenant deux photos légèrement décalées à conditions que : l'appareil n'ait pas été avancé, qu'il n'ait pas tourné sur lui-même, qu'il ait la même direction, qu'il n'ait pas changé de hauteur, et que rien n'ait bougé dans la scène entre-temps (ce qui peut s'avérer très compliqué pour les éléments organiques, ou pour les éléments en mouvement comme une voiture par exemple). Si toutes ces conditions sont remplies, un effet de parallaxe va venir se créer et donner le relief et le volume demandé. Une des méthodes les plus simples consiste encore à déclencher simultanément deux appareils déjà placés, ou plus simplement à se procurer un appareil stéréoscopique. Dans le cadre de la réalité virtuelle, il faut retenir qu'il vaut mieux avoir une image monoscopique (une image plane donc) qu'une stéréoscopie mal faite qui pourrait provoquer une fatigue intense chez l'utilisateur. L'effet tend à disparaître quand l'utilisateur regarde en haut ou en bas, des zones qui sont généralement floutées ... Heureusement, certains produits commencent à faire leur apparition sur le marché.

LucidCam : un appareil stéréoscopique pour la réalité virtuelle
LucidCam : un appareil stéréoscopique pour la réalité virtuelle

L'EXPÉRIENCE À 360°

Selon l'expérience que l'on veut délivrer, d'autres problématiques se posent : c'est le cas avec les vidéos à 360°. Quand avec la stéréoscopie, on voulait créer l'effet de parallaxe pour marquer le relief et la profondeur, on aura tendance à vouloir s'en débarrasser lorsque l'on filme à 360°. En effet, une photo ou vidéo à 360° est un ensemble d'images qui sont jointes ensemble : ce procédé s'appelle le stitching. Lorsque l'on joint les images ensemble, l'effet de parallaxe (dû aux différentes positions de(s) l'appareil(s)) va créer des artefacts et/ou des objets fantômes.

Artefacts et objets fantômes qui apparaissent lors du stitching
Artefacts et objets fantômes qui apparaissent lors du stitching

Avant de filmer ou de prendre une photo, il faudra donc chercher le no-parallax point, l'endroit où tous les rayons de lumière convergent avant d'être capturé par l'appareil. De cette manière, les images se joindront de façon correcte. Pour une lecture plus complète et plus approfondie, je vous invite à aller voir le site stateofvr qui aborde le sujet de la réalisation de film en réalité virtuelle avec brio. Même si le domaine reste encore très large et inconnu, il existe quelques règles (ou plutôt conseils) qu'il vaut mieux respecter.

LA PERCEPTION HAPTIQUE & L'EFFET "GORILLA ARM"

Les interactions, quand elles sont bien faites et ce peu importe le domaine, sont très plaisantes pour l'utilisateur. Elles apportent de la satisfaction et génèrent de puissantes émotions, ce qui crée inéluctablement des souvenirs.

Depuis des années maintenant, la perception haptique (le fait de "voir" grâce au toucher) est mise à rude épreuve : le tangible disparaît au profit des écrans tactiles, et dans un futur proche elle aura peut-être complètement disparue. C'est ce que propose par exemple Microsoft avec le Hololens. Mais bien que la réalité virtuelle fonctionne aussi avec des manettes classiques, certains casques comme le HTC Vive ou le Playstation VR viennent avec leurs propres contrôleurs. S'ils suffisent à simuler des mains ou des pointeurs, ils nous faut malgré tout repenser les interfaces dans ces univers virtuels. Aujourd'hui, la technologie et le design de ces manettes ne permettent pas de reproduire cette précision dont nous sommes déjà capables avec nos doigts : lors de la création d'une interface pour un univers virtuel, il vaut mieux éviter les petites zones d'interaction et autres mécanismes qui demandent de la dextérité. Une des solutions étant d'utiliser une sorte de "snap", une aimantation de ce que l'utilisateur pointe vers les différentes zones interactives. Un autre pan des interfaces est aussi en train d'être exploré : le multi-touch. Il s'agit simplement d'avoir plusieurs points de contact interactifs. Il existe un très bon exemple qui utilise cela à merveille aujourd'hui, et il s'agit de l'application en réalité virtuelle de Google : Tilt Brush. Histoire de voir concrètement ce dont il s'agit et comment est-ce que l'expérience se vit, je vous invite à regarder cette vidéo du youtuber At0mium (remarquez la possibilité de se téléporter et ainsi d'éviter les écueils de l'espace réel disponible dans une pièce).

Tilt Brush sur HTC Vive : Une nouvelle façon de dessiner

Il est extrêmement important lorsque l'on s'occupe d'une interface en réalité virtuelle de penser au Gorilla Arm. Le principe est très simple : du fait que les interfaces résident dans un espace virtuel, lorsque le joueur n'a aucun support quand il sélectionne. Il ne s'appuie que sur l'air. À cause du manque de retour haptique, une utilisation prolongée peut donc fatiguer l'utilisateur : ses bras s'endolorissent, ils sont sujets aux crampes, et ils gonflent. L'utilisateur ressemble et se sent alors comme un gorille. En dépit de son retour haptique, l'eye-tracking (l'oculométrie en français) pourrait être une solution à ce problème.

SENSORY SUBSTITUTIONS & L'ATTENTION SÉLÉCTIVE

Dans Tilt Brush comme dans 90% des expériences interactives, la taille des boutons a bien entendue été étudiée afin d'accroître l'ergonomie. Mais il faut toutefois être prudent : en design graphique, ce n'est pas parce qu'un élément est plus gros qu'il est plus visible qu'un autre ! Ainsi, dans les jeux de réalité virtuelle, le joueur verra son attention redirigée sur l'endroit où il doit aller par exemple, et ce à l'aide de highlights par exemple. Son attention est par ailleurs souvent voire constamment nécessitée, mais comment attirer un joueur sur un événement quand il regarde complètement ailleurs ? Pour ce faire, il faudra alors quelque fois jouer avec d'autres sens que la vue, comme le son ou le toucher par exemple (à l'aide de vibrations ; la série des Zelda sur Wii en sont de très beaux exemples). On parle alors de sensory substitutions.

Test sur l'attention sélective

LA REPRÉSENTATION : "L'UNCANNY VALLEY"

Un des principes du design d'expérience cette fois (aussi connu sous le nom de UX Design) est, en réalité virtuelle, de toujours garder en tête l'utilisateur final, sa morphologie et son espace disponible. Considérant ceci, l'avatar, sa représentation et celle du monde dans les jeux en réalité virtuelle peuvent aussi être une source de conflits. Pour l'instant, nous aurions tendance à nous éloigner des représentations réalistes pour une raison très simple : l'uncanny valley. Il s'agit d'une théorie scientifique du roboticien japonais Masahiro Mori, qui affirme que "chaque progrès fait vers l'imitation humaine amènera plus de rejet avant de finalement amener une acceptation plus grande". Autrement dit, plus un robot a une apparence humanoïde, plus ses aspects non-humain (qu'ils soient physiques ou comportementaux) ressortiront car ils ressemblent à ceux présents chez les personnes gravement malades ou chez les cadavres : ils sont donc instinctivement rejetés par les personnes aux alentours. Ainsi, avec une représentation de ce type, l'utilisateur ressentira ce sentiment d'étrangeté et ne pourra pas s'identifier à son avatar. Sans tenir compte de toutes les contraintes et données que cela demande d'avoir un rendu réaliste, il existe des alternatives très judicieuses. C'est le cas de Job Simulator qui propose des environnements et des mains en mode cartoon.

Le rendu cartoon de Job Simulator Le rendu cartoon de Job Simulator

Ici, l'objectif était d'illustrer un univers humoristique alors le rendu cartoon a bien évidemment été bénéfique, mais il faut garder à l'esprit que ce n'est pas une solution qui peut s'appliquer à tous les univers (comme un univers horrifique par exemple).

L'IDENTIFICATION À L'AVATAR : LA PROPRIOCEPTION

Ceci dit, les questions d'avatar sont très complexes et nous allons voir ensemble deux concepts importants. Le premier est celui de proprioception : il s'agit de la perception, consciente ou pas, des différentes parties de son corps. Une expérience intéressante montre que le cerveau peut s'approprier des parties qui ne sont originellement pas de son corps. Il ne s'agit pas d'implants ou de prothèses, mais de perception, de sensations et d'assimilation. Cette expérience s'appelle The Rubber Hand Illusion.

The Rubber Hand Illusion

En cachant le lien entre le corps et la fausse main et en synchronisant ses sensations avec celle du participant, le cerveau s'approprie cette "nouvelle" partie du corps. Il a aussi été remarqué que la température de la main cachée du participant diminuait, comme si le cerveau était en train de la rejeter. Dans un futur proche, nous pourrons faire des retours haptiques correctes (j'entends par là plus que des vibrations, comme simuler le poids d'une balle ou la sensation de matière par exemple) et l'assimilation d'un joueur à son avatar n'en sera que plus forte.

L'IDENTIFICATION À L'AVATAR : L'EMBODIMENT

Le deuxième principe est l'embodiment : un principe de psychologie cognitive qui possède deux modes de fonctionnement à savoir quand le corps influence la cognition, ou quand la cognition influence le corps. Dans le cadre de la réalité virtuelle, le corps est substitué par un avatar et il est alors plus compliqué d'avoir ce fameux sentiment d'appartenance évoqué plus haut. Le docteur Mar Gonzalez-Franco a étudié ce principe et a tenu une conférence pour le Microsoft Research. Elle y traite ce principe en trois temps : le sentiment d'appartenance (ownership), le contrôle de ce corps (agency) et la ressemblance de l'avatar à son utilisateur (appearance). Lors de la première phase, elle remarque qu'une menace faite au corps virtuel de l'utilisateur provoque une réaction réelle de ce dernier comme si son propre corps était atteint : le cerveau réagit de la même manière ! Le cortex cérébral prépare le corps réel et virtuel pour un mouvement (puisque les deux sont liés), et le niveau d'appropriation de l'avatar module l'activation de ce mouvement. En d'autres termes, les utilisateurs acceptent leur avatar comme étant leur propre corps et ce, même dans leur inconscient. Dans la deuxième phase, elle y étudie le contrôle d'un avatar ; l'utilisateur doit suivre les indications d'un écran qui lui indiquent où placer sa main virtuelle mais à certains moments, elle hack son avatar pour le faire aller dans le sens opposé. L'utilisateur perçoit alors clairement ce geste comme étant une erreur externe. Enfin, dans la troisième phase, le docteur Gonzalez-Franco observe les réactions cérébrales lors de similitudes entre l'avatar et l'utilisateur. Un visage qui ressemble à l'utilisateur est traité différemment par le cerveau que celui d'un ami, lui-même traité encore différemment de celui d'un inconnu. Il y a donc plusieurs niveaux d'identifications à l'avatar, qui sont internalisés de façon inconsciente.

Altering Human Perception and Behavior through Immersive Virtual Reality

CONCLUSION

Pour finir, les domaines où la réalité virtuelle peut s'inscrire sont très nombreux. Ce peut être à but médical, à but vidéo-ludique, social, pour l'apprentissage, pour concevoir une expérience immersive sensorielle, et plus encore. L'appropriation d'un corps comme nous venons de le voir peut être une application intéressante pour les personnes victimes de viol (le violeur mis à la place de sa victime et inversement), ou les personnes subissant l'effet de la douleur du "membre fantôme". Poussé à l'extrême dans le domaine du gaming, on pourrait parler de The Void : une expérience "d'hyper réalité". Mark Zuckerberg présentait récemment un exemple d'utilisation de la réalité virtuelle à but social. Hamilton+Kidd, un studio spécialisé sur ce média, a développé via une campagne kickstarter le Virtuali-Tee, un tee-shirt crée pour apprendre les mécanismes du corps humain ! On pourrait aussi aborder les expériences immersives du studio Unit9, ou encore leurs films 360. Beaucoup de contenus pour un média en plein essor qui rencontre encore beaucoup de contraintes.