Entrevue XR: Savannah Niles (US) - Magic Leap

Entretien mené par Greg J. Smith pour MUTEK et Québec/Canada XR dans le cadre de MUTEK Forum 2020.

Conceptrice et technologue multidisciplinaire, Savannah Niles travaille dans le domaine de la réalité étendue (XR). Cette diplômée du Media Lab du MIT occupe actuellement le poste de conceptrice principale chez Magic Leap. Elle est à l’avant-garde de l’informatique spatiale, mais au-delà de son point de vue privilégié sur ce secteur, Niles fait preuve d’un optimisme contagieux quant au potentiel de la XR pour stimuler l’imaginaire, raconter des histoires nécessaires et créer des liens sociaux significatifs. Notre récente discussion avec elle sur Zoom a porté sur ses racines, son travail chez Magic Leap et son analyse de l’état de la XR du point de vue des consommateur·trice·s et des entreprises. Elle nous recommande aussi des personnes et des organismes à suivre pour demeurer à l’affût des nouvelles avancées.

Greg J. Smith : Votre conférence « Lieu de tous les possibles : le design d’expérience en réalité mixte » a été présentée à MUTEK Forum 2020 il y a environ un mois. Comment s’est déroulé l’événement?

Savannah Niles : C’était génial! Comme il s’agissait de ma première conférence entièrement virtuelle lors d’un événement de cette envergure, je me demandais si les gens se sentaient interpellés : c’était un défi. Mais à la fin, j’ai réalisé qu’il y avait un public en direct et que plusieurs étaient venu·e·s m’écouter virtuellement. C’était donc amusant de répondre aux questions du public et d’échanger avec les gens sur Twitter après la conférence. J’ai été très impressionnée par la programmation de cette année et j’espère que je pourrai y assister en personne dans le futur.

MUTEK marquait également le lancement dulab Nouveaux récits Montréal/Miami, dans lequel je sais que vous avez joué un rôle de premier plan. Quel est son mandat, et où se dirige ce projet exactement?

Je suis emballée par ce programme, que nous préparons depuis plus d’un an. De mon point de vue, ce laboratoire cherche à catalyser un changement de représentation dans la XR en termes de profondeur et non d’étendue. J’aime pouvoir donner plus d’autonomie et de pouvoir à un groupe d’individus du début à la fin du processus de création et les doter de ressources, de liens et de connaissances provenant de l’ONF, de Filmgate Miami et de MUTEK. Je suis très enthousiaste à ce sujet, et aussi à l’idée que nous allons pouvoir soutenir ces artistes dans le développement de leurs projets à plus long terme. Je suis également ravie d’établir des liens plus étroits entre Montréal et Miami, et peut-être de créer un modèle pour d’autres types d’échanges culturels entre villes ou organismes.

Honnêtement, je pense que je suis prête à être un peu surprise aussi, car ce domaine est tellement nouveau. Je crois que le programme a attiré des artistes qui, tout en ayant une pratique établie — l’animation, la danse, l’écriture, etc. — cherchent un moyen d’y intégrer les plateformes et les technologies XR. C’est ce dont le domaine a besoin pour se développer : des pipelines pour le développement. Ce type d’infrastructure doit être suffisamment mature pour que des créatrices et créateurs sans grande expérience de la XR puissent rapidement s’approprier les outils, poursuivre leur démarche et raconter leurs histoires. Je suis donc enthousiaste à l’idée de voir comment nous pouvons construire des « boîtes à outils » dans le cadre de ce programme, à la fois pour les artistes du programme de subvention, mais aussi pour les organismes participants, et ce, dans le but de les offrir à leurs communautés artistiques élargies. Je suis emballée par tout ceci.

Il y a environ dix ans, votre projet de fin de baccalauréat en beaux-arts était une machine à dessiner en 3D qui balayait l’espace et le représentait à l’aide de taches similaires au test de Rorschach, regroupées en nuages de points. Pourriez-vous nous parler un peu des débuts de cette recherche dans le cadre d’un cours de sculpture? Comment ses concepts principaux de « jumeaux numériques », de « perception par ordinateur » et de « relation entre le monde solide et un monde plus fluide », que vous décrivez dans votre folio, ont-ils façonné votre réflexion sur la XR?

Bien sûr. Lors de mes études de premier cycle universitaire, il n’y avait pas (ou très peu) de cours consacrés à l’interaction humain-machine, au design centré sur l’être humain, ou encore à la technologie du design selon une approche multidisciplinaire, alors qu’il y en a beaucoup aujourd’hui. Je m’intéressais à l’intersection de la technologie avec l’expérience humaine, le design, les produits et l’art. J’ai estimé que la sculpture était le programme où j’aurais le plus de liberté pour pouvoir explorer ces champs d’intérêt. Heureusement, le programme de SMU auquel je m’étais inscrite était très ouvert et nous avons fait toutes sortes de choses qui ne sont pas forcément des sculptures. Par exemple, nous avons consacré un semestre à construire une maison, un autre à faire de la numérisation 3D, etc.

C’est dans ce contexte que je me suis intéressée aux technologies : j’ai commencé à travailler sur des installations pour de grandes marques et des installations interactives plus artistiques. Je pense que pour plusieurs artistes des nouveaux médias, c’est ce qui les attire dans le domaine. Après avoir achevé quelques projets formidables, j’ai fini par travailler à Walt Disney Imagineering, qui est un endroit génial pour explorer l’intersection des technologies et de l’expérience. C’est à ce moment que j’ai senti que j’étais un peu à la croisée des chemins. Je me suis alors demandée : est-ce que je veux travailler en R et D dans le secteur technologique ou être une artiste qui se concentre sur des installations?

Le Media Lab du MIT est un lieu si interdisciplinaire qu’on dit souvent « Quand on a l’impression de n’avoir nulle part où aller, on aboutit ici. » C’était exactement ma situation. C’est ce qui m’a amenée ici et c’était vraiment une expérience transformative; j’ai passé d’excellents moments au Media Lab. Je faisais partie d’un groupe appelé Viral Spaces, dirigé par Andrew Lippman, et nous travaillions sur des technologies liées aux médias et à la viralité. J’ai exploré diverses manières artistiques d’extraire des nouvelles, des contenus et des vidéos sous forme d’images animées qui seraient plus appropriées pour des dispositifs de visualisation ambiants ou portables — c’était mon objectif de recherche.

Même si une grande part de votre travail chez Magic Leap demeure secrète, certaines choses sont accessibles au public. Pourriez-vous nous parler des principaux défis rencontrés et des leçons que vous avez tirées des travaux de votre équipe sur les interactions tactiles riches pour les interfaces d’informatique spatiale?

Tout à fait. Le domaine de la XR s’est développé tellement rapidement! Lorsque j’ai joint les rangs de Magic Leap en 2015, il était difficile d’expliquer ce que nous faisions. C’est à cette époque que Pokémon GO est devenu si populaire et, pour plusieurs, ce fut une introduction à la réalité augmentée. Encore aujourd’hui, lorsque je décris ce qu’est la réalité augmentée et que je mentionne Pokémon GO, tout le monde comprend en quelque sorte ce dont je parle. C’était vraiment intéressant d’assister à cette transformation. Depuis, selon moi, nous avons assisté à une hausse exponentielle incroyable du taux d’adoption d’une vaste gamme de technologies de réalité augmentée sur les plateformes mobiles.

Et ce n’est qu’une extrémité du spectre : à l’autre extrémité, il y a les capacités des casques haute performance, comme le Magic Leap, l’HoloLens 2 et d’autres modèles. Il est fascinant de constater que ces plateformes, qui n’en sont qu’à leurs débuts, sont révolutionnaires grâce aux personnes qui les ont développées dans notre écosystème de solutions. Et il faut faire preuve d’innovation pour trouver les cas d’utilisation de cette technologie en voie de devenir que tout le monde s’imagine à cause de la science-fiction, et pour comprendre comment l’informatique peut être plus subtile et amplificatrice. Pour cette raison, je crois que notre but, chez Magic Leap, est de repérer des partenaires potentiels dans notre écosystème, des entreprises qui sont prêtes à se lancer en disant : « Trouvons les niches précises où nous pouvons appliquer cette technologie et avoir un impact réel, pour ensuite en tirer un réel bénéfice. »

Je pense que tout le monde entrevoit le pouvoir de transformation éventuel de cette technologie. Et dans les années à venir, il s’agira moins d’en faire la démonstration que de la mettre au monde — la déployer — et voir son impact. Le parcours de Magic Leap a été étonnant. Nous avons commencé par nous concentrer sur le divertissement grand public, et maintenant, comme plusieurs jeunes entreprises qui connaissent une croissance rapide, nous nous disons : « Il est temps de cibler des domaines dans lesquels nous pouvons offrir des produits adaptés au marché, pour vraiment réussir. »

Chez Magic Leap, je dirige des activités d’interaction, de conception, de recherche et de prototypage. Ces derniers mois, je suis passée d’un poste en stratégie de produit à un autre poste complètement axé sur le design, ce qui correspond mieux à mon parcours. C’est jusqu’à maintenant extrêmement satisfaisant : nous travaillons sur un ensemble de défis étonnants. Je suis très enthousiaste à l’idée d’occuper ces fonctions pour les quelques prochaines années. Nous allons vraiment assister à une accélération du rythme d’adoption et d’innovation.

Y a-t-il des expériences particulières que vous avez vécues dans le domaine de la XR (ou ailleurs!) et que vous pourriez citer comme étant les types d’expérience que les développeur·euse·s et les créateur·trice·s de récits devraient s’efforcer de créer dans les médias immersifs?

Certainement. Tout d’abord, je pense qu’il est important de faire la distinction entre les expériences pour entreprises et celles grand public. Du côté des entreprises, même dans le monde d’avant la COVID, on a vu une occasion de créer des expériences qui sont plus humaines — surtout pour le contact à distance. On a donc exploré les capacités de cette technologie à apporter un véritable sentiment de coprésence et de collaboration. Le problème de l’espace est devenu le principal défi à surmonter, et donc le plus important cas d’utilisation de la XR. De toute évidence, la formation et la visualisation sont des domaines dans lesquels nous constatons de nombreuses avancées et innovations, et il est réellement possible d’appliquer cette technologie dans ces domaines. Mais dans un monde post-COVID où les voyages sont impossibles, ou moins souhaitables en raison de préoccupations environnementales, la coprésence est un défi majeur. À ce stade, je pense que nous avons tous découvert l’épuisement ressenti après huit heures sur Zoom, ainsi que les avantages et inconvénients du télétravail. Je pense qu’il y a là une réelle occasion pour les technologies de XR d’être adoptées plus largement. Quand nous commencerons à maîtriser les cas d’utilisation liés à la coprésence sur ces appareils et parviendrons vraiment à créer un plus grand sentiment de présence (une meilleure collaboration, des séances de création en équipe plus riches), nous aurons un impact immense sur tous les domaines du savoir en général.

Et en ce qui concerne les applications grand public, je pense qu’il y a une grande occasion favorable dans le commerce électronique. Je m’imagine facilement l’avenir des achats en ligne comme le simple fait de tenir son téléphone et de virtualiser l’article devant soi — sur sa table, à la maison ou dans ses mains. Ce processus offrirait une expérience de magasinage plus immersive, qui deviendrait une occasion de faire preuve d’innovation et de créativité; il pourrait même être étendu à des boutiques qui ont pignon sur rue. Imaginez la possibilité d’entrer dans un magasin, de virtualiser un inventaire sans fin et d’y accéder, ou encore celle de vivre une expérience plus engageante avec la marque, la marchandise et le magasin, conçu comme un espace de réalité augmentée. Pour moi, c’est captivant. Et je sais que ce genre de cas d’utilisation va se produire avec le téléphone, car il est déjà équipé des capteurs nécessaires pour la prise en charge de ces expériences.

J’ai bel et bien ressenti l’épuisement lié à Zoom, et vos commentaires sur la coprésence m’intriguent. Sans les limites technologiques actuelles, à quoi ressemblerait une meilleure expérience sur Zoom? Quelles sont les améliorations que vous souhaiteriez?

C’est une excellente question! Si vous avez déjà vécu une expérience de coprésence sur un dispositif de XR, c’est vraiment différent et difficile à définir. Il y a quelque chose d’indicible qui se produit quand on est avec une personne virtuelle. Je pense que ce qu’on entend par présence est en fait une question de bande passante de communication, de ressentir l’autre personne. Nous communiquons avec bien plus que nos mots : il y a le ton de notre voix, notre langage corporel, nos expressions faciales, notre proximité avec l’autre personne et notre mouvement dans l’espace que nous partageons. Lorsque vous êtes avec quelqu’un en personne, vous recevez consciemment et inconsciemment toutes ces informations. Mais sur Zoom, elles sont communiquées par une bande passante beaucoup plus restreinte. De plus, les gens sont littéralement plus petits sur Zoom; même l’échelle est perturbée par rapport à nos communications en personne.

Une expérience améliorée tirerait profit des attributs simples de l’informatique spatiale et de la réalité mixte appliqués aux médias à l’écran. Des choses comme l’échelle, la proximité et la distance par rapport aux autres seraient combinées pour créer une expérience de communication plus naturelle. Même un avatar un peu caricatural peut donner une incroyable sensation de présence, car vous voyez une personne, vous entendez sa voix et vous voyez son corps et sa tête bouger de manière naturelle et expressive lorsqu’elle parle. Et ils sont à l’échelle réelle, en réelle proximité avec vous — cela fait une telle différence. Je pense donc que c’est ce qu’il en ressort : une forme de communication à plus large bande passante est nécessaire. Lorsque nous regardons de petites personnes sur de petites grilles à l’écran, c’est peut-être beaucoup plus perturbant que nous ne le croyons consciemment.

En effet! Mais au-delà du bureau et du magasin se trouve le salon, et j’aimerais aussi entendre vos réflexions à ce sujet. Je sais que c’est une position à contre-courant de la RV que de souligner que le « second avènement » de la RV en 2015–2016 s’est effondré avec l’adoption nominale de l’Oculus Rift et du HTC Vive. Comment décririez-vous ce qui s’est passé, et quels sont les obstacles qui empêchent les gens d’inviter la XR dans leur salon?

Cela se résume aux marques et au contenu — c’est l’écosystème du contenu. Je pense qu’il y a beaucoup d’ingrédients nécessaires pour pouvoir développer un écosystème de contenu riche qui soit capable de soutenir une adoption de masse par les consommateur·trice·s. L’un d’eux est la technologie, qui doit être suffisamment bonne. Ensuite, le design d’interaction de la plateforme et de l’expérience doit être simple et sans faille, ce qui demande beaucoup de travail. Les kits de développement initiaux d’Oculus et du Vive avaient certainement des limites techniques : ils étaient connectés à un PC, le traitement graphique n’était pas très bon et ils donnaient la nausée à beaucoup de gens, car tout cela était du design d’interaction émergent. Il nous a fallu un certain temps pour nous familiariser avec les bases. Il est difficile d’ajuster ses paramètres dans ce contexte, et de vendre cette plateforme comme un produit prêt à l’emploi. C’est donc en partie à cause de cela. Et il y a d’autres problèmes : le prix, car les appareils étaient reliés à une grosse carte graphique sur des ordinateurs haut de gamme. Tous ces facteurs ont ouvert la voie à un produit prêt pour les consommateur·trice·s, juste avant que les grandes marques et les grandes franchises puissent y diffuser leur contenu. Aujourd’hui, nous voyons les plus grandes franchises du domaine des jeux sur ces plateformes — et c’est là que nous constatons que l’Oculus Quest est en rupture de stock.

Quelles sont vos voix préférées — de concepteur·trice·s ou d’intellectuel·le·s — que nous devrions suivre pour approfondir notre réflexion sur les XR et les médias immersifs?

Je trouve que Sophia Dominguez de Snapchat est excellente. Son travail est incroyable et je pense que Snapchat est une force géniale et innovante dans le secteur, donc elle est certainement à suivre. Sur Twitter, il y a aussi Adam Varga, auquel je me suis abonnée parce que son contenu est tellement bon. Concepteur d’interfaces en réalité mixte basé à Tokyo, il publie une grande partie de son travail, qui est absolument excellent. Mais il a aussi un énorme appétit pour tout le contenu lié au secteur, alors il attire souvent l’attention sur des articles, des conférences et des expériences intéressantes; son fil de publications est comme une très bonne infolettre sur notre secteur. Paul Reynolds vaut également la peine d’être suivi : j’ai travaillé avec lui pendant longtemps et il est génial. Il a un balado, XR Talk.

En ce qui concerne les organismes du secteur qui font à mon avis un excellent travail : je collabore avec FilmGate interactive à Miami, un excellent OBNL qui s’intéresse aux créateur·trice·s de récits œuvrant dans le secteur des technologies émergentes. En décembre, ils organiseront un festival qui sera vraiment spectaculaire. Ils y diffuseront de nombreux travaux novateurs en XR, qui seront présentés en ligne et en personne.

À New York, R Lab est aussi un excellent centre de recherche sur la XR. Ils soutiennent également certains incubateurs. J’ai vraiment admiré la manière dont ils ont pris position dans le cadre du mouvement Black Lives Matter. En fait, je pense que c’est l’une des voix les plus fortes qui se soient élevées pour dire qu’il est impératif pour nous, qui travaillons dans le domaine de la recherche en XR, de penser à la justice sociale, de promouvoir les artistes noir·e·s et d’allouer plus de fonds aux organismes dirigés par des personnes noires. Ils publient également un excellent bulletin d’information chaque semaine.

La Gray Area Foundation for the Arts à San Francisco est un autre espace impressionnant. Leur programmation est vraiment géniale et leur directeur général, Barry Threw, est un type formidable. Je sais qu’au début de la pandémie, ils ont éprouvé des difficultés (comme tout le monde!) et ils ont réussi à s’en sortir avec succès en créant une excellente programmation en ligne.

Greg J. Smith est un écrivain et travailleur culturel canadien basé à Hamilton, en Ontario. Il est rédacteur pour HOLO et collabore à Musicworks. Ses écrits ont été publiés dans des revues telles que Creative Applications Network, Rhizome et Back Office. Il est doctorant au département de communication et de multimédia de McMaster University, où il étudie l’émergence de la boîte à rythme programmable au début des années 1980.