Virtual Reality (VR) experiences of interactive media art /Expériences d'arts médiatiques interactifs avec la réalité virtuelle (RV)

(Version française ci-dessous)

This note was created as part of interConnect, a collaborative inquiry into digital transformation. Learn more in the box at the end of the text.

Benefits for audience

VR presents the most convincing rebuttal to the so-called immersive fallacy by integrating audiences with the digital experience mere centimeters from their eyeballs. However, mass adoption of VR hardware is a vanishing horizon, as demonstrated by Meta’s lackluster Metaverse results of 2021-22. These specialized devices are not common household items. Instead, developing VR that has cross-platform compatibility adds significant overhead in terms of design and programming time.

Benefits for artwork

VR is an appealing context for many artists to work in, its immersive qualities approximating immediacy with a virtual space created and controlled by the artist. An artist must be skilled at working with VR specifically in order to achieve the alluring goal of immersion. The skills of a VR artist include worldbuilding, visual design,working with audio, and programming. Artists can also collaborate with skilled VR technicians to help realize their work in virtual space. 

VR can have more relaxed requirements for the artwork it presents as compared to the limitation of mobile or browser-based interactive art, as it can be run off of a dedicated computer. However, this is often not the case, as the most popular headsets run on Android operating systems, like the Meta Quest products, and are basically as powerful as smartphones. And if the experience is developed as a multi-platform project, the constraints of the weakest hardware apply to its entire development. 

Why consider VR experiences

• If you have a technically savvy team or artist, the immersion and novelty of VR headset experiences is unparalleled.. 

• There is a small but dedicated audience of VR headset users who are underserved. This includes both artists and a more experimental gaming audience. 

Implementing VR experiences

• The simplest method for creating a VR presentation is a 360° video. These can be hosted online, on platforms like Youtube, and are by default experienced on computers, smartphones, and VR headsets. A 360° video can be captured from a 360° camera (which is an artform in itself), but 360° footage can also be captured from interactive digital experiences in Unity—this is often a sound backup for a VR headset experience, so that audience members without headsets may be able to explore it on their other devices.

• Unity and Unreal engine are go-to tools for VR creation—though unnecessary for 360° video, as mentioned above. Both feature a range of tools to make VR experiences possible. Our experience is with Unity, and we’ve found the Unity XR Interactive Toolkit and OpenXR plugins very useful for designing cross-platform VR exhibitions and experiences. For the projects Geofenced and Hypercity: Augmented Reality Arts Exhibition we used the XR Interactive Toolkit. For the project Echoes from the Future we used OpenXR.

• When working with an artist who does not have experience with VR as a medium, for example a sculptor who wants to show 3D models, the technicians designing the exhibition and installing the work must be the ones considering the wider interactive context of the virtual space. This includes movement, whether the space is room scale (user’s movement in the real world is mapped to the virtual) or locomotive (movement in the virtual world is determined by user input, for example via joystick), how haptic feedback will be used, and how the user will interact with objects in the virtual scene.

About this note   

• This note was nurtured by the discussions that took place during interConnect workshops, particularly those of co-learning group 1.1. 
• Note authored by Cat Bluemke with revision support from the interConnect team.
• Translation from English to French by the interConnect team.

The interConnect initiative was led by the Independent Media Arts Alliance (IMAA). The views expressed in this note are those of the author(s) and not official IMAA recommendations.

//////////////////////////////////////////////////

(Version française)

Cette note a été créée pendant interConnect, une enquête collaborative sur la transformation numérique. Apprenez-en davantage dans l’encadré à la fin du texte.

Avantages pour le public

La RV présente la réfutation la plus convaincante du sophisme de l'immersion (« immersive fallacy » en anglais) en intégrant le public dans l'expérience numérique à quelques centimètres de ses yeux. Toutefois, l'adoption massive d’équipements de RV ne semble pas se concrétiser, comme le démontrent les résultats médiocres du Metaverse de Meta pour 2021-22 (lien en anglais). Ces appareils spécialisés ne sont pas des articles courants dans les maisons. En revanche, le développement de la RV avec une compatibilité multiplateforme ajoute des frais généraux importants en termes de conception et de temps de programmation.

Avantages pour l’œuvre d'art

La RV est un contexte attrayant pour de nombreux artistes, ses qualités immersives se rapprochant de l'immédiateté avec un espace virtuel créé et contrôlé par l'artiste. Un·e artiste doit être compétent·e pour travailler avec la RV afin d'atteindre l'objectif séduisant de l'immersion. Les compétences d'un·e artiste de RV comprennent la construction du monde, la conception visuelle, le travail avec le son et la programmation. Les artistes peuvent également collaborer avec des technicien·ne·s de RV qualifié·e·s pour les aider à réaliser leur travail dans l'espace virtuel. 

La RV peut avoir des exigences plus souples pour l'œuvre d'art qu'elle présente par rapport aux limites de l'art interactif sur mobile ou basé sur le navigateur, car elle peut être exécutée à partir d'un ordinateur dédié. Toutefois, ce n'est souvent pas le cas, car les casques les plus populaires fonctionnent avec des systèmes d'exploitation Android, comme les produits Meta Quest, et sont fondamentalement aussi puissants que des téléphones intelligents. Et si l'expérience est développée comme un projet multiplateforme, les contraintes de l’équipement le plus faible s'appliquent à l'ensemble de son développement. 

Pourquoi envisager des expériences de RV ?

• Si vous disposez d'une équipe ou d'un·e artiste techniquement compétent·e, l'immersion et la nouveauté des expériences de RV sont sans équivalent. 

• Il existe un public restreint mais dévoué d'utilisateur·trice·s de casques de RV qui est mal desservi. Il s'agit à la fois d'artistes et d'un public de joueur·euse·s plus expérimentaux. 

Mise en œuvre des expériences de RV

• La méthode la plus simple pour créer une présentation de RV est la vidéo à 360°. Les vidéos à 360° peuvent être hébergées en ligne, sur des plateformes telles que YouTube, et sont par défaut expérimentées sur les ordinateurs, les téléphones intelligents et les casques de RV. Une vidéo à 360° peut être capturée à partir d'une caméra à 360° (ce qui est une forme d'art en soi), mais des séquences à 360° peuvent également être capturées à partir d'expériences numériques interactives dans Unity - il s'agit souvent d'une sauvegarde sonore pour une expérience de casque de RV, de sorte que les membres de l'auditoire qui n'ont pas de casque puissent l'explorer sur leurs autres appareils.

• Unity et Unreal Engine sont des outils de choix pour la création de RV, bien qu'ils ne soient pas nécessaires pour la vidéo à 360°, comme mentionné ci-dessus. Tous deux proposent une gamme d'outils permettant de réaliser des expériences de RV. Notre expérience est avec Unity, et nous avons trouvé la boîte à outils interactive Unity XR et les plugiciels OpenXR très utiles pour concevoir des expositions et des expériences de RV multiplateformes. À noter que ces deux outils sont en anglais seulement. Pour les projets Geofenced et Hypercity: Augmented Reality Arts Exhibition, nous avons utilisé la boîte à outils interactive Unity XR. Pour le projet Echoes from the Future, nous avons utilisé OpenXR.

• En travaillant avec un·e artiste qui n'a pas d'expérience de la RV en tant que médium, par exemple un·e sculpteur·euse qui veut montrer des modèles 3D, les technicien·ne·s qui conçoivent l'exposition et installent l'œuvre doivent être ceux·celles qui considèrent le contexte interactif plus large de l'espace virtuel. Cela inclut le mouvement, que l'espace soit à l'échelle de la pièce (le mouvement de l'utilisateur·trice dans le monde réel est cartographié dans le monde virtuel) ou locomoteur (le mouvement dans le monde virtuel est déterminé par l'utilisateur·trice, par exemple via une manette de jeu), comment le retour tactile sera utilisé, et comment l'utilisateur·trice interagira avec les objets dans la scène virtuelle.

À propos de cette note

• Cette note a été inspirée par les discussions qui ont eu lieu au cours des ateliers d’interConnect, particulièrement du groupe d’apprentissage collaboratif 1.1.
• Note écrite par Cat Bluemke et révisée par l’équipe d’interConnect.
• Traduction de l’anglais vers le français par l’équipe d’interConnect.

L'initiative interConnect a été menée par l'Alliance des arts médiatiques indépendants (AAMI). Les opinions exprimées dans cette note sont celles des auteur·trice·s et ne constituent pas des recommandations officielles de l'AAMI.