Augmented Reality (AR) experiences of interactive media art /Expériences d'arts médiatiques interactifs avec la réalité augmentée (RA)

(Version française ci-dessous)

This note was created as part of interConnect, a collaborative inquiry into digital transformation. Learn more in the box at the end of the text.

Benefits for Audience

As AR generally occurs on smartphone devices, the same advantages of pocket-ready accessibility apply as for mobile experiences of interactive media. AR continues to be a novelty to most audiences. While many will be familiar with the technology from games like Pokemon GO or social media filters, it can be challenging to those who have never experienced it before. 

AR that augments or interacts with the user themselves poses a very unique opportunity to engage intimately with the artwork—not to mention the perennial popularity of art that lets you take a selfie with it. The accessibility of AR can present challenges to users with limited mobility, especially if the digital images projected onto the camera feed display content that requires interaction around or behind the user.

Benefits for Artwork

Augmented Reality presents an extremely specific medium for artwork, and work that considers the formal qualities of this medium can make incredibly meaningful comments about the boundaries (or lack thereof) between the real and the digital. An artwork could have limited interactivity in and of itself, such as an image or animated 3D object, but with the help of spatialized AR it becomes an immersive experience. Spatialized AR is the illusion of a digital object occupying real world space, with the interaction facilitated through the user’s movement in space around the artwork.

Because mobile technology is typically the platform on which AR is happening, the same constraints apply as for mobile experiences of interactive media art.

Why consider AR experiences

• AR provides many benefits for hybrid exhibitions that happen both inside and outside a gallery, especially if the project involves considerations of space and place.

• Combining AR with geofencing creates extremely unique contexts for making work that responds to a particular location. Geofencing creates a boundary for virtual content that corresponds with real-world coordinates, meaning that the artwork could only be accessed in an intended location. 

• AR can also work in tandem with physical triggers, in the form of images or printouts, that can accompany the artwork. These can be combined with an organization’s existing advertisement or promotional strategies by placing the triggers on flyers or gallery takeaways, or outside on billboards and posters.

Implementation of AR experiences

• The limitations and challenges of developing broader mobile experiences, particularly optimization and publishing, apply to AR for mobile experiences. In addition, it is currently more challenging to create a mobile browser AR experience than a custom application (more on WebXR below). 

• A decision in implementing AR is whether it will be trigger-based or not. Trigger-based AR is activated by a specific defined image (or object) and can (optionally) follow that image’s position in the real world. AR graphics that somehow integrate with their trigger create even more cohesive experiences. Non-triggered AR, however, has the advantage of not requiring the user to have the trigger for it to be activated.

• For developing AR experiences, social media platforms have user-friendly tools for creating AR “filters” on their applications. Snapchat has Lens Studio, while Meta/Facebook/Instagram has SparkAR—either is especially useful for creating AR that interacts with the user’s face or body, due to the selfie-centric nature of those platforms. Publishing on social media has major drawbacks in terms of control, as the end result is owned by the platform, not the artist, and the development environments themselves feature major limitations.

• The most robust tool for creating AR is the game engine Unity3D, which features plugins to handle the various frameworks for AR across Android and iOS devices, so the design need only happen once.

• Advances in WebXR are making browser-based AR experiences increasingly possible, which poses exciting possibilities for future website based AR projects. At time of writing, WebXR plugins for Unity can make trigger-based AR experiences happen. WebXR publishing circumvents the traditional publishing platforms reliant on Apple, Meta, or Google, by running XR directly in the browser. Publishing XR directly in the browser means that audiences don’t need to download a custom application, that the project would automatically be supported across Apple and Android devices, and that the publishing challenges that arise when working with commercial app stores can be avoided. At the time of writing, this workflow is still relatively new but we encourage its future exploration.

About this note   

• This note was nurtured by the discussions that took place during interConnect workshops, particularly those of co-learning group 1.1. 
• Note authored by Cat Bluemke with revision support from the interConnect team.
• Translation from English to French by the interConnect team.

The interConnect initiative was led by the Independent Media Arts Alliance (IMAA). The views expressed in this note are those of the author(s) and not official IMAA recommendations.

//////////////////////////////////////////////////

(Version française)

Cette note a été créée pendant interConnect, une enquête collaborative sur la transformation numérique. Apprenez-en davantage dans l’encadré à la fin du texte.

Avantages pour le public

Comme la RA se produit généralement sur des téléphones intelligents, les mêmes avantages de l'accessibilité directement dans la poche s'appliquent qu’avec l'expérience mobile des médias interactifs. La RA reste une nouveauté pour la plupart des publics. Si beaucoup connaissent la technologie grâce à des jeux comme Pokemon GO ou aux filtres des médias sociaux, elle peut être un défi pour les personnes qui n'en ont jamais fait l'expérience. 

La réalité augmentée qui augmente ou interagit avec l'utilisateur·trice offre une occasion unique de s'engager intimement avec l'œuvre d'art - sans parler de l'éternelle popularité de l'art qui vous permet de prendre un égoportrait au passage. L'accessibilité de la RA peut poser des problèmes aux utilisateur·trice·s à mobilité réduite, en particulier si les images numériques projetées sur le flux de la caméra affichent un contenu qui nécessite une interaction autour ou derrière l'utilisateur·trice.

Avantages pour l’œuvre d'art

La réalité augmentée constitue un support extrêmement spécifique pour les œuvres d'art, et les travaux qui prennent en compte les qualités formelles de ce support permettent de faire des observations incroyablement significatives sur les frontières (ou l'absence de frontières) entre le réel et le numérique. Une œuvre d'art peut avoir une interactivité limitée en soi, comme une image ou un objet 3D animé, mais avec l'aide de la RA spatialisée, elle devient une expérience immersive. La RA spatialisée est l'illusion d'un objet numérique occupant un espace réel, l'interaction étant facilitée par les mouvements de l'utilisateur·trice dans l'espace autour de l'œuvre d'art.

La technologie mobile étant généralement la plateforme sur laquelle se produit la RA, les mêmes contraintes s'appliquent que pour les expériences d'arts médiatiques interactifs sur mobiles.

Puisque la plateforme sur laquelle se déroule la RA est généralement la technologie mobile, les mêmes contraintes s'appliquent que pour les expériences d'arts médiatiques interactifs sur mobiles.

Pourquoi envisager des expériences de RA ?

• La RA présente de nombreux avantages pour les expositions hybrides qui se déroulent à la fois à l'intérieur et à l'extérieur d'une galerie, en particulier si le projet implique des considérations d'espace et de lieu.

• La combinaison de la RA et du géorepérage (« geofencing » en anglais) crée des contextes extrêmement uniques pour la réalisation d'œuvres qui répondent à un lieu particulier. Le géorepérage crée une frontière pour le contenu virtuel qui correspond aux coordonnées du monde réel, ce qui signifie que l'œuvre d'art ne peut être consultée qu'à l'endroit prévu. 

• La RA peut également fonctionner en tandem avec des déclencheurs physiques, sous forme d'images ou d'imprimés, qui peuvent accompagner l'œuvre d'art. Ceux-ci peuvent être combinés avec les stratégies publicitaires ou promotionnelles existantes d'une organisation en plaçant les déclencheurs sur des dépliants ou des objets à emporter dans les galeries, ou à l'extérieur sur des panneaux publicitaires et des affiches.

Mise en œuvre d’expériences de réalité augmentée

• Les limites et les défis liés au développement d'expériences mobiles plus larges, en particulier l'optimisation et la publication, s'appliquent aux expériences de RA pour mobile. En outre, il est actuellement plus difficile de créer une expérience de RA pour un navigateur mobile qu'une application personnalisée (voir WebXR ci-dessous). 

• L'une des décisions à prendre lors de la conception de la RA est de savoir si elle sera basée sur des déclencheurs ou non. La RA basée sur un déclencheur est activée par une image (ou un objet) spécifique définie et peut (éventuellement) suivre la position de cette image dans le monde réel. Les graphiques de RA qui s'intègrent d'une manière ou d'une autre à leur déclencheur créent des expériences encore plus cohérentes. La réalité augmentée sans déclencheur présente toutefois l'avantage de ne pas nécessiter que l'utilisateur ait le déclencheur pour être activée.

• Pour développer des expériences de réalité augmentée, les plateformes de médias sociaux disposent d'outils conviviaux pour créer des "filtres" de réalité augmentée sur leurs applications. Snapchat a Lens Studio, tandis que Meta/Facebook/Instagram a SparkAR - l'un et l'autre sont particulièrement utiles pour créer de la réalité augmentée qui interagit avec le visage ou le corps de l'utilisateur·trice, en raison de la nature centrée sur l’égoportrait de ces plateformes. La publication sur les médias sociaux présente des inconvénients majeurs en termes de contrôle, car le résultat final appartient à la plateforme et non à l'artiste, et les environnements de développement eux-mêmes présentent des limitations importantes.

• L'outil le plus robuste pour créer de la réalité augmentée est le moteur de jeu Unity3D, qui comporte des plugiciels pour gérer les différents cadres pour la réalité augmentée sur les appareils Android et iOS, de sorte que la conception ne doit se faire qu'une seule fois.

• Les progrès de WebXR rendent de plus en plus possibles les expériences de réalité augmentée basées sur le navigateur, ce qui ouvre des perspectives intéressantes pour les futurs projets de réalité augmentée basés sur des sites web. À l'heure où nous écrivons ces lignes, les plugiciels WebXR pour Unity permettent de réaliser des expériences de réalité augmentée basées sur des déclencheurs. La publication via WebXR contourne les plateformes de publication traditionnelles dépendant d'Apple, Meta ou Google, en exécutant la réalité étendue (« XR » pour Extended Reality en anglais) directement dans le navigateur. Publier la réalité étendue directement dans le navigateur signifie que le public n'a pas besoin de télécharger une application personnalisée, que le projet sera automatiquement pris en charge par les appareils Apple et Android, et que les problèmes de publication qui surviennent lorsque l'on travaille avec des boutiques d'applications commerciales peuvent être évités. Au moment de la rédaction du présent document, ce flux de travail est encore relativement nouveau, mais nous encourageons son exploration.

À propos de cette note

• Cette note a été inspirée par les discussions qui ont eu lieu au cours des ateliers d’interConnect, particulièrement du groupe d’apprentissage collaboratif 1.1.
• Note écrite par Cat Bluemke et révisée par l’équipe d’interConnect.
• Traduction de l’anglais vers le français par l’équipe d’interConnect.

L'initiative interConnect a été menée par l'Alliance des arts médiatiques indépendants (AAMI). Les opinions exprimées dans cette note sont celles des auteur·trice·s et ne constituent pas des recommandations officielles de l'AAMI.