Indigenous Augmented Reality Series—Reflecting on Creating Online Instructional Resources /Série sur la réalité augmentée autochtone — Réflexion sur la création de ressources pédagogiques en ligne

(Version française ci-dessous)

This note was created as part of interConnect, a collaborative inquiry into digital transformation. Learn more in the box at the end of the text.

The purpose of this note is to provide an overview of pathways taken to research, create, and disseminate instructional resources for digital creatives and artists. The reasons for doing this research were: 1) I wanted to learn the technology for my own benefit, and 2) I wanted to share that journey—those instructional findings—with others so that they could benefit from the technology as well, ideally in a shorter amount of time than it took me, with the resources put in place. 

This research and creation journey was a response to the pandemic, where I had lost an outlet to instruct through in-person workshops, but wanted to keep sharing on topics I found interesting. Fortunately, I was accepted for a Canada Council for the Arts grant that would enable me to research a topic, and create instructional resources for that topic. I also wanted to consider what those doing Work From Home would have access to, and so my research became heavily focused on pathways that were free and utilized, at most, a desktop and a smartphone.

There were many successes in the general creation of these resources, but otherwise many challenges found for effective dissemination. The topic of this research was Augmented Reality [AR], but interactive. The playlist for the series can be found here: IIAR Series Playlist on YouTube.

To clarify, AR is a technology that superimposes digital graphics over the real world, to give an illusion of tangibility. Typically, AR requires a lens of some sort to view the augmentations with their reality—most commonly, this is a smartphone screen that pairs the augmentations to the camera feed of the phone. The most popular example of AR is the video game Pokemon GO, where little creatures can be seen on tables, grass, or whatever the player happens to be nearby.

Prior to engaging in the research, I had only undertaken a small dive into the pool of resources that covered interactive AR. Much of what I had known was static in nature, in that one could not influence the AR in any way, unlike how you could catch the creatures in Pokemon GO with Pokeballs. What I did know, however, was that resources were often scattered in scope and topic area, overlapped to certain degrees, and made assumptions of the viewer’s existing knowledge. What I desired to do was learn interactive AR on my own, and create a wide pool of resources that began from a beginner-friendly approach. The resources were designed with artists in mind; artists who wanted to pursue interactive AR as a medium.

Research and Preparation

Researching for the topic was relatively easy, minus a single major issue, which I share below. My general pathway to understanding was knowing the technology involved, how to use it in a practical sense, and how to combine it with what I already knew. The scope of this research was with the Unity engine—an engine that I had been using to create for around three years at that point—which seemed like a great option, given it was free and had many resources available to learn. The engine is very modular in design, and so it becomes important to decipher which modules are important to utilize interactive AR technologies. The two most common platforms for research I had were YouTube and Google. YouTube would provide me with videos from a variety of channels—in some cases, it became a game of pairing info from one video with another to get a new result or better understanding.

Google would provide access to websites that offer articles or tutorials in a written format, addressing the topics of research as well. While undertaking this research, I proactively created bullet points that noted important areas of the research—later, I would order and group these bullet points in ways that would fit individualized lectures more effectively. A major issue I encountered in the research was not being able to successfully deploy the technology to my phone—instead of seeing the test graphics I had developed, I would always end up with a black screen. It took a few weeks before I found the resolution for this error—a bullet point was quickly made to circumvent this issue in the resources soon to be made.

Learning Lessons in Creating Instructional Resources

Creating resources for the topic was decently easy with what I had available to me. As some time had passed throughout the research period, opportunities presented themselves for me to instruct workshops online, and so I invested in equipment that made future opportunities easier. I had a microphone, and a means to use my DSLR camera as a webcam. Important was a tool that would enable me to record my screen with the mic and webcam as needed. The tool I found is known as OBS, a software that can be downloaded for desktop, and used to record your display, audio, and microphone, among a lot more options. 

There were some important tips I gathered for the recordings I did. I conducted test runs with the bullet points I had gathered, to refamiliarize myself with the material to cover. This was especially helpful in cases where I had not configured a specific option in Unity for a few months, and needed the reminder. Test runs would often be much quicker than the actual recordings, as I wanted to have the recordings be beginner friendly. A good deal of time is spent enunciating the options I click on, and where to find those options. It all flows better if I had done a test run beforehand. In some cases, however, I did find myself forgetting where to go next in a given recording. Fortunately, I allowed myself opportunities to pause the recording with OBS, review the material for a minute or two, and carry on. I found it important to even just take breaks during the recordings, which could range from an hour to two and a half hours in length.

A crucial element I identified with the recordings is the screen dominance that they can cause. For example, to view everything that I click on in the recordings, may require an entire screen to view, which causes an assumption that the artist has at least two screens to undertake the lessons in the recordings. To partially circumvent this, when doing the recordings, I would set my resolution lower to enable text and buttons on screen to show up bigger. This would allow lower resolutions of the video to still make out where text is located, and what it says. However, to fully circumvent the issue, I spent some time also making written resources based off of the recorded ones. Fortunately, the grant afforded me the time to do this. An example of what resulted is, if in a recording I said, “click on the window button, and choose the Package Manager option,” the written format would show “we’ll click on Window > Package Manager, in the top tool bar.” An image taken from the video would also be shown here with the text, to help guide someone. I had come to this solution based on my own research, where I was able to follow the written articles and tutorials in less time, and have less of my screen dominated by the resource.

Reflections on Dissemination

After around a month, all of the resources had been created into a full series, comprising nine parts, and it came time to disseminate them. The series was known as the Indigenous Interactive Augmented Reality series, or IIAR for short. I had chosen this name, given that some of the lectures offer tips on creating resources like interactive syllabic galleries, or feature images of prominent Indigenous artists like Ernest Monias, and the fact I am First Nations myself. I then realized how limited my own channels were. First, I had uploaded all of the recordings to YouTube, and uploaded the written resources to Dropbox. To keep a sort of attention cadence going, I uploaded one part of the series per day, and notified people on my socials. 

Reflecting on the project I find that I failed in this part. I see that just the uploads and social media posts were not enough, given the number of views of the series. I think my own channels do not possess enough of a following that is actively pursuing this topic. The playlist itself is also unlisted as a sort of protection for myself, where I’ve occasionally attracted the wrong kind of attention on the internet in the past. I suspect the next step will be to reach out to the IM4 Media Lab, an organization I have worked with in the past who prioritize educating and promoting Indigenous creatives in the fields of Extended Reality [XR]. They may be able to promote the series on their social media and website, and potentially go as far as offering students a venue to follow the resources. I feel an organization such as IM4 Media Lab has laid more of a foundation for Augmented Reality training, which falls under their umbrella of Extended Reality. I also feel I should upload to a different channel, or move resources designed for teaching somewhere else, given where the videos are now, alongside non-related videos I have been making since I was a teen. The silver lining for myself is that the resources haven’t fallen prey to deprecation since their release—meaning features or pathways that the resources show haven’t become unsupported or altered, if following the resources properly. The resources can still prove some value if someone were to follow along with them today.

I find myself wondering if the series is intimidating in scope or execution. In the future, I may experiment with resources that are quicker to watch and follow, smaller in scope, and perhaps vary between a beginner to intermediate level. In some of the created resources as well, a certain task may appear which is repetitive by nature. I debate if factors such as this made the series intimidating to follow along with after the first part or two. I realize it can be a difficult ask to follow a nine part series, one per day, if each resource is between an hour to two every day. I have also witnessed that education that is personally-guided without assistance can be an intimidating proposition.

Other Helpful Related Resources

Augmented Reality (AR) experiences of interactive media art

Access and planning considerations for interactive media exhibitions

About this note

• This note was nurtured by the discussions that took place during interConnect workshops, particularly those of co-learning group 3.2.
• Note authored by Dallas Flett-Wapash with revision support from Eli Hirtle and the interConnect team.
• Translation from English to French by Marie-Camille Lalande.

The interConnect initiative was led by the Independent Media Arts Alliance (IMAA). The views expressed in this note are those of the author(s) and not official IMAA recommendations.

//////////////////////////////////////////////////

(Version française)

Cette note a été créée pendant interConnect, une enquête collaborative sur la transformation numérique. Apprenez-en davantage dans l’encadré à la fin du texte.

Cette note vise à fournir une vue d’ensemble des voies empruntées pour la recherche, la création et la diffusion de ressources pédagogiques pour les créateur·trice·s et artistes numériques. Les raisons qui m’ont poussé à faire cette recherche sont les suivantes : 1) je voulais apprendre la technologie pour mon propre avantage, et 2) je voulais partager ce parcours — mes découvertes pédagogiques — avec d’autres afin qu’il·elle·s puissent également profiter de la technologie, avec des ressources mises en place, et idéalement en moins de temps qu’il ne m’en a fallu. 

Ce parcours de recherche et de création était en réponse à la pandémie, car je n’avais plus la possibilité d’enseigner par le biais d’ateliers en personne, mais je voulais continuer à échanger sur des sujets que je trouvais intéressants. Heureusement, j’ai obtenu une bourse du Conseil des arts du Canada qui m’a permis de faire des recherches et de créer des ressources pédagogiques sur un sujet donné. Je voulais aussi tenir compte de ce à quoi les personnes travaillant à domicile auraient accès ; mes recherches se sont donc fortement concentrées sur des pistes gratuites et utilisant, au plus, un ordinateur de bureau et un téléphone intelligent.

La création générale de ces ressources a connu du succès, mais leur diffusion efficace a rencontré de nombreuses difficultés. Le sujet de cette recherche était la réalité augmentée (RA) interactive. La liste de lecture de la série est disponible ici : Liste de lecture de la série IIAR sur YouTube (en anglais uniquement).

Plus clairement, la RA consiste en une technologie qui superpose des graphiques numériques au monde réel, pour donner une illusion de tangibilité. En règle générale, la RA requiert une sorte d’objectif pour visualiser les augmentations avec leur réalité — le plus souvent, il s’agit d’un écran de téléphone intelligent qui associe les augmentations à la caméra du téléphone. L’exemple le plus populaire de la réalité augmentée est le jeu vidéo Pokémon GO, où de petites créatures peuvent être vues sur des tables, dans l’herbe ou peu importe où se trouve la personne qui joue.

Avant d’entreprendre cette recherche, je n’avais fait qu’une petite percée dans les ressources qui traitent de la réalité augmentée interactive. En grande partie, ce que je connaissais était de nature statique, c’est-à-dire qu’il n’était pas possible d’influencer la RA de quelque manière que ce soit, contrairement à la façon dont on peut attraper les créatures dans Pokémon GO à l’aide de Pokéballs. Je savais, par contre, que les ressources étaient souvent dispersées en matière de portée et de sujet, qu’elles se chevauchaient à certains degrés et qu’elles supposaient un certain niveau de connaissances existantes du public. Ce que je voulais, c’était apprendre la RA interactive par moi-même et créer un vaste ensemble de ressources qui partent d’une approche conviviale pour les débutant·e·s. Ces ressources ont été conçues à l’intention des artistes qui souhaitaient utiliser la RA interactive comme médium.

Recherche et préparation

Faire de la recherche sur le sujet a été relativement facile, à l’exception d’un seul problème majeur, dont je vous fais part ci-dessous. Mon cheminement général vers la connaissance a consisté à saisir la technologie impliquée, savoir comment l’utiliser de manière pratique et comment la combiner avec ce que je connaissais déjà. Le champ d’application de cette recherche était le moteur Unity — une plateforme de développement que j’utilisais déjà depuis environ trois ans — qui semblait être une excellente option, étant donné qu’il était gratuit et qu’il y avait de nombreuses ressources disponibles pour apprendre. La conception de ce moteur est très modulaire, et il devient donc essentiel de déchiffrer quels modules sont importants pour l’utilisation des technologies de RA interactives. Les deux plateformes de recherche les plus courantes dont je disposais étaient YouTube et Google. YouTube m’a fourni des vidéos provenant de diverses chaînes — dans certains cas, il s’agissait d’associer des informations d’une vidéo à une autre pour obtenir un nouveau résultat ou une meilleure compréhension.

Google a permis d’accéder à des sites Web qui proposent des articles ou des tutoriels sur les sujets de recherche sous forme écrite. Tout en entreprenant cette recherche, j’ai créé de manière proactive des puces qui notaient les domaines importants de la recherche — plus tard, j’ai ordonné et regroupé ces puces de manière à ce qu’elles s’intègrent plus efficacement dans les présentations individuelles. L’un des principaux problèmes que j’ai rencontrés au cours de mes recherches a été l’impossibilité de déployer avec succès la technologie sur mon téléphone — au lieu de voir les graphiques simulés que j’avais mis au point, je me retrouvais toujours devant un écran noir. Il m’a fallu quelques semaines pour trouver la solution à cette erreur — une puce a rapidement été ajoutée aux ressources pour permettre de contourner ce problème.

Leçons apprises pour la création de ressources pédagogiques 

La création de ressources sur le sujet a été relativement facile avec ce que j’avais à ma disposition. Au cours de la période de recherche, l’on m’a offert des occasions d’animer des ateliers en ligne, et j’ai donc investi dans du matériel qui faciliterait les occasions futures. Je disposais d’un microphone et d’un moyen d’utiliser mon appareil photo DSLR comme webcam. J’avais besoin d’un outil qui me permettrait d’enregistrer mon écran à l’aide du micro et de la webcam, selon les besoins. L’outil que j’ai trouvé est connu sous le nom d’OBS (en anglais uniquement), un logiciel qui peut être téléchargé pour l’ordinateur de bureau et utilisé pour enregistrer l’écran, l’audio et le microphone, parmi plusieurs autres options.

J’ai recueilli quelques conseils importants pour mes enregistrements. J’ai effectué des simulations avec les puces que j’avais assemblées, afin de me familiariser à nouveau avec le matériel à couvrir. Cela s’est avéré particulièrement utile lorsque je n’avais pas configuré une option précise dans Unity depuis plusieurs mois et que j’avais besoin de me rafraîchir la mémoire. Les tests sont souvent beaucoup plus rapides que les enregistrements, car je voulais que les enregistrements soient adaptés aux gens qui débutent. Je passe beaucoup de temps à bien prononcer les options sur lesquelles je clique et où elles se trouvent. Tout se passe mieux si j’ai fait un essai au préalable. Dans certains cas, cependant, je perdais le fil dans un enregistrement donné. Heureusement, je me suis donné la possibilité de mettre l’enregistrement en pause avec OBS, de revoir le matériel pendant une minute ou deux et de continuer. J’ai même trouvé important de faire des pauses pendant les enregistrements, pauses qui pouvaient durer d’une heure à deux heures et demie.

Un élément crucial que j’ai identifié avec les enregistrements est que l’écran peut devenir surchargé. Par exemple, afficher tout ce sur quoi je clique dans les enregistrements peut exiger un écran entier, ce qui laisse supposer que l’artiste dispose d’au moins deux écrans pour suivre les leçons des enregistrements. Pour contourner en partie ce problème, je réglais ma résolution à un niveau inférieur pendant les enregistrements, pour que le texte et les boutons à l’écran soient plus grands. Cela permet aux résolutions inférieures de la vidéo de distinguer l’emplacement du texte et son contenu. Cependant, pour contourner tout à fait le problème, j’ai passé un certain temps à créer des ressources écrites (en anglais uniquement) basées sur les ressources enregistrées. Heureusement, la subvention m’a donné le temps d’effectuer ce travail. Par exemple, si dans un enregistrement je disais « click on the window button, and choose the Package Manager option » (cliquez sur le bouton de la fenêtre et choisissez l’option Gestionnaire de paquets), le format écrit indiquait « we’ll click on Window > Package Manager, in the top tool bar » (nous cliquerons sur Fenêtre > Gestionnaire de paquets, dans la barre d’outils supérieure). Une image extraite de la vidéo serait aussi affichée ici avec le texte, pour aider à guider. J’en suis venu à cette solution à partir de mes propres recherches, qui m’ont permis de suivre les articles et les tutoriels écrits en moins de temps et d’avoir moins d’espace à l’écran dominé par la ressource.

Réflexions sur la diffusion

Au bout d’un mois environ, toutes les ressources avaient été créées en une série complète, composée de neuf parties, et le moment était venu de les diffuser. La série était connue sous le nom « Série sur la réalité augmentée interactive autochtone », ou Indigenous Interactive Augmented Reality series (IIAR) en anglais. J’ai choisi ce nom parce que certaines des présentations offrent des conseils sur la création de ressources telles que des galeries syllabiques interactives, ou présentent des images d’artistes autochtones de prestige comme Ernest Monias, et parce que je suis moi-même membre des Premières Nations. J’ai alors réalisé à quel point mes propres canaux étaient limités. Tout d’abord, j’avais téléchargé tous les enregistrements sur YouTube et téléchargé les ressources écrites sur Dropbox. Pour conserver l’attention du public, j’ai rythmé les téléchargements de la série (une partie par jour), et j’en ai informé les gens sur mes réseaux sociaux.

En réfléchissant au projet, je constate que j’ai échoué dans cette partie. Les téléchargements et les publications sur les médias sociaux n’ont pas suffi, compte tenu du nombre de visionnements de la série. Je pense qu’il n’y a pas assez d’adeptes qui s’intéressent activement à ce sujet sur mes propres canaux. La liste de lecture elle-même n’est pas répertoriée (afin de me protéger, car il m’est arrivé par le passé d’attirer l’attention de personnes mal intentionnées sur Internet). Je pense que la prochaine étape consistera à contacter l’IM4 Media Lab (en anglais uniquement), un organisme avec lequel j’ai travaillé par le passé et qui a comme priorité d’éduquer et de promouvoir les créateur·trice·s autochtones dans le domaine de la réalité étendue (ou XR, pour Extended Reality en anglais). Cet organisme pourrait être en mesure de promouvoir la série sur ses médias sociaux et son site Web, et même d’offrir aux étudiant·e·s un espace pour suivre les ressources. Je pense qu’un organisme comme le IM4 Media Lab a jeté de meilleures bases pour une formation à la réalité augmentée, qui relève de la réalité étendue. Je pense aussi que je devrais télécharger sur un autre canal, ou déplacer les ressources conçues pour l’enseignement ailleurs, étant donné l’endroit où les vidéos se trouvent maintenant : à côté de vidéos sans rapport que je réalise depuis l’adolescence. Un point que je trouve positif : les ressources n’ont pas été victimes de dépréciation depuis leur publication, c’est-à-dire que les fonctionnalités ou les chemins n’ont pas été modifiés ou abandonnés. Elles peuvent encore s’avérer utiles si quelqu’un les suit aujourd’hui.

Je me demande si la série n’est pas intimidante par sa portée ou son exécution. À l’avenir, je pourrais tenter de créer des ressources plus rapides à regarder et à suivre, de plus petite envergure, et qui pourraient varier entre le niveau débutant et le niveau intermédiaire. Certaines des ressources créées comportent des tâches de nature assez répétitives. Je me demande si de tels facteurs ont rendu la série imposante après la première ou les deux premières parties. Je sais qu’il peut être difficile de suivre une série en neuf parties, une par jour, si chaque ressource dure entre une heure et deux heures. J’ai aussi constaté qu’un processus éducatif autoguidé peut être une proposition intimidante.

Autres ressources utiles

Expériences d'arts médiatiques interactifs avec la réalité augmentée (RA)

Considérations liées à l’accès et la planification pour les expositions de médias interactifs

À propos de cette note

• Cette note a été inspirée par les discussions qui ont eu lieu au cours des ateliers d’interConnect, particulièrement du groupe d’apprentissage collaboratif 3.2.
• Note écrite par Dallas Flett-Wapash et révisée par Eli Hirtle et l’équipe d’interConnect.
• Traduction de l’anglais vers le français par Marie-Camille Lalande. 

L’initiative interConnect a été menée par l’Alliance des arts médiatiques indépendants (AAMI). Les opinions exprimées dans cette note sont celles des auteur·trice·s et ne constituent pas des recommandations officielles de l’AAMI.