Interview Questions and Considerations for Digital Platforms /Questions d’entretien et éléments à tenir en compte pour les plateformes numériques

(Version française ci-dessous)

This note was created as part of interConnect, a collaborative inquiry into digital transformation. Learn more in the box at the end of the text.

Introduction

This interConnect co-learning group wants to help future digital platform projects learn from the experiences of others in order to reduce duplication of work and costs. They also hope to provide inspiration for new ideas by showcasing what has already been accomplished digitally in the arts. A starter database of existing digital projects and platforms in the arts sector has been created and can be added to by anyone. 

The group decided the best way to learn from the experiences of others would be to interview key people from relevant projects (e.g. using a platform like Zoom that allows interviews to be recorded, and/or creating a sharable survey). This process would create case studies about each project that document detailed specifics such as codebase used and costs, as well as experiential aspects such as lessons learned. 

The group members created this Praxis note to help guide anyone interested in gathering information about existing digital platform projects, as well as those interested in reflecting on their own project. The note includes sample interview questions and considerations for selecting projects and collecting data to be included in a gathering of case studies and/or a database of projects.

Interview Question Themes

The members of the group interviewed each other to test a series of interview questions that could be used by others going forward. It was determined that any combination of the following themes and questions elicits useful responses. 

Interviewers are encouraged to begin with an overall question such as: “Please tell me about the history of your project. What was the initial spark of it? What is the need that it is addressing? What stage is it at now?”

Model 

This section aims to identify high level information such as purpose, target audience and business model. 

Sample questions

• What is the purpose of your project?
• Has your project met / Is it meeting its intended purpose? Why or why not?If your purpose has been met, what is your next goal or objective for your platform?
• Has it been hard to get different stakeholders to collaborate? 
• What business/revenue and operating models is your platform utilizing? Please list the organizations/platforms you researched before selecting a model, and which tools emerged as the most useful/relevant during your research.
• Was this project funded and if so, how? What was the value of the funding?
• If the project was funded, how would you describe the quality of your relationship with the funder during the course of your project? Did they offer any support other than financial before or during the project?
• What were the development costs for the project? How did estimated costs compare to actual costs?
• What are the long and short term plans for your platform? What is its duration from conception to completion? 
• What is the plan for sustainability? 
• What defines success for your platform?
• Has a shift to digital fundamentally changed your business/operating model? Has a shift to digital changed the model that the organizations that use your platform operate on?
• Who does your platform intend to engage? Are there multiple audiences? If yes, what is the relationship and/or power dynamics between those audiences (ie. if it intends to connect funders with artists), and does your platform address this?
• Is your platform listed on this database of platforms? 
• If your platform is archived, would a database of ‘completed’ platforms be of interest?
• Please describe how your platform aligns with accessibility standards (WCAG).

Technical/technology

This section aims to document the technical specifications and details collected about each digital project featured as a case study. 

• It will list information like the programming languages and codebases used, any third-party plugins or APIs integrated, hosting and infrastructure details, and ongoing software and system costs. 
• By outlining the technological foundations and setup of each tool, this section aims to help other organizations understand different technical approaches and requirements for similar solutions. 
• It also provides a starting point for developers interested in learning from or potentially reusing open source components of the platforms.

Sample questions

• What is the code or technology you chose to implement for your platform and why did you select it? 
• Code—list all languages and libraries (ex: JavaScript, React.js, Typescript, Python).  
• List any third-party plugins used (ex: Stripe, plugins to take payment or do ticketing).
• How are you managing/reviewing data and where is it stored?  
• Are you using data flows?  
• Have you written custom "Terms of Use" contracts for users? Or if you used templates, where did you source them from?  
• How is the platform sustained? What is the business model? Membership fees, grants? Software as a service (SaaS)?  
• What services do you use? (ex. Cloudflare, Google Workspace, Amazon Web Services, Docker, IPFS) 
• What database system do you use? (ex: MySQL, PostgreSQL, CockroachDB)  
• Are you using an already existing Content Management System (CMS) or are you custom building one?
• What auto reply system are you using and is it the same as your email marketing system?  
• Was security custom built? Or what third party are you using for security? 
• What is your reporting system and where does it funnel to? What are your needs for reporting and analytics?
• What is the structure of the organization that the platform is assigned to?  

Experience/Journey

This section aims to document qualitative insights from organizations that have developed digital projects and platforms. The goal is to learn about these organizations’ experiences developing, implementing, and maintaining their tools. 

• Questions will focus on what worked well, what challenges arose, and what they might do differently if starting again. 
• Case studies will also explore why particular technical decisions were made in order to provide useful context for other arts professionals considering similar solutions. 
• By sharing both successes and lessons learned, this section aims to help others benefit from the real-world experiences of past project leaders and developers.

Sample questions

• What is one piece of advice/learning that your present self would give to your past self when you started this project?
• Is there a piece of advice around the technology specifically?
• What have been the “roses” and “thorns” of the project?  
• Did you use in-house labour or contract labour? What was your experience? What in-house labour was necessary to realize the project?  
• Do you have any suggestions on process for others undertaking this kind of project? 
• Do you have any suggestions on process specifically for developers?  
• Can you describe the most challenging part of the process?  
• If you could start again, what would you do differently?  
• What have the effects of this platform been on the day-to-day operations of your organization?
• If you could have had a platform development coach or cohort at the start of your project, how might things have been different?
• If you could have forked off a comparable platform at the start of your project to accelerate your development process / enable you to focus more on the UX/UI part of the journey, would that have been a compelling offer? Would that have helped your journey? If so, how?

Selection and Collection

The co-learning group was interested in providing information on digital platform projects to those embarking on similar projects. Although the group did not have the capacity to create a gathering of case studies within the context of interConnect, they did imagine how projects might be selected for inclusion and how data would be collected with the goal of providing maximum benefit to users who would consult such a gathering of case studies or database of projects.   

Project Selection

This section describes the co-learning group’s explorations about how a project or platform might be chosen as a case study. This section also serves to acknowledge any limitations around coverage so users are aware of what types of solutions may not be exemplified in the collection of case studies.

Goals:

• To provide transparency around the criteria used to determine which organizations and tools were most relevant and representative of the current digital landscape in the arts sector. 
• To provide details on how projects were identified, evaluated, and approved for inclusion. This will help readers understand the scope and focus of the database. 

Sample criteria:  

• Progress of project (ex. in progress, completed) 
• Willingness of those involved in the project to share information  
• Ability of interviewers get complete data collection of selected questions  
• Value of failure, even if it can't contribute technical specs  
• Who provides the data on the platform? (ex. users, curators, project owners)

Collection process

This section explores options for how to organize and manage the information gathered during these interviews. 

Goals: 

• To provide transparency around the methodology used so readers understand the process and can assess the reliability of the information presented in the case studies.
• To help set guidelines or templates for how additional projects could be added to the database over time as the collection expands.

Sample considerations:

• Which interview questions were the most useful? Which weren’t?
• What format was used to conduct the interview? (ex. video call, in-person meeting, email exchange, survey)
• When was the interview conducted (timeline)?
• How is the interview being documented? (ex. video recording stored where, survey results report)
• How will we compare/present the information in a valuable way?  
• Will this be provided to the Canada Council for the Arts?  
• Will we distribute a survey so results can be compared?  
• We will need to clearly establish how information will be used/distributed. Where will it live? In what format? What possibilities are there for wider distribution?  

About this note   

• This note was nurtured by the discussions that took place during interConnect workshops, particularly those of co-learning group 2.1. 
• Note authored by Ashlee Conery, Jenny Farkas, Amelia Marshall, Michal Seta, Edward Sharpe, Anju Singh, and Cindy Veilleux with revision support from the interConnect team.
• Translation from English to French by Marie-Camille Lalande.

The interConnect initiative was led by the Independent Media Arts Alliance (IMAA). The views expressed in this note are those of the author(s) and not official IMAA recommendations.

//////////////////////////////////////////////////

(Version française)

Cette note a été créée pendant interConnect, une enquête collaborative sur la transformation numérique. Apprenez-en davantage dans l’encadré à la fin du texte.

Introduction

Ce groupe d’apprentissage collaboratif d’interConnect souhaite aider de prochains projets de plateformes numériques à tirer parti de l’expérience des autres afin de réduire la duplication des travaux et des coûts. Il espère de plus inspirer de nouvelles idées en présentant ce qui a déjà été accompli numériquement dans le domaine des arts. Une base de données initiale des projets et plateformes numériques dans le secteur artistique a été créée et peut être complétée par n’importe qui (en anglais uniquement). 

Le groupe a décidé que la meilleure façon d’apprendre des expériences des autres serait d’interviewer les personnes clés des projets pertinents (en utilisant par exemple une plateforme comme Zoom, qui permet d’enregistrer les entretiens, ou en créant un sondage qui peut être partagé). Ce processus permettrait de créer des études de cas sur chaque projet, en documentant les détails tels que la base de code utilisée et les coûts, ainsi que les aspects pratiques de l’expérience vécue, tels que les leçons apprises. 

Les membres du groupe ont créé cette note Praxis afin de guider toute personne souhaitant recueillir des informations sur des projets de plateformes numériques existants, ainsi que toute personne souhaitant réfléchir à son propre projet. La note comprend des exemples de questions d’entretien et des éléments à tenir en compte lors de du choix de projets et la collecte des données à inclure dans un recueil d’études de cas ou une base de données de projets.

Thèmes des questions de l’entretien

Les membres du groupe se sont interrogé·e·s mutuellement afin de tester une série de questions d’entretien que d’autres pourront utiliser à l’avenir. Il a été déterminé que toute combinaison de thèmes et de questions suivants permet d’obtenir des réponses utiles. 

Les enquêteur·euse·s sont encouragé·e·s à commencer par une question générale comme « Parlez-moi de l’histoire de votre projet. Quelle a été l’étincelle de départ ? Quel est le besoin auquel il répond ? À quel stade en est-il aujourd’hui ? »

Modèle 

Cette section vise à identifier les informations de haut niveau telles que l’objectif, le public cible et le modèle d’entreprise.

Exemples de questions

• Quel est l’objectif de votre projet ?
• Votre projet a-t-il atteint ou est-il en train d’atteindre son objectif ? Pourquoi ou pourquoi pas ?
• Si l’objectif a été atteint, quel est le prochain but ou objectif de votre plateforme ?
• A-t-il été difficile de faire collaborer les différentes parties prenantes ? 
• Quels sont les modèles de gestion, de revenus et d’exploitation utilisés par votre plateforme ? Veuillez énumérer les organismes ou plateformes que vous avez étudiés avant de choisir un modèle et les outils qui se sont révélés les plus utiles ou pertinents au cours de vos recherches.
• Ce projet a-t-il été financé et, dans l’affirmative, comment ? Quelle a été la valeur du financement ?
• Si le projet a été financé, comment décririez-vous la qualité de votre relation avec l’organisme financeur au cours de votre projet ? A-t-il offert un soutien autre que financier avant ou pendant le projet ?
• Quels ont été les coûts de développement du projet ? Comment les coûts estimés se comparent-ils aux coûts réels ?
• Quels sont les projets à court et à long terme de votre plateforme ? Quelle est la durée du projet, de sa conception à son achèvement ? 
• Quel est le plan de durabilité ? 
• Qu’est-ce qui définit le succès de votre plateforme ?
• Le passage au numérique a-t-il fondamentalement modifié votre modèle d’entreprise ou d’exploitation ? Le passage au numérique a-t-il modifié le modèle de fonctionnement des organismes qui utilisent votre plateforme ?
• Qui votre plateforme a-t-elle l’intention d’impliquer ? Y a-t-il plusieurs publics ? Si oui, quelle est la relation ou la dynamique de pouvoir entre ces publics (par exemple, s’il s’agit de mettre en relation des organismes financeurs et des artistes), et votre plateforme aborde-t-elle cette question ?
• Votre plateforme est-elle répertoriée dans cette base de données de plateformes ? 
• Si votre plateforme est archivée, une base de données des plateformes « achevées » serait-elle intéressante ?
• Veuillez décrire comment votre plateforme s’aligne sur les normes d’accessibilité (WCAG).

Technique/technologie

Cette section vise à documenter les spécifications techniques et les détails recueillis sur chaque projet numérique présenté en étude de cas. 

• Elle énumère des informations telles que les langages de programmation et les bases de code utilisés, les plugiciels ou API tiers intégrés, les détails de l’hébergement et de l’infrastructure, ainsi que les coûts récurrents des logiciels et des systèmes. 
• En décrivant les fondements technologiques et la configuration de chaque outil, cette section vise à aider d’autres organismes à comprendre les différentes approches et exigences techniques lors de solutions semblables. 
• Elle constitue également un point de départ pour les développeur·euse·s qui souhaitent apprendre ou éventuellement réutiliser des composants à code source libre des plateformes.

Exemples de questions

• Quel est le code ou la technologie que vous avez choisi de mettre en œuvre pour votre plateforme et pourquoi l’avez-vous choisi ? 
• Pour les codes : dressez la liste de tous les langages et bibliothèques (ex : JavaScript, React.js, Typescript, Python).  
• Dressez la liste de tous les plugiciels tiers utilisés (ex. : Stripe, plugiciels pour prendre les paiements ou faire de la billetterie).
• Comment gérez-vous ou examinez-vous les données et où sont-elles stockées ?  
• Utilisez-vous des flux de données ?  
• Avez-vous rédigé des contrats de « conditions d’utilisation » personnalisés pour les utilisateur·trice·s ? Si vous avez utilisé des modèles, où les avez-vous trouvés ?  
• Comment la plateforme est-elle soutenue ? Quel est le modèle de gestion ? Les cotisations, les subventions ? Comme logiciel-service (SaaS en anglais) ?  
• Quels services utilisez-vous ? (ex. Cloudflare, Google Workspace, Amazon Web Services, Docker, IPFS) 
• Quel système de base de données utilisez-vous ? (ex. : MySQL, PostgreSQL, CockroachDB)  
• Utilisez-vous un système de gestion de contenu (CMS en anglais) déjà existant ou en construisez-vous un sur mesure ?
• Quel système de réponse automatique utilisez-vous et est-ce le même que votre système de marketing par courriel ?  
• La sécurité a-t-elle été développée sur mesure ? Ou quel tiers utilisez-vous pour la sécurité ? 
• Quel est votre système de production de rapports et vers où est-il dirigé ? Quels sont vos besoins en matière de rapports et d’analyses ?
• Quelle est la structure de l’organisme auquel la plateforme est affectée ?

L’expérience/le parcours

Cette section vise à documenter les observations qualitatives d’organismes qui ont mis sur pied des projets et des plateformes numériques. L’objectif est de connaître l’expérience de ces organismes en matière de développement, de mise en œuvre et de maintenance de leurs outils. 

• Les questions porteront sur ce qui a bien fonctionné, sur les difficultés rencontrées et sur ce que ces organismes feraient différemment s’ils pouvaient recommencer. 
• Les études de cas exploreront également les raisons pour lesquelles des décisions techniques précises ont été prises afin de fournir un contexte utile aux autres spécialistes des arts qui envisagent des solutions semblables. 
• Cette section cherche à permettre aux autres de profiter des expériences vécues par d’autres dirigeant·e·s de projet et développeur·euse·s.

Exemples de questions

• Quels conseils ou leçons vous donneriez-vous si vous pouviez recommencer ce projet ?
• Y a-t-il un conseil par rapport à la technologie plus précisément ?
• Quels ont été les points forts et les points faibles du projet ?  
• Avez-vous fait appel à de la main-d’œuvre interne ou à de la main-d’œuvre contractuelle ? Quelle a été votre expérience ? Quelle main-d’œuvre interne a été nécessaire pour réaliser le projet ?  
• Avez-vous des suggestions à faire à d’autres personnes qui entreprennent ce type de projet ? 
• Avez-vous des suggestions sur la procédure à suivre, en particulier pour les développeur·euse·s ?  
• Pouvez-vous décrire la partie la plus difficile du processus ?  
• Si vous pouviez recommencer, que feriez-vous différemment ?  
• Quels ont été les effets de cette plateforme sur les activités quotidiennes de votre organisme ?
• Si vous aviez pu bénéficier d’un coach ou d’une cohorte en développement de plateforme au début de votre projet, en quoi les choses auraient-elles pu être différentes ?
• Si vous aviez pu partir d’une plateforme ou d’une partie de plateforme comparable au début de votre projet pour accélérer votre processus de développement ou vous permettre de vous concentrer davantage sur la partie EU ou IU du projet, cela aurait-il été une offre convaincante ? Cela vous aurait-il aidé dans votre démarche ? Dans l’affirmative, comment ?

Sélection et collecte d’information

Le groupe d’apprentissage collaboratif souhaitait fournir des informations sur les projets de plateformes numériques aux gens qui se lançaient dans des projets semblables. Bien qu’il n’ait pas été en mesure de créer un recueil d’études de cas dans le contexte d’interConnect, il a imaginé quels critères auraient pu être utilisés pour choisir les projets et comment les données seraient collectées afin de fournir un maximum d’avantages aux gens qui consulteraient un tel recueil d’études de cas ou base de données de projets. 

Sélection des projets

Cette section décrit les explorations entreprises par le groupe d’apprentissage collaboratif sur la manière dont un projet ou une plateforme pourrait être choisi comme sujet d’étude de cas. Cette section sert également à reconnaître les limites de la couverture afin que les utilisateur·trice·s soient au courant des types de solutions qui pourraient ne pas être illustrées dans la collection d’études de cas.

Objectifs :

• Assurer la transparence autour des critères utilisés pour déterminer les organismes et les outils les plus pertinents et les plus représentatifs du paysage numérique actuel dans le secteur artistique. 
• Fournir des détails sur la manière dont les projets ont été identifiés, évalués et finalement acceptés. Cela permettra au lectorat de comprendre la portée et l’objectif de la base de données.  

Exemples de critères :  

• L’état d’avancement du projet (ex. en cours, terminé) 
• La volonté des personnes impliquées dans le projet de partager des informations  
• La capacité des enquêteur·trice·s à compléter la collecte de données sur les questions sélectionnées  
• La valeur de l’échec, même s’il ne peut pas contribuer aux spécifications techniques  
• L’identité des fournisseur·euse·s des données sur la plateforme (ex. utilisateur·trice·s, commissaires, propriétaires de projets)

Processus de collecte

Cette section présente les possibilités d’organisation et de gestion des informations recueillies au cours de ces entretiens. 

Objectifs : 

• Assurer la transparence de la méthodologie utilisée afin que le lectorat comprenne le processus et puisse évaluer la fiabilité des informations présentées dans les études de cas.
• Aider à établir des lignes directrices ou des modèles sur la manière dont les projets supplémentaires pourraient être ajoutés à la base de données à mesure que la collection s’élargit.

Exemples d’éléments à tenir en compte :

• Quelles questions d’entretien ont été les plus utiles ? Lesquelles ne l’ont pas été ?
• Quel format a été utilisé pour mener l’entretien ? (ex. appel vidéo, réunion en personne, échange de courriels, sondage)
• Quand l’entretien a-t-il eu lieu (horaire) ?
• Comment l’entretien est-il documenté ? (ex. enregistrement vidéo stocké où, rapport sur les résultats de l’enquête)
• Comment allons-nous comparer ou présenter les informations d’une manière utile ?  
• Ces informations seront-elles communiquées au Conseil des arts du Canada ?  
• Distribuerons-nous un sondage pour que les résultats puissent être comparés ?  
• Nous devrons déclarer clairement comment les informations seront utilisées ou distribuées. Où seront-elles conservées ? Dans quel format ? Quelles sont les possibilités de diffusion plus large ? 

À propos de cette note

• Cette note a été inspirée par les discussions qui ont eu lieu au cours des ateliers d’interConnect, particulièrement du groupe d’apprentissage collaboratif 2.1.
• Note écrite par Ashlee Conery, Jenny Farkas, Amelia Marshall, Michal Seta, Edward Sharpe, Anju Singh et Cindy Veilleux et révisée par l’équipe d’interConnect.
• Traduction de l’anglais vers le français par Marie-Camille Lalande.

L'initiative interConnect a été menée par l'Alliance des arts médiatiques indépendants (AAMI). Les opinions exprimées dans cette note sont celles des auteur·trice·s et ne constituent pas des recommandations officielles de l'AAMI.