2.2.5.6. Une évaluation au service de l’évolution | Mémoire sur les communautés de pratique / cadre théorique

ℹ️ Contexte 
Cette note fait partie du carnet "La communauté de pratique comme stratégie de transfert de connaissances dans le champ de l’innovation sociale", un mémoire qui propose un regard critique sur le déploiement de la démarche Passerelles 1 (2018-2022) et qui vise à identifier les conditions de succès et les facteurs à considérer pour ce type particulier de communautés de pratique (CdP).
Table des matières | Résumé | Références

Les CdP sont évolutives et demandent des adaptations fréquentes. Poser un regard critique sur l’état du groupe, sur son fonctionnement, sur ses dynamiques d’apprentissage ainsi que sur ses effets dans la pratique et dans les milieux s’avère un processus essentiel à la vitalité des CdP (Association québécoise des CPE, 2008 ; Bourhis et Tremblay, 2004 ; Cappe, Chanal et Rommeveaux, 2010 ; CEFRIO, 2005 ; Demers et Tremblay, 2020 ; Dubé, 2004 ; Hartner, 2012 ; Hartner, 2012 ; McDermott, 2007 ; OEDC, 2013 ; Paré et Francoeur, 2020 ; Tremblay, 2006 ; Wenger, 2005 ; Wenger, McDermott et Snyder, 2002).

Pertinence

Paré et Francoeur (2020) conseillent de sensibiliser les participant·es à la pertinence d’un processus d’évaluation. Selon eux, « il s’agit d’inculquer une culture qui favorise l’évaluation et la critique » (p. 15).

Outre la volonté d’améliorer les processus au sein de la CdP, l’évaluation peut aider à dévoiler les effets des activités de la communauté, une valeur qui n’est souvent que partiellement visible (CEFRIO, 2005 ; Parot, 2004). Ceci peut contribuer à la reconnaissance par les membres de l’importance de la CdP et donc avoir une influence positive sur leur engagement.

Cappe, Chanal et Rommeveaux (2010) observent que la reconnaissance de l’existence de la CdP par l’organisation d’attache est également un enjeu qui préoccupe les membres : « on note un besoin chez eux d’intensifier les résultats visibles et concrets au sein de chaque communauté comme si la légitimité des CoP était en question » (p. 27).

Pour le CEFRIO (2005), l’évaluation représente une manière pour les membres d’une CdP « de s’exprimer dans le langage des organisations » (p. 14), d’acquérir une plus grande légitimité et ainsi de demander un appui et des ressources. Selon l’organisation, une démarche d’évaluation crée un moment propice pour prendre un recul sur les activités et de réfléchir aux manières de bonifier le fonctionnement de la communauté, alors que l’autocritique est difficile à mettre en place à travers les activités habituelles.

Difficultés

L’évaluation constitue cependant une tâche difficile à accomplir. Selon Tremblay (2006), cela est notamment lié au fait que les CdP représentent des réalités complexes à étudier et parfois difficilement accessibles.

Puisqu’il n’existe pas de consensus scientifique concernant la définition du succès d’une CdP, il est difficile d’identifier des indicateurs pertinents pour évaluer leurs effets. Bourhis et Tremblay rapportent que pour plusieurs auteurs·trices, « une communauté de pratique a du succès lorsqu’elle atteint les objectifs qu’elle s’était fixés elle-même, quels qu’ils soient » (p. 26).

Pour le CEFRIO (2005), la valeur produite par les CdP « est de longue durée, intangible, et difficile à saisir quantitativement » (p. 14). L’organisation ajoute que « ce qui est le plus facile à mesurer n’est pas nécessairement ce qui a le plus d’impact » (p. 97).

McDermott (2007) précise qu’il est difficile d’attribuer de la valeur au travail des CdP, puisque ce travail est en bonne partie invisible. C’est le cas par exemple du réseautage. Les retombées sont cependant bien réelles, selon Wenger, McDermott et Snyder (2002), surtout lorsque l’engagement des participant·es est volontaire. Ces retombées sont particulièrement difficiles à identifier au début de l’existence du groupe. En effet, plus le bagage commun de connaissances devient important, plus les effets deviennent concrets et mesurables.

Une des difficultés est de définir avec précision les effets découlant directement ou indirectement des activités de la CdP évaluée, avancent Demers et Tremblay (2020). Comment savoir, par exemple, « si une grande idée, apparue lors de la réunion d’un tel groupe, n’aurait pas de toute façon fait surface, quel que soit le contexte ? » (p. 19).

Cappe, Chanal et Rommeveaux (2010) partagent un cas qui illustre bien cette situation : quand on demande aux participant·es d’une CdP ce que celle-ci a amené comme transformation dans leur pratique, les deux tiers répondent que cela n’a rien changé. « Cependant, l’observation de leur activité sur l’année montre que plusieurs problèmes techniques ont été résolus par la collaboration d’experts qui n’avaient jamais travaillé ensemble » avant l’existence de la CdP (p. 24).

Rassembler les ressources nécessaires pour mener une évaluation constitue un défi supplémentaire. L’évaluation exige de prendre du temps, rappelle le CEFRIO (2005), alors que le temps est généralement une denrée rare pour les CdP. Ces processus demandent également des expertises, des budgets et un accès aux données.

Le CEFRIO (2005) fait par ailleurs remarquer qu’il est pertinent de distinguer trois niveaux des effets :

• le niveau de participant·es (apprentissage, changements dans la pratique),
• le niveau de communauté (fonctionnement, atteinte des objectifs, effets sur le groupe),
• le niveau de l’organisation (valeur pour l’organisation, transformation des dynamiques entre employé·es, effets sur les activités de l’organisation).

Ces trois niveaux d’effets sont complémentaires et s’influencent mutuellement. Par exemple, l’appréciation par les participant·es de leur propre expérience peut avoir un effet positif sur leur perception de la CdP, selon Dubé (2004) : « nous croyons que plus sont élevées les perceptions d’un individu quant à son niveau de collaboration, à son sens de la communauté et à son engagement, plus sa perception du succès de la CoP sera grande » (p. 22).

Effets pour les individus

En ce qui concerne les effets à l’échelle des individus, Hartner (2012) propose d’évaluer :

• l’acquisition de connaissances,
• et le développement des compétences.

Tremblay (2005) remarque cependant un certain paradoxe dans les cas qu’elle a pu observer : même si l’apprentissage est considéré par le groupe comme atteint, à l’échelle individuelle, « les évaluations que les participant·es font de leurs apprentissages professionnels et personnels sont plutôt neutres » (p. 705). Cette impression est peut-être liée aux difficultés évoquées plus haut de rendre visibles les effets attribuables aux activités de la CdP.

Wenger (2005) suggère que « lorsque nous croyons n’avoir rien appris, nous avons, en réalité, saisi autre chose » (p. 6). Quoi qu’il en soit, l’évaluation des retombées personnelles des activités d’une CdP peut être complexe à réaliser et demande de porter le regard sur des aspects précis. Le CEFRIO (2005), inspiré de Millen, Fontaine et Muller, propose par exemple de porter une attention sur des effets complémentaires à l’apprentissage :

• l’augmentation de la réputation professionnelle des membres,
• le niveau de compréhension du travail des autres employé·es,
• le niveau de confiance (en soi ainsi qu’en ses compétences),
• la propension à travailler en collaboration.

Certains effets sont plus facilement observables que d’autres, estiment Cappe, Chanal et Rommeveaux (2010). Ils mentionnent par exemple :

• le décloisonnement,
• le fait de contrer l’isolement,
• l’amélioration de la compréhension de l’environnement,
• et une meilleure connaissance des autres membres et de leurs compétences.

Effets pour la communauté

Concernant l’évaluation de la CdP elle-même, Paré et Francoeur (2020) estiment qu’il faut identifier la valeur ajoutée de son existence, notamment en ce qui concerne la gestion des connaissances. Ceci implique de prendre en considération tous les acteur·trices concerné·es.

Hartner (2012) suggère d’observer :

• que les activités reflètent réellement les objectifs prévus,
• que le niveau d’accessibilité de la communauté est adéquat,
• et que le partage de connaissances est de qualité.

Bourhis et Tremblay (2004) proposent d’observer :

• la santé du groupe, soit la vitalité des échanges (effervescence, intensité des activités et des interactions),
• la satisfaction des membres (quant à la participation ainsi qu’au partage et à l’utilisation des connaissances),
• la croissance du groupe,
• les arrivées et les départs,
• et le niveau de participation aux activités (autant les réunions que les échanges informels).

Cette santé de la CdP s’évalue à travers l’observation des échanges, estime Wenger (2005), qui « reflètent une certaine perspective sur le monde » (p. 139). Il recommande par exemple d’observer ces éléments :

• les relations soutenues, qu’elles soient harmonieuses ou conflictuelles,
• la manière de travailler ensemble,
• la vitesse à laquelle les problèmes sont définis,
• la rapidité de circulation des informations et des innovations,
• l’absence de préambules (comme si les interactions faisaient partie d’un long processus continu),
• la capacité à déterminer la pertinence des idées,
• les coutumes,
• le langage,
• les styles,
• et les discours partagés.

De manière plus générale, Wenger, McDermott et Snyder (2002) estiment que le rythme constitue un excellent indicateur transversal de la vitalité du groupe.

Effets pour les organisations

En ce qui concerne les effets sur l’organisation d’attache, lorsque cela s’applique, Paré et Francoeur (2020) font remarquer qu’il est possible de les évaluer selon deux angles distincts :

• selon une logique ascendante, soit l’identification des transformations issues de la CdP,
• ou selon une logique descendante, en fonction des orientations stratégiques de l’entreprise.

Pour Paré et Francoeur, dans le cas des entreprises, les effets sont possibles :

• à court terme, liés à l’augmentation des résultats,
• et à long terme, concernant le développement des capacités de l’organisation ainsi que la consolidation du développement professionnel.

L’Association québécoise des CPE (2008) propose d’évaluer les changements dans :

• la manière de résoudre des problèmes,
• les nouvelles pratiques mises en place,
• la formalisation des pratiques existantes,
• les améliorations dans la culture de collaboration,
• et l’évolution générale des connaissances.

Pour le CEFRIO (2005), les effets à observer peuvent concerner :

• la qualité de la communication,
• la qualité de la collaboration entre les employé·es,
• la capacité d’innovation,
• et le temps gagné.

L’analyse peut également se faire selon l’angle de l’apprentissage organisationnel. Cappe, Chanal et Rommeveaux (2010) illustrent ce type d’apprentissage en s’appuyant sur un cas étudié : les connaissances issues d’une CdP, permettant notamment de tracer un meilleur portrait d’une situation donnée, ont pu alimenter la réflexion stratégique de l’organisation, ce qui a mené à des transformations des règles et processus internes.

Outils

L’Observatoire estrien du développement des communautés (2013), s’inspirant de Fontaine et Millen, identifie trois méthodes d’évaluation des effets d’une CdP :

• le sondage basé sur l’auto-évaluation (concernant les impacts individuels, collectifs et organisationnels),
• la sollicitation d’anecdotes pertinentes (récits où les membres ont bénéficié du soutien de la communauté ou des apprentissages réalisés),
• et la comparaison du temps consacré à différentes activités (en ce qui concerne par exemple la recherche d’informations ou le traitement de données et le temps que cela permet de libérer pour d’autres tâches).

Demers et Tremblay (2020) proposent de porter attention à ce que pensent et racontent les membres : « on y trouvera quelques éclairages sur les relations complexes entre activités, connaissances et performance » (p. 19).

Paré et Francoeur (2020), inspirés par Adam et Freeman, proposent d’effectuer une « cueillette systématique de preuves anecdotiques » de quatre types :

• l’accès aux connaissances et aux outils,
• la génération de nouvelles connaissances (qui est le principal but d’une CdP selon ces auteurs),
• l’encadrement (embeding en anglais, soit la production d’artéfacts témoignant des activités),
• et le transfert (la diffusion, l’appropriation et l’application des connaissances).

Ceci permet de porter un regard quantitatif et qualitatif sur les savoirs générés par la CdP, alors qu’un regard strictement quantitatif serait insuffisant. 

Wenger, McDermott et Snyder (2002) croient eux aussi en la valeur des anecdotes, et évoquent cet exemple : « When someone shares an insight, they often don’t know how useful it was until the recipient reports how the idea was applied ». D’autres fois, les participant·es deviennent des relais de connaissances qui seront utilisées par d’autres.

Les anecdotes peuvent décrire à la fois le problème initial, ce qui arriverait sans l’intervention CdP, ainsi que les moyens utilisés pour régler le problème. Cependant, ajoutent Wenger, McDermott et Snyder (2002), identifier l’effet d’une idée partagée demande du temps et de l’attention.

Pour cette raison, ils proposent de ne pas déterminer de manière trop précise les indicateurs et les outils d’évaluation dès le début de l’existence du groupe et de laisser la CdP découvrir son propre potentiel.

Notons finalement que l’Association québécoise des CPE (2008) propose d’utiliser une grille d’auto-évaluation de l’animation (p. 21), alors que le CEFRIO (2005) propose un canevas de sondage individuel pour évaluer l’appréciation des participant·es (p. 98).

Analyse des résultats

Puisque chaque CdP est unique, Parot (2004) croit qu’il est important de les analyser en fonction de certains critères qui leur sont propres. Elle propose de prendre en considération le type de CdP, le stade de maturité ainsi que « l’écosystème » développé pour atteindre les objectifs ciblés.

C’est également ce que proposent Dubé, Bourhis et Jacob (2006) qui estiment que l’évaluation d’une CdP devrait s’effectuer à la lumière des 21 caractéristiques structurelles citées plus haut.

Le CEFRIO (2005) note l’importance de considérer également le contexte de la pratique elle-même. Dans une entreprise manufacturière, par exemple, l’identification des processus est possiblement plus facile, ceux-ci étant plus tangibles :

« dans un modèle où l’on doit se démarquer par de meilleures idées, par une vision plus fine de la réalité ou par un service original, il est plus difficile d’évaluer, par exemple, l’impact d’une formation, les bénéfices d’une structure organisationnelle sur une autre ou, dans le cas qui nous occupe, la valeur tangible d’une communauté de pratique. » (p. 30) 

Suite : 3.0. Méthodologie | Mémoire sur les communautés de pratique