.jpg)
L’EMPREINTE DU LEARNING est notre série dédiée à l’IMPACT des formations. Dans une série d’interviews, Edko interroge Cécile Robert, pour vous aider à comprendre et mesurer l’impact de vos formations.
Cécile Robert est consultante spécialisée dans l'évaluation de la formation et des compétences. Elle a accompagné plusieurs organismes de formation et académies d'entreprises dans la mise en place de leurs dispositifs d'évaluation.
Différence entre qualité & impact, learning analytics, la complémentarité des évaluations, budgets de formation… Tous les deux mois, Edko donne la parole à Cécile pour décrypter un sujet lié à l’impact et l’évaluation des formations…
“Pourquoi et comment arbitrer entre évaluation de la satisfaction, de la qualité et des compétences ?” : aujourd’hui, place au 2ᵉ épisode dédié à l’arbitrage entre les différentes évaluations des formations.
Dans cette deuxième interview, Cécile Robert revient sur les différents objectifs 🎯, une notion fondamentale pour bien arbitrer entre les différentes évaluations et mettre en place les meilleurs processus. Notre experte vous donne aussi des conseils, sa vision et des exemples de processus d’évaluation efficaces à tester pour vos formations.
Bonne lecture !
On parle “d’évaluation de la formation” de façon floue. Qu’est-ce qu’on évalue au juste ? Pour quelle raison ?
Il existe plusieurs objets d’évaluation, du plus ou moins fréquent :
Très souvent, on évalue dans un même questionnaire la satisfaction des participants et le processus de formation, par souci d’efficacité. Dans ce cas, on évalue la perception de l’expérience de formation : qu’est-ce que moi, participant, j’ai pensé des moyens mis à ma disposition (ergonomie, interactivité s’il s’agit d’e-learning, qualité de l’animation, durée de la formation, pertinence des contenus…) et est-ce que cela m’a plu ?
L’évaluation de la satisfaction tient, quant à elle, à une ou deux questions, la satisfaction proprement dite, et de plus en plus fréquemment la recommandation (Net Promoter Score) qui tend à se substituer à la satisfaction.
On évalue aussi, dans certains cas, les connaissances des participants ou leur montée en compétences. Ces types d’évaluations peuvent se faire dans une démarche individuelle, en particulier dans le cadre d’une formation certifiante ou d’une habilitation, pour laquelle je dois m’assurer d’un niveau de connaissance minimal acquis. Mais on peut aussi le faire dans le cadre d’une évaluation de l’efficacité du processus de formation, en analysant la moyenne des réponses obtenues au test / quiz. L’évaluation des connaissances ou des compétences est spécifique à chaque contenu de formation et donc plus difficile à mettre en place, elle est donc moins souvent réalisée.
Dans une approche systémique, on peut lui préférer une évaluation de l’atteinte des objectifs pédagogiques. À nouveau, pour automatiser le recueil de données, on va interroger les participants sur leur perception de l’atteinte de chaque objectif pédagogique considéré de façon isolée, plutôt que d’aller chercher des preuves en évaluant l’acquisition de nouvelles compétences ou en mesurant les effets sur le terrain. Cette évaluation des objectifs pédagogiques (3-4 questions) est fréquemment associée à l’évaluation du processus de formation (habituellement réalisée à chaud), par souci de simplification des étapes d’évaluation, ou bien, elle peut être intégrée à une évaluation ultérieure (“à froid”) lorsque celle-ci est mise en place.
Dans certains cas, il sera aussi intéressant de mettre en place, à froid, une évaluation du transfert ou une évaluation des résultats opérationnels. Dans tous les cas, il faudra bien identifier les priorités en termes d'évaluation et de besoins. Je ne cesserai de le rappeler : trop d'évaluation tue l'évaluation. Les exemples d’évaluation de l’impact sont plus rares, l’objectif est toujours de savoir dans quelle mesure le contenu de la formation a été appliqué en situation de travail, voire, de façon encore moins fréquente, si la formation a eu un impact sur les opérations confiées aux apprenants. Dans ce dernier cas, l’impact peut être réel, mais pas forcément direct, car la formation n’est jamais le seul moyen mis en œuvre pour atteindre l’objectif (ou alors l’objectif n’est pas atteint !). Dans ce cas, les indicateurs choisis sont propres à chaque organisation. Par exemple, on peut tout à fait concevoir la mise en place d’un indicateur d’augmentation du nombre de followers ou du taux d’engagement après une formation sur la communication sur les réseaux sociaux.
Toutes ces dimensions de l’évaluation sont pertinentes, mais certainement pas pour toutes les actions de formation. L’objectif est donc de choisir avec discernement quelle dimension sera évaluée pour quel type de formation.
En matière d’évaluation, il faut savoir être frugal. Le meilleur processus d’évaluation, c’est celui qui collecte uniquement et efficacement les données dont les commanditaires et les professionnels de la formation ont besoin en optimisant le temps des parties prenantes impliquées dans le processus d’évaluation (le plus souvent, les bénéficiaires de la formation).
On considère ici la modalité d’évaluation la plus fréquente, à savoir le questionnaire en ligne envoyé aux participants. Dans ce cas, être frugal, c’est poser uniquement les questions dont on va exploiter les réponses, dans le but de favoriser la qualité des données collectées sur la quantité. Inutile donc d’évaluer une dimension qui n’est pas pertinente dans un contexte donné.
Si on ne limite pas les étapes d’évaluation et le nombre de questions posées, on s’expose à deux risques :
Il s’agit donc en tant qu’organisme de formation ou responsable formation de se poser la question de la raison de l’évaluation.
Voici un exemple qui illustre bien l’importance de mon propos : Si je suis ingénieur pédagogique, j’ai, par principe, du mal à faire l’impasse sur l’évaluation de la satisfaction et du processus de formation, parce que je suis en charge des moyens mis en œuvre. Pourtant, une évaluation des compétences peut aussi jouer un rôle pédagogique de prise de conscience dans un parcours de développement de soft skills. Celle-ci sera peut-être plus pertinente que de continuer à poser la question de la durée de la formation (dans le cadre d’une évaluation des processus, une question qui ne met généralement personne d’accord !) au bout de la trentième session organisée, alors que je sais bien qu’on ne va plus ajuster le temps alloué à cette formation.
L’apprentissage et la mise en application d’une formation sont des processus complexes, qui ne sont pas liés uniquement au suivi d’une “bonne” formation. C’est la croyance de la fameuse formation “baguette magique” (“et pourtant, il a été formé!”). Autrement dit, une bonne formation est une condition nécessaire, mais pas suffisante. Par conséquent, on peut tout à fait avoir une évaluation très positive du processus de formation et aucune mise en application, dans le cas notamment d’une formation qui ne touche pas sa cible.
Il ne faut pas confondre l’évaluation des moyens (en gros, l’expérience de formation, des processus) et l’évaluation des résultats (l’acquisition de connaissances ou de compétences des participants et l’impact sur l’activité de l’entreprise).
Par exemple, si les vendeurs d’un réseau de distribution ont modifié leurs comportements suite à une formation sur l'accueil du client, cette formation est un succès. Il y a de fortes chances cependant que la formation, même si elle répond aux exigences de qualité fixées par le cahier des charges, n'est pas le seul élément qui explique le changement d’attitude des commerciaux. L’accompagnement sur le terrain, en particulier par les managers, est certainement fortement contributif au succès de la formation. La mise en place d’un indicateur de satisfaction des clients sur l’accueil qui leur est réservé aura également toutes les chances d’augmenter la mise en pratique de la formation, car il s’agit d’un signe clair d’exigence de résultat.
Pour résumer :
Autre élément important, ne pas confondre évaluation d’un processus d’une évaluation d’un collaborateur. C’est une chose de demander, à l’issue d’une formation (en général, “à froid” quelques semaines plus tard), aux participants s’ils ont appliqué la méthode qui leur a été présentée au cours de la formation pour valider l’efficacité de la formation. C’en est une autre que d’évaluer les compétences des collaborateurs, la plupart du temps en faisant appel à leurs managers. Dans tous les cas, il faut veiller à ne pas mélanger évaluation d’un process et évaluation des compétences d’une personne d’une part pour éviter les biais d’évaluation et d’autre part pour clarifier les objectifs de chaque évaluation, qui doivent être transparents pour le bénéficiaire de la formation.
L’ingénierie d’évaluation doit toujours être conçue au même moment que l’ingénierie pédagogique, dont elle fait partie. Une méthode simple pour savoir ce qu’il faut évaluer est de se poser systématiquement la question suivante : quel est l’enjeu le plus important de cette formation ? Qu’est-ce qui me permettra, moi organisme de formation ou responsable de formation, de savoir si ce programme a fonctionné ou non ?
On s’apercevra au passage que les réponses à ces questions ne sont pas forcément les mêmes pour tout le monde.
Prenons quelques exemples :
Communiquer aux participants les objectifs de l’évaluation, et préciser comment seront exploités les résultats. Par exemple, si l’on procède à des tests de connaissances ou de compétences, il est judicieux dans ce cas de rappeler que ces tests sont réalisés dans un objectif d’évaluation de l’efficacité de la formation et non pas du niveau individuel des participants si tel est le cas.
Je me souviens d’un programme d’onboarding ambitieux pour les collaborateurs d’un grand groupe industriel, qui recrute plus de 10 000 personnes dans le monde chaque année. Ce parcours comprend des visites des lieux de production et/ou de vente selon les cas, des rencontres, des actions de formation traditionnelles.
L’objectif premier de ce programme d’onboarding était d’homogénéiser cette expérience des 6 premiers mois avec un tronc commun, quel que soit le pays et la fonction du collaborateur, et d’en faire le socle de son engagement dans la durée. Un autre objectif très important était de s’assurer que les nouveaux salariés étaient satisfaits, afin d’éviter des ruptures de période d’essai coûteuses pour l’employeur et de pouvoir rectifier le tir tant qu’il en est encore temps. À noter ici que l’évaluation de la formation d’onboarding était ici un prétexte pour évaluer si l’intégration dans le poste se passe comme prévu.
Une mesure de la satisfaction de chaque action de formation a donc été mise en place, simple et rapide (une seule question). De façon inhabituelle, l’anonymat pouvait être rompu avec l’accord du participant en cas de notation anormalement basse, dans le but de mener une action corrective rapide. Lors de la première année de ce programme d’onboarding, une évaluation poussée des différentes interventions et ressources (évaluation des processus de formation) proposées a également été réalisée, dans l’objectif d’identifier ce qui était le plus pertinent. Cette évaluation systématique et détaillée a ensuite été allégée, et a été remplacée par une évaluation générale (satisfaction + processus) vis-à-vis du parcours d’intégration proposé. À côté, un test de connaissance a par contre été maintenu pour une partie des collaborateurs devant justifier de l’atteinte d’un score minimum pour valider un module de formation métier.
On voit bien ici que l’évaluation est pensée en fonction des objectifs des différents composants du programme.
Dans une vision plus macro de mon offre de formation, imaginons que j’ai besoin de comparer mes différents programmes, et pour cela, qu’il me faut des indicateurs comparables.
Nous disions que nous pouvions varier les dispositifs d’évaluation selon les objectifs et selon la nature des actions de formation, c’est exact, mais en veillant toutefois à conserver un tronc commun afin de pouvoir comparer les résultats d’évaluation des programmes.
Dans les faits, il n’est pas pertinent de comparer des choux et des carottes - par exemple, une formation nouveaux managers avec une formation cyber par exemple. Ainsi, on va s’assurer de pouvoir comparer les programmes par catégorie de formations, par exemple, tous les programmes de management & leadership ou encore tous les programmes de "compliance" entre eux.
Pour cela, il faut veiller pour une même catégorie de formations à utiliser un même processus d’évaluation, ou au minimum un tronc commun de critères d’évaluation.
L’évaluation des objectifs pédagogiques peut tout à fait faire l’affaire. Les objectifs pédagogiques sont l’expression de la raison pour laquelle la formation a été proposée. Je ne vois pas de situation dans laquelle cela ne vaudrait pas la peine de contrôler l’atteinte des objectifs pédagogiques. Il s’agit sans doute de la seule chose qu’on peut systématiquement évaluer, plus que la satisfaction des apprenants. Dans ce cas, je peux comparer les programmes en fonction du degré d’atteinte des objectifs pédagogiques.
On utilise aussi très souvent le taux de satisfaction (ou le Net Promoter Score) comme indicateur d’évaluation commun, qui va servir de référence dans un but de benchmark.
Pour conclure, voici les 3 “best pratices” que je pourrais vous transmettre :
Profitez de 45 minutes d’échange et d’un diagnostic de maturité d’impact sur-mesure de vos formations avec Cécile Robert (experte en évaluation des formations et des compétences, ex - DG FORMETRIS) & l’équipe Edko.
Une occasion rare de bénéficier d’un audit gratuit et de repartir avec des actions et des outils pour mesurer et connaître l’impact de vos formations.
Edko est un logiciel sur-mesure d'évaluation pour organismes de formation, écoles et académies d’entreprise.
La gestion de la qualité (Qualiopi), le suivi de l’insertion pour France Compétences ou encore la mesure d’impact nécessitent de mettre en place des processus d'évaluation chronophages : création et diffusion d’enquêtes, analyse et traitement… La plupart des professionnels perdent un temps fou à compiler, analyser et traiter les données collectées.
Edko est le seul logiciel qui digitalise et automatise vos processus et vous permet de vous concentrer sur l’essentiel : le développement et l’amélioration continue de vos formations.
Pilotez et mesurez l’impact de vos formations simplement avec Edko.
