Suivi et évaluation

Co-évaluer

Dans la présente section, vous découvrirez l’importance du suivi et de l’ajustement des efforts de mobilisation grâce à l’évaluation. Cet exercice vous permettra de découvrir ce qui fonctionne et ce qui doit être amélioré. L’évaluation continue vous fournit l’information nécessaire pour améliorer continuellement vos activités et vos relations avec les jeunes.

Une étape importante dans la mobilisation des jeunes est d’entreprendre un suivi et une évaluation des programmes et des services avec les jeunes. Il s’agit de recueillir des renseignements sur ce qui fonctionne et ce qui ne fonctionne pas, d’utiliser ces renseignements pour faire évoluer votre organisme et de partager vos résultats avec les autres. Mobiliser les jeunes en tant que co-évaluateurs renforce le processus d’évaluation et, ainsi, est avantageux pour les jeunes, les organismes et les systèmes.

Co-élaboration d’un cadre d’évaluation

L’évaluation implique de recueillir et analyser systématiquement des renseignements afin de comprendre si les objectifs établis au départ ont été respectés et dans quelle mesure ils ont été atteints (ou pas). Les résultats de l’évaluation peuvent nous indiquer s’il faut maintenir le cap ou s’il vaudrait mieux changer de voie, toujours en maintenant le but d’améliorer les programmes. L’évaluation est un moyen de déterminer si les interventions font une réelle différence au niveau des jeunes, des adultes, des organismes et des communautés et, le cas échéant, de déterminer la nature de cet impact. Pour une ressource complète sur la façon de planifier, d’effectuer et d’utiliser une évaluation, consultez la trousse d’outils sur l’évaluation de programmes du Centre.

Étapes générales pour co-évaluer avec les jeunes

Les étapes de l’évaluation ne sont pas figées dans le béton et elles peuvent fréquemment se recouper. Ces étapes se produisent souvent par cycles à mesure que de nouvelles questions d’évaluation se posent et que de nouveaux éléments à évaluer deviennent évidents.

1re étape : Réunir une équipe

Tout d’abord, il faut identifier tous les membres qui participeront à l’évaluation, y compris les jeunes, les leaders et les autres parties prenantes qui seront touchés par les résultats. Il faudra déterminer quelles compétences et perspectives seront nécessaires durant l’évaluation et s’assurer que tous les points de vue soient représentés. Dès que l’équipe d’évaluation est formée, les membres doivent apprendre à se connaître. Pour ce faire, on suggère d’utiliser l’une des activités brise-glace proposées dans la section portant sur les activités.

Rôles des jeunes dans l’évaluation :

Il est toujours possible de rehausser le niveau et l’authenticité des rôles que jouent les jeunes dans l’évaluation. En progressant dans le continuum vers les niveaux de mobilisation plus élevés, les rôles des jeunes évoluent vers des niveaux décisionnels et de leadership plus importants. Il convient de distinguer entre les activités d’évaluation défavorables à la mobilisation, soit celles qui relèguent les jeunes à des rôles passifs, et les activités favorables qui les amènent plutôt à participer à l’élaboration et à la mise en œuvre de l’évaluation.

 

 

Rôles d'évaluation défavorables à la mobilisation

Degrés des rôles d’évaluation favorables à la mobilisation

 

Les jeunes comme sujets

Les jeunes comme conseillers

Les jeunes comme partenaires

Les jeunes comme directeurs 

Buts de la participation des jeunes

Acquérir des connaissances sur les jeunes

Créer un processus qui est plus convivial pour les jeunes

Développer des compétences propres aux jeunes et intégrer le point de vue des jeunes

Valoriser les jeunes et créer un changement communautaire

Définir les questions

Les adultes définissent les questions

Les adultes définissent les questions

Ce sont souvent les adultes qui définissent les questions en tenant compte ou pas des commentaires des jeunes

Ce sont les jeunes qui définissent les questions en tenant compte ou pas des commentaires des adultes

Créer les instruments

Les adultes trouvent/créent des instruments

Les adultes demandent les commentaires des jeunes au sujet de leurs instruments

Les adultes et les jeunes peuvent créent ensemble des instruments

Les jeunes créent des instruments en tenant compte ou pas des commentaires des adultes

Recueillir des renseignements

Les adultes recueillent des renseignements

Les adultes recueillent des renseignements

Les jeunes peuvent aider les adultes à recueillir des renseignements

Les jeunes  recueillent des renseignements et les adultes peuvent les aider

Analyser l’information et élaborer le rapport définitif

Les adultes analysent l’information et rédigent le rapport final

Les adultes analysent l’information et dirigent la rédaction du rapport final

Les adultes prennent l’initiative dans l’analyse et la rédaction, les jeunes peuvent les aider

Les jeunes prennent l’initiative dans l’analyse et la rédaction, les adultes peuvent les aider

Diffuser les résultats

Les adultes s’occupent de diffuser les résultats, surtout aux communautés de professionnels 

Les adultes s’occupent de diffuser les résultats, surtout aux communautés de professionnels, en tenant compte ou pas des commentaires des jeunes 

Les adultes prennent l’initiative dans la diffusion, les jeunes peuvent les aider

Les jeunes prennent l’initiative dans la diffusion, les adultes peuvent les aider Les résultats peuvent déclencher la mobilisation d’autres jeunes ou créer des changements au sein de la communauté

Rôles des jeunes

Les jeunes sont les sujets d’étude

Les jeunes jouent le rôle de conseiller à une fréquence limitée 

Les jeunes aident les adultes dans des rôles visant notamment la collecte de renseignements, la rédaction et la diffusion des résultats

Les jeunes prennent l’initiative dans toutes les étapes du processus. Les adultes peuvent ou non aider

Rôles des adultes

Les adultes prennent l’initiative dans toutes les étapes du processus.

Les adultes jouent la plupart des rôles clés

Les adultes lancent et mettent en œuvre le processus, mais sollicitent l'aide des jeunes 

Les adultes peuvent ou non joueur des rôles d’appui, mais la prise de décisions revient aux jeunes

Adapté de l’évaluation de ChecCheckoway & Richards-Schuster’s sur les jeunes qui participant à l'évaluation de la collectivité 1

 

Rôles des alliés adultes dans l’évaluation :

Lorsque les jeunes et les adultes collaborent dans le cadre d’une évaluation, les rôles des adultes sont souvent bien précis et peuvent être assez différents des rôles qu’ils jouent dans d’autres contextes. Les rôles des alliés adultes incluent :

  • recruter des jeunes;
  • encadrer les jeunes. Bâtir des relations, favoriser la création d’espaces plus sécuritaires et exposer les jeunes à de nouvelles opportunités. Il est bénéfique de désigner un allié qui peut rencontrer les jeunes au préalable et les encadrer tout au long de l’initiative d’évaluation;
  • fournir des renseignements généraux sur l’organisme et sur les objectifs de l’initiative d’évaluation;
  • établir des paramètres utiles concernant l’initiative d’évaluation et sa portée, et les communiquer (p. ex. la durée de l’engagement, les rôles et les attentes, etc.);
  • obtenir l’adhésion : encouragez et soutenez les jeunes à jouer un rôle actif dans l’évaluation des programmes et des services conçus à leur intention;
  • assurer une formation en matière d’évaluation. Beaucoup de jeunes n’ont jamais fait d’évaluation. Il est important de leur offrir des façons de développer et renforcer leurs compétences, afin que tous les membres de l’équipe puissent contribuer de façon importante;
  • réseauter avec d’autres tout au long du processus d’évaluation et établir des liens avec le contexte plus large;
  • soutenir les améliorations apportées au programme;
  • préparer les jeunes à la lenteur du processus et aux éventuels défis du changement social.

 

2e étape : Établir un but commun

Il faut prévoir du temps pour co-établir les objectifs clés de l’équipe en matière d’évaluation. En tant que groupe, il faut déterminer ce que vous voulez apprendre au sujet du programme au moyen de l’évaluation. Il est important que, tout au long de ce processus, le groupe vérifie les hypothèses pour s’assurer que tous les membres ont une compréhension commune des termes utilisés et de leurs conséquences. Le but, les valeurs et les principes communs sont des points de référence pour l’ensemble de l’évaluation. Le groupe peut y revenir à des moments critiques tout au long du processus. Il est possible d’établir un but commun en élaborant des termes de référence pour le groupe et en élaborant conjointement un plan de travail.

3e étape : Cerner la théorie du changement

L’évaluation est plus solide si elle est fondée sur la théorie de votre programme (c.-à-d. pourquoi et comment certaines activités entraîneront le ou les changements souhaités, compte tenu des données probantes obtenues dans le cadre de la recherche, ainsi qu’auprès des praticiens et des clients).

La théorie du changement peut être simple ou détaillée selon la nature du programme, les préférences des parties prenantes et les plans pour son utilisation. Il y a différentes façons d’élaborer une théorie du changement, mais la principale étape consiste à déterminer les hypothèses sous-jacentes dans l’enchaînement « si x se produit, alors y se produira ». Cette approche fonctionne bien à l’étape d’élaboration du programme. Avec un programme existant, il peut être plus simple de commencer à élaborer un modèle logique qui catégorise les principales activités et les résultats escomptés du programme (voir ci-dessous). On peut alors énoncer les hypothèses sous-jacentes pour les liens entre les activités et les résultats (p. ex. comment sait-on que si x se produit, alors y se produira?).

Il est important de souligner qu’il est difficile de déterminer si un programme donne ou non certains résultats, car un certain nombre de facteurs peuvent influencer l’obtention de résultats différents. Afin de pouvoir affirmer avec confiance qu’un programme x produit le résultat y, il faudrait mettre en place différents contrôles grâce à une conception expérimentale ou quasi expérimentale. Toutefois, ces options de conception sont rarement faisables et parfois peu appropriées dans un contexte réel. Par conséquent, nos théories du changement sont élaborées en fonction des meilleures données émanant de la recherche.

L’analyse de la contribution est une approche relativement nouvelle qui ne vise pas à déterminer les causes des résultats différents, mais qui fournit des renseignements sur la contribution unique d’un programme et ses composantes à produire les résultats escomptés. En d’autres termes, même si un programme de mobilisation des jeunes peut contribuer, dans une certaine mesure, à des résultats en matière de santé mentale, il est peu probable que ce soit le seul facteur qui influe sur l’état d’un jeune. L’analyse de la contribution peut nous aider à comprendre la mesure dans laquelle le programme a contribué à produire un résultat particulier et aussi à comprendre quels autres facteurs jouent également un rôle important.

Voici les étapes fondamentales de l’analyse de la contribution :

  • l’élaboration de la théorie du changement du programme;
  • la détermination des autres facteurs contributifs;
  • la détermination des principales menaces (c.-à-d. les autres explications) aux mécanismes de changement;
  • l’essai des explications contradictoires.

4e étape : Élaborer un modèle logique

Une fois l’équipe réunie, il est temps de définir les objectifs du programme et les activités à entreprendre pour les atteindre. Il faut alors élaborer le modèle logique du programme. Un modèle logique est un diagramme visuel qui illustre les liens entre les différentes composantes d’un programme et les résultats visés par sa réalisation. Il s’agit de la base sur laquelle les questions d’évaluation s’appuieront. Le modèle logique n’est pas statique – il peut et il doit évoluer avec le temps à mesure que votre programme se transforme et change pour répondre aux besoins des utilisateurs du service. Pour connaître les étapes de création du modèle logique, veuillez consulter la trousse d’évaluation d’un programme du Centre.

Cliquez sur le lien pour accéder à un exemple de modèle logique de groupe consultatif de jeunes.

une liste de ces résultats au niveau individuel, de programmes, d’organismes, de collectivités ou de systèmes, consultez la section Pourquoi est-ce important.

5e étape : Réaliser une analyse de la littérature

Dans le cadre d’une évaluation, l’analyse de la littérature peut se révéler utile de nombreuses façons et il convient de la faire le plus tôt possible. Comme nous l’avons mentionné plus haut, une analyse de la littérature peut être une source d’information importante dans l’élaboration de la théorie du changement (c.-à-d. qu’est-ce que la recherche a révélé au sujet des résultats d’un programme donné ou de certaines activités?). La littérature peut aussi être une mine de renseignements sur les méthodes d’évaluation d’autres programmes semblables (c.-à-d. quelles méthodes et mesures ont été utilisées pour évaluer le programme?). Les renseignements sur la méthodologie sont particulièrement pertinents quand vient le moment d’élaborer un cadre d’évaluation, tel que discuté plus loin.

L’analyse de la littérature est souvent une tâche du processus d’évaluation que les jeunes peuvent assumer de façon très efficace, car ils ont souvent facilement accès à une bibliothèque sur les campus des écoles secondaires, des collèges ou des universités.

Pour obtenir de plus amples renseignements sur la façon d’effectuer une analyse de la littérature, veuillez consulter le module d’apprentissage en ligne du Centre intitulé : Mener une revue de la littérature.

6e étape : Choisir des méthodes appropriées

Il existe plusieurs types d’évaluation : l’évaluation formative, l’évaluation de mise en œuvre, l’évaluation des processus, l’évaluation sommative et l’évaluation des résultats. Il peut y avoir du chevauchement dans la façon dont ces types d’évaluation sont définis et compris. Aux fins de la présente trousse d’outils, nous nous concentrerons sur deux types principaux d’évaluation: l’évaluation des processus et l’évaluation des résultats. Lors de l’évaluation de votre programme ou de votre initiative, il vous faudra réfléchir à la façon d’évaluer les processus (c.-à-d. la façon dont le programme est offert) et les résultats (c.-à-d. quels changements souhaitez-vous voir grâce à vos activités de mobilisation des jeunes?).

Dans le cadre d’une évaluation de processus, les questions posées permettent de déterminer comment le programme ou l’initiative se déroule. L’accent est mis sur la description du programme ou de l’initiative, du contexte et de la manière dont les différentes composantes du programme ou de l’initiative fonctionnent ensemble. Ce type d’évaluation est souvent effectué au début de la mise en œuvre du programme ou de l’initiative. Toutefois, il demeure utile de poser des questions liées au processus au fil du temps, car cela permet d’adapter et de renforcer la prestation des services de façon continue. Les questions reliées à l’évaluation des processus permettent de déterminer dans quelle mesure un programme ou une initiative est fidèle au plan de mise en œuvre et comment il faut modifier l’exécution du programme afin d’améliorer l’accès et la participation de la population cible. En d’autres termes, l’évaluation des processus vous indique ce qui fonctionne bien et les éléments qu’il faut modifier ou améliorer.

Une évaluation des résultats décrit les effets (ou les résultats) d’un programme ou d’une initiative sur la population cible. On tend à faire ce type d’évaluation à un moment clé dans la vie de l’initiative, lorsque les résultats sont plus susceptibles de se manifester et d’être mesurables. Il faut que les questions d’évaluation soient représentatives des résultats déterminés dans le modèle logique. Il est aussi possible de poser d’autres questions au sujet des résultats qui présentent un intérêt pour l’ensemble des parties intéressées. Mesurer les résultats peut devenir une tâche complexe et fastidieuse. Pour cette raison, il est important de se concentrer sur les résultats clés qui sont surtout d’intérêt pour les parties intéressées en planifiant une telle évaluation. Le temps et les ressources seront ainsi consacrés aux éléments les plus importants. Dans la planification des questions, il convient de cibler un mélange de processus et de résultats. Cela permet d’avoir un portrait global des points forts de l’initiative, ainsi que des aspects où il y a lieu d’apporter des améliorations.

Peu importe que vous intéressiez à évaluer les processus ou les résultats, l’approche choisie est critique. Elle déterminera comment les questions seront formulées, quels outils vous planifiez utiliser, comment vous procéderez pour faire l’analyse et comment vous communiquerez les conclusions. Une évaluation de développement est l’idéal dans des situations ou l’initiative est en période d’innovation et d’apprentissage dans un environnement complexe, et lorsqu’il y a de l’incertitude au sujet de la meilleure façon d’atteindre les objectifs espérés. Dans l’évaluation de développement, il y a lieu de recueillir des renseignements en temps réel pour éclairer la prise de décisions et l’adaptation de façon continue.

En règle générale, l’évaluation de développement peut servir à cinq fins principales :

  • le développement continu : l’adaptation d’un programme à des conditions qui évoluent;
  • le développement sur mesure : l’adaptation d’un programme à un contexte particulier;
  • l’intervention rapide : l’adaptation rapide d’un programme en situation de crise;
  • le développement performatif : la préparation d’un programme prometteur en vue du cycle traditionnel d’évaluations formative et sommative;
  • les changements apportés aux systèmes : l’apport de rétroaction sur des changements majeurs apportés aux systèmes.

Pour de plus amples renseignements sur l’évaluation de développement, veuillez consulter le module d’apprentissage en ligne du Centre : Évaluation de développement.

7e étape : Élaborer un cadre d’évaluation

Un cadre d’évaluation est un document qui énonce les questions que vous aimeriez poser dans votre évaluation et la manière dont vous allez procéder pour obtenir des réponses. Les questions peuvent viser les processus du programme, mais également les résultats déterminés dans le modèle logique. Le cadre de développement peut aussi comprendre des renseignements sur les indicateurs, les méthodes, les mesures et la collecte de données (p. ex. par qui et quand).

Définir les questions d’évaluation

Bien des organismes de santé mentale œuvrant auprès des enfants et des adolescents tentent de s’assurer que les jeunes sont engagés de façon importante dans la création des programmes qu’ils offrent, mais ils oublient parfois de les inclure dans leur évaluation. Il faut s’assurer de mobiliser les jeunes dans la définition des questions qui portent sur les éléments qui fonctionnent bien et sur ceux qui ont besoin d’amélioration. Il est important de passer en revue le but partagé de l’évaluation (déterminé à la 2e étape) afin de ne pas trop s’éloigner de l’intention initiale de l’évaluation. Les questions (surtout celles qui traitent des résultats) devraient s’aligner directement sur les éléments du modèle logique.

Chaque fois que vous préparez des questions d’évaluation, posez les questions suivantes :

  • Quelles connaissances possédez-vous déjà?
  • Quelles sont les connaissances que vous devez acquérir?
  • Quelles sont les connaissances que vous aimeriez acquérir?
  • Que ferez-vous avec votre savoir?

 

Sélectionner des indicateurs et des mesures

Un indicateur est un élément qui démontre qu’un certain changement s’est produit. Examinons la question d’évaluation, « Les jeunes qui vont à une clinique sans rendez-vous ont-ils plus d’espoir après une rencontre avec un conseiller? ». L’indicateur définira comment mesurer la réponse à cette question (p. ex. le nombre de jeunes qui affirment avoir plus d’espoir tout de suite après la rencontre dans le questionnaire portant sur le service sans rendez-vous).

Pour une liste d’indicateurs de processus s’appliquant à la mobilisation des jeunes, veuillez consulter ce site.

Bien que les mesures soient parfois définies au sein même d’un organisme, il existe de nombreuses mesures normalisées que l’on peut exploiter pour toute une gamme de résultats touchant la santé mentale des enfants et des adolescents. L’avantage d’avoir recours à une mesure normalisée est que sa fiabilité et sa validité ont été établies, ce qui permet de généraliser les données et de les appliquer à votre base de clientèle élargie. La base de données sur les mesures du Centre est un répertoire en ligne en plein essor qui dresse le profil d’outils de mesure relatifs à la santé mentale des enfants et des adolescents. On peut accéder gratuitement à ces outils en ligne à partir du site Web du Centre.

Nous avons compilé une liste de mesures qui s’appliquent particulièrement à la mobilisation des jeunes.

Sélectionner les méthodes appropriées

La sélection des méthodes que vous utiliserez dans l’évaluation dépendra de ce que vous souhaitez mesurer, de l’objet de l’évaluation, des ressources disponibles, et d’autres facteurs uniques à la situation et à la culture de l’organisme (p. ex., le type d'exigences en matière d’élaboration de rapports prévues par votre bailleur de fonds). Que l’accent soit mis sur le processus ou sur les questions liées aux résultats, la gamme de méthodes dans laquelle vous pouvez puiser comprend des entretiens, des groupes de discussion, des questionnaires, des observations, des sondages et l’analyse de notes des cas. Dans la mesure du possible, il vaut mieux utiliser des outils de mesure normalisés afin d’augmenter la fiabilité et la validité des données ainsi que la mesure dans laquelle celles-ci peuvent être généralisées. Pour de plus amples renseignements sur la façon de sélectionner des méthodes ou mesures en vue de votre évaluation, visionnez notre  module d'apprentissage (en anglais seulement) 

 

8e étape : Déterminer les considérations en matière d’éthique

Il est important que l’équipe d’évaluation consacre du temps à s’informer sur toute politique ou ligne directrice en matière d’éthique de l’organisme. Dans certains organismes, aucune activité ne peut être entamée avant que le comité ou le conseil de révision déontologique ait analysé le plan et déterminé que ceux et celles qui participent à l’évaluation sont à l’abri de tout préjudice involontaire. Avant d’entreprendre toute évaluation, il est important d’informer (par écrit) les participants du but de l’évaluation et de leur rôle dans le processus. La lettre devrait être rédigée en des termes clairs, sans jargon, et inclure une description des droits des participants en matière de confidentialité et d’anonymat s’ils acceptent d’y participer. Il faut aussi que la lettre souligne que le refus de participer à l’évaluation (ou la décision de mettre fin à sa participation à tout moment) n’aura aucun effet sur les services qu’ils reçoivent. Regardez notre module d’apprentissage électronique intitulé Faisons preuve d’éthique! pour en apprendre davantage sur l’importance du consentement et de l’éthique dans les évaluations, ainsi que pour des compléments de lecture sur des sujets liés au consentement et à l’éthique.

9e étape : Recueillir des données

Le cadre d’évaluation comprendra des renseignements de haut niveau au sujet de la collecte de données, c.-à-d. qui s’en chargera, quand et comment. Vous trouverez ci-après des exemples précis de méthodes de recueil des données pour vous aider à démarrer. Pour vous donner une perspective plus détaillée, nous avons élaboré un module d’apprentissage qui présente les méthodes qualitatives et quantitatives de recueil et d’analyse de données.

Données qualitatives

Les données qualitatives sont utilisées pour décrire en détail la qualité des expériences des participants. Elles servent également à mieux comprendre la nature des données quantitatives, étant donné qu’elles peuvent expliquer pourquoi certains chiffres ont l’apparence qu’ils ont. Voici quelques exemples pour vous aider à démarrer :

Questionnaire à réponses libres

Les questionnaires en ligne ou sur papier composés de questions ouvertes sont ce qu'il y a de mieux pour recueillir une rétroaction détaillée par écrit. La Students Commission  a fait l’objet de tests auprès des divers jeunes et elle peut servir d’exemple d’un questionnaire qualitatif.

Groupes de discussion ou entretiens  

 

Les entretiens se déroulent en tête-à-tête (un participant par intervieweur) et offrent l’avantage de permettre à chaque utilisateur de programme de répondre en se fondant sur son point de vue personnel d’une façon entièrement indépendante des opinions des autres.

Des groupes de discussion et des entretiens sont des méthodes utilisées pour recueillir des données qualitatives lorsque les participants s’adressent à un intervieweur et qu’ils répondent à des questions sur un programme ou une initiative. Les groupes de discussion offrent l’avantage de favoriser l’interaction entre les participants, en tirant parti des réponses de tous. Ils peuvent être rentables, car ils peuvent donner un accès simultané à un plus grand nombre d’opinions dans un espace de temps relativement court.

Techniques axées sur les arts

Les techniques axées sur les arts ont recours à des activités visant à recueillir des renseignements sur un programme donné. Elles procurent de multiples façons de participer pour que les jeunes qui ont des difficultés à s’exprimer d’une certaine manière aient des options. L’art peut être un moyen très émotionnel de réflexion et éveiller des sentiments les plus profonds chez les participants. Ces techniques peuvent être utilisées de bon nombre de façons tout au long du processus d'évaluation. Par exemple, la photographie peut servir à éveiller les idées, à exprimer ce que quelqu’un ressent, à documenter des expériences ou à communiquer des résultats. Le recours à des activités théâtrales peut également constituer une méthode efficace d’examiner des questions d’évaluation dans le cadre d’un programme fondé sur le théâtre, car il permet d’interpeler les intérêts et les capacités des jeunes.

  • Dessin et collage :  Les dessins et le collage comportent la préparation de représentations visuelles des expériences liées aux programmes. 
  • Photovoix : Il s'agit d'une méthode qualitative qui engage les participants dans la collecte des données en leur demandant de photographier leur réalité quotidienne, de faire partie des discussions de groupe qui portent sur les photographies et de communiquer les résultats aux personnes qui peuvent aider à changer l’état des choses.
  • Photographie comme support d'entretien (photoelicitation) : Les photographies peuvent servir de messages-guides au moment de mener des entretiens, les photos étant des points de départ ou des outils pour évoquer des souvenirs du programme. 
  • Théâtre : La performance théâtrale comme outil d’évaluation comporte la mise en acte de scénarios et l’exploration de concepts, d’expériences, de sentiments, de rôles et de caractéristiques d'un programme ou d'une initiative. Les participants utilisent leurs corps et émotions pour créer quelque chose de nouveau et, ce faisant, ils acquièrent souvent une nouvelle compréhension de leur contexte. La performance théâtrale est particulièrement utile pour exagérer les détails qui sont importants pour l’analyse.  

 

Bilan des données qualitatives : Après chaque tour de collecte des données, rassemblez l’équipe d’évaluation pour passer en revue les données en petits groupes et en faire rapport ensuite au plus grand groupe. Voici quelques questions à des fins de discussion 2 qui aideront à lancer le débat et l'analyse :

  • Comment avez-vous trouvé cette méthode de collecte des données?
  • Y avait-il des défis à relever?
  • Qu'est-ce qui vous a le plus frappé?
  • Qu’avez-vous appris?
  • Avez-vous eu des surprises ou remarqué des tendances?

Données quantitatives

Les données quantitatives reposent à la fois sur la collecte de renseignements sur le programme et sur la mise en commun de ce que vous avez appris grâce aux chiffres. Les données quantitatives sont utiles pour donner une représentation de haut niveau du déroulement du programme, de ce qui fonctionne, et des domaines dans lesquels vous pouvez apporter des améliorations, etc. Elles ont une valeur particulièrement importante lorsqu’elles sont combinées aux données qualitatives qui offrent des connaissances plus approfondies et nuancées comme complément de cette information. Voici quelques exemples pour vous aider à démarrer :

Sondages ou questionnaires

Les sondages ou questionnaires sont des supports couramment utilisés pour recueillir des données. Les participants peuvent répondre à des sondages ou à des questionnaires de plusieurs façons : en ligne, sur papier,  avec le concours d'un membre de l'équipe d'évaluation, etc.

 

CONSEIL : Essayez la technique de représentation par graphiques humaines, comme méthode plus interactive pour extraire les résultats des sondages.

Certains logiciels accessibles en ligne (p. ex., Poll Everywhere, et Turning Point) peuvent fournir des résultats immédiats et être consultés à partir d'un téléphone cellulaire. D’autres logiciels en ligne rendent possible non seulement la collecte de données et leur compilation dans une base de données, mais également, la réalisation de certaines analyses simples (p. ex., Survey Monkey, MailChimp et Fluid Survey) qui peuvent être partagées de façon immédiate avec les participants et les évaluateurs.

10e étape : Analyser et interpréter les données

Analyse qualitative

L’analyse qualitative consiste à analyser des données qualitatives afin d’acquérir une compréhension approfondie des expériences des utilisateurs. L’équipe d’évaluation peut lire toutes les réponses et chercher les tendances qui se dessinent dans plusieurs sources de données. Elle peut manipuler les données et les classer, en inscrivant des points de couleur ou des symboles dans les marges, en les surlignant ou en utilisant d’autres manières visuelles de souligner les tendances. Elle peut créer un nom ou un code pour chaque tendance. Voici quelques questions pour susciter une discussion afin de démarrer l’analyse :

  • Qu'elle est le message d'une façon générale? Est-ce positif ou négatif?
  • Qu’est-ce qui vous est surpris le plus? Pourquoi?
  • Quelles sont les réponses qui ne vous ont pas surpris? Pourquoi?
  • Quelles tendances ou thèmes se dessinent : quels mots ou enjeux ou quelles réponses reviennent toujours?
  • Comment ces tendances se lient-elles à la question globale d’évaluation?
  • Y a-t-il des détours par rapport aux tendances?
  • Les données comportaient-elles des différences qui auraient pu être attribuées à un groupe spécifique compte tenu des données démographiques?
  • Y a-t-il des citations ou de récits intéressants qui illustrent une tendance particulière? Se rapportent-ils à la question globale d’évaluation?
  • Ces tendances correspondent-elles à d’autres constatations?

L’analyse qualitative vous aide à situer le contexte de vos données. Elle peut vous aider à acquérir une compréhension approfondie de l’expérience personnelle des utilisateurs. NVivo (QSR International) est un exemple classique des programmes courants axés sur un logiciel d’analyse qualitative. Ce programme est complexe, couteux, et peut être mieux adapté à de grands ensembles de données destinés à des fins de recherche. Vous pouvez envisager d’utiliser d’autres programmes, dont bon nombre sont accessibles gratuitement, à partir des sites suivants :

Que vous utilisiez l’une de ces solutions de logiciels ou que vous décidiez d’opter pour un programme de traitement de texte afin de vous faciliter le travail d’organisation de vos données, il est important de se rappeler que ces outils ne feront pas l’analyse pour vous. Ils peuvent cependant vous aider à organiser les données en fonction de différents mots ou de thèmes clés. Une fois que les données seront ainsi organisées, l’équipe d’évaluation doit travailler en vue d'assurer l’utilité de cette information. Pour de plus amples renseignements sur la façon d’analyser les données qualitatives, jetez un coup d’œil à notre module d'apprentissage sur ce sujet (en anglais seulement).

 

Analyse quantitative

L’analyse quantitative peut être assez compliquée. Toutefois, de simples dénombrements et comparaisons peuvent révéler des renseignements utiles et sont relativement explicites. Certains des jeunes s'amusent vraiment à saisir des données et à faire des analyses quantitatives une fois qu'ils connaissent les rudiments

Étapes d’une analyse quantitative simple :

  • Énumérez tous les sondages (s’ils ne sont pas déjà énumérés selon les codes ID des utilisateurs) de sorte que vous remarquerez s'il en manque; cela vous aidera aussi à retourner plus tard à un sondage particulier au besoin.
  • Gardez-vous une copie vierge du sondage (ou plusieurs si vous le divisez en petits groupes) ou ajoutez des questions de sondage à un tableur (à moins qu’elles ne soient déjà insérées automatiquement, tel qu’il est le cas dans les sondages en ligne)
  • Idéalement, saisissez toutes les données correspondant à chaque répondant dans le tableur.
  • S’il y a lieu, divisez les données de sorte que les équipes plus petites puissent travailler sur différentes questions.
  • Une question à la fois, faites la somme du nombre de fois que les personnes ont sélectionné chaque réponse dans le tableur. Il s’agit d’une analyse de fréquence (c.-à-d. à quelle fréquence les participants choisissent une réponse particulière).
  • Dans certains cas, lorsque les questions sont notées selon une échelle numérotée, il peut être utile de calculer également la moyenne de toutes les réponses (c’est ce qu’on appelle la « moyenne »).
  • Afin de comparer les réponses des différents sous-groupes, triez les données en fonction des renseignements démographiques ou contextuels (p. ex., l’âge, la durée du temps inscrit au programme, le genre, l’ethnicité, etc.). Par exemple, si vous souhaitez vérifier si le genre a une influence sur les réponses, insérez des colonnes distinctes (p. ex., hommes, femmes, transsexuel). Passez en revue les questions et calculez les réponses pour chaque catégorie de genre. Quand vous aurez fini, vérifiez de nouveau les chiffres pour vous assurer que leur addition correspond au total. C’est ce qu’on appelle une tabulation recoupée.
  • Élaborez des énoncés récapitulatifs des données. Incluez le total des réponses concernant chaque élément d’information. Cet exemple est désigné par un « n » et il paraît souvent entre parenthèses. S’il y a un nombre supérieur de répondants (>100) ou s’il est utile à des fins de comparaison, incluez également des pourcentages. Par exemple : la presque totalité des jeunes (95 %, n=110) ont signalé que le programme leur a donné une plus grande confiance en eux pour parler de la santé mentale.
  • Les graphiques et les tableaux constituent une pratique efficace pour résumer l’information, vous pouvez donc encourager l’équipe à évaluer s’il convient de l'adopter pour l'élaboration de rapports sur les données.

 

 

CONSEIL : Encouragez le groupe à prendre en considération les résultats et à déterminer s’il y aurait d’autres questions sur lesquelles il aimerait interroger les données. Par exemple, les membres du groupe peuvent se demander si la durée de l'engagement au sein du programme était associée à de meilleurs résultats. Ces questions peuvent uniquement être éclaircies après le premier cycle d’analyse.

 

Les co-évaluateurs et les participants aux évaluations ont des apports considérables à contribuer à l’interprétation des données et à sa pertinence pour le programme. Présentez-leur les constatations à des fins d’examen approfondi. Pour une analyse quantitative plus complète, envisagez la possibilité de travailler en collaboration avec des spécialistes qui ont accès à un logiciel analytique ou à une formation particulière. Cela peut comprendre des étudiants-chercheurs, des partenaires universitaires ou d’organisations possédant une expertise en analyse quantitative ou en évaluation.

Étape 11 : Utiliser et communiquer les résultats

  • L’évaluation a un double but ultime : d’une part, elle cherche à déterminer ce qui fonctionne, de sorte que les activités connexes puissent continuer, et, d’autre part, elle vise à établir les aspects qui doivent être changés, de façon à pouvoir les adapter (ou les interrompre). À cette fin, vous devrez mettre en commun ce que vous avez trouvé d’une manière qui aidera les autres à faire les changements nécessaires. Au début du projet d’évaluation, encouragez l’équipe à envisager des voies diverses vers les résultats de l’évaluation pour faire en sorte qu'ils seront utilisés. Au cours du projet d’évaluation, ces plans peuvent être peaufinés ou modifiés. Chaque fois que vous élaborez un plan d'action conjointement avec les intervenants clés de vos programmes, prenez en considération les questions ci-après pour mettre en application et partager les résultats de l’évaluation :
  • Qui sont les principaux auditoires visés par nos messages?
  • Quels sont nos buts dans le partage des résultats de l’évaluation?
  • Quelles sont les parties prenantes qui seront intéressées par les résultats ou influencées par ceux-ci?
  • Quels sont les messages clés de l’évaluation?
  • Qui doit savoir quoi?
  • Quel est la meilleure façon de joindre chaque public ciblé?
  • Quelle est la meilleure méthode de présenter cette information de manière à favoriser sa compréhension et son utilisation?
  • De quelle façon partagerez-vous les résultats délicats ou négatifs?

Veuillez consulter la trousse de mobilisation des connaissances du Centre pour accéder à une feuille de travail étape par étape, qui orientera vos efforts en vue de partager des connaissances et d’opérer un changement considérable dans votre pratique. Vous pouvez également visionner notre module d'apprentissage pour mieux comprendre ce qu’il faut faire et comment utiliser les données que vous avez recueillies.

  • 1. Checkoway & Richards-Schuster, 2003, p. 25
  • 2. Sabo Flores, 2008