Présentation de l’évaluation relationnelle

Texte 6 Présentation et des coordo

Suivre et évaluer la transformation des relations entre parties-prenantes

Une approche innovante de l’évaluation de la CPP par l’Analyse des Réseaux Sociaux

Coordination scientifique : Alain Piveteau (IRD, UMR 5115 LAM), Thibaud Deguilhem (Université de Paris, UMR Ladyss) & Jean-Philippe Berrou (UMR 5115 LAM – Sciences Po Bordeaux)

Le GEMDEV propose ici de mettre à contribution une approche et une méthode innovantes du suivi-évaluation développées en ce moment au sein de son réseau de recherche (Berrou, Piveteau & al., 2020).

Le GEMDEV étant membre de la CPP, il s’agit d’une évaluation interne.

L’évaluation porte sur la qualité des relations entre acteurs, les formes de coordination et les rapports de pouvoir. Elle consiste, à l’image des policy networks analysis développés par les organisations internationales depuis une dizaine d’année pour évaluer l’efficacité des politiques publiques ou les projets de développement aux Suds (Schiffer & Waale, 2008 ; Schiffer & al., 2010), à rendre compte du fonctionnement concret d’un dispositif de gouvernance multi-acteurs et transnational.

L’activité évaluatrice produit, aux fins d’un suivi, une information utile à la gouvernance des actions collectives. Elle contribue à l’empowerment des acteurs habituellement marginalisés, finalité explicite de la CPP. L’évaluation relationnelle est donc un outil qui accompagne la CPP dans sa volonté de redonner du pouvoir aux acteurs qui en sont habituellement dépourvus et de renforcer leur capacité à gouverner leur territoire. Elle se concentre sur un point souvent aveugle des actions publiques : la qualité relationnelle au sein d’un réseau d’acteurs multiples et hétérogène. Elle s’intéresse donc fondamentalement à la gouvernance des projets et des politiques publiques en mesurant leur efficience interne (cohérence).

L’approche proposée ici mobilise les outils quantitatifs et les représentations par graphes de l’Analyse des réseaux sociaux (ARS). Ces outils permettent d’identifier et d’évaluer le rôle joué par les acteurs, individus et/ou organisations, qui participent à la conception et à l’implémentation d’une politique publique ou d’un projet. La démarche prend sens opérationnellement dans la qualité du dialogue qui s’établit entre les parties-prenantes sur la base d’une connaissance et d’une visualisation partagée du réseau social qu’ils forment entre eux. L’ARS donne la possibilité de comprendre le processus relationnel qui sous-tend les résultats observés ce qui ouvre la possibilité aux acteurs qui s’en saisissent de le transformer.

Pour accompagner pleinement la CPP, l’évaluation de la gouvernance devra être menée à deux échelles. Celle de l’ensemble de la Convention dont la forme organisationnelle est un réseau d’organisations comprenant les 26 partenaires du SCCF. Celle des territoires où les partenaires de la CPP agissent en mettant en œuvre les projets et des expérimentations à travers des réseaux d’acteurs. A cette seconde échelle, pour des raison pratiques et financières, le GEMDEV propose de cibler un projet emblématique et son territoire. Dans les deux situations le recours aux outils quantitatifs de l’ARS permet de déterminer avec rigueur le rôle joué par chaque acteur et d’ouvrir la boîte noire du processus qui conduit, ou non, à l’empowerment des groupes marginalisés. Les résultats issus de ces analyses viennent nourrir le dialogue entre les parties-prenantes de la convention et des projets.

Les Principes généraux de l’évaluation relationnelle

L’évaluation repose sur une analyse de réseaux inter-organisationnels qui permet de capter la nature et la qualité des liens (relations) que les parties-prenantes tissent entre eux à l’occasion des projets ou actions de développement.

Méthodologiquement, l’approche reprend les travaux de Ingold (2011), Howlett & al. (2017), Weible & al. en articulant les principes d’analyse desPolitical Networkset de l’Advocacy Coalitions Framework (ACF)[Berrou J.-P., Piveteau A, et al. 2020]. On rappelle que l’ACF combine deux dimensions analytiques complémentaires (Sabatier & Jenkins-Smith, 1993 ; Sabatier & Weible, 2007 ; Weible & al., 2019). La première dimension, appréhendée à l’appui d’enquêtes mixtes (qualitative/quantitative), porte sur l’analyse du système de croyance qui unit ou non les acteurs autour d’un problème ou domaine de politique publique donné, ici la transition écologique juste. La seconde porte sur la coordination entre acteurs du sous-système d’action considéré. C’est ici que nous faisons intervenir l’ARS en mettant en œuvre une enquête sociométrique permettant de mesurer les liens entre acteurs qui, au sein de la Convention ou du projet, sont de diverses natures : liens de collaborations, partage d’informations, liens financiers, etc., de convergence et de divergence concernant les orientations données à la transition écologique juste. L’analyse de ces réseaux complets permet d’identifier empiriquement, sur la base de critères objectivés, les coalitions en présence et les représentations dominantes. Après avoir repéré les acteurs clefs et cartographié l’intensité des relations entre acteurs, l’approche permet de rendre compte des communautés de valeurs, des idées et logiques d’actions différenciées (cadre cognitifs – policy core et secondary beliefs) qui fondent aujourd’hui ces relations et constituent des points de blocages ou, au contraire, d’arrimage de la transition écologique juste.

Aux différents moments de l’action collective considérée (mise en problème, construction de solutions, mise en œuvre des actions de terrain, situation ex-post),il s’agit de produire des indicateurs statistiques et une cartographie des relations entre acteurs. Cette cartographie évolutive permet d’identifier, de situer et de suivre le rôle de chaque partie prenante dans le projet en mettant au jour les réseaux et configurations d’acteurs qui se forment autour des enjeux apparus aux différents moments de l’action.

Elle donne ainsi aux professionnels du développement, aussi bien qu’à l’ensemble des parties-prenantes pour peu que l’outil soit mis au service d’un suivi-évaluation participatif, la possibilité d’appréhender et d’anticiper, pour mieux s’y adapter, les raisons des réussites, des blocages et des échecs des projets.

La performance de la CPP et d’un projet est appréhendée comme un processus non linéaire et non comme une trajectoire connue comme le suggère les approches classiques de l’impact (). Autrement dit, comme une construction sociale aux mains d’acteurs hétérogènes dotés de pouvoirs différenciés ; construction qu’il faut prendre au sérieux et accompagner pour améliorer l’efficacité des actions collectives visant la transition écologique juste. L’évaluation relationnelle considère que le sort final d’un énoncé, ici les finalités de la CPP, est entre les mains de tous les acteurs, autrement dit entre les mains « des autres ».

L’évaluation relationnelle traite explicitement des rapports de pouvoirs entre les parties-prenantes et de leur transformation au cours du temps. Elle identifie et qualifie au sein du réseau d’acteurs, les groupes et les coalitions de cause (visions partagées du projet) qui orientent le devenir des actions. Elle s’appuie pour cela sur une méthode mixte, qualitative (analyse politique) et quantitative (sociométrie).

Les Etapes de l’évaluation

L’étude, le suivi et l’évaluation de la morphologie des réseaux sociaux peut se faire utilement à différentes étapes de la CPP et à différentes échelles. La forme précise et l’ampleur de cette évaluation sont à coconstruire avec le SCFF.

Le système de suivi-évaluation est mis en place pour mesurer les effets et l’impact des expériences menées (Résultat transversal 2). A l’échelle du projet, il participe du résultat 1 de l’OS1 en permettant de mesurer et d’apprécier collectivement son degré d’atteinte : « Les populations sont actrices de la transition écologique juste de leurs territoires, à partir des projets soutenus par les partenaires de la CPP ». A l’échelle de la Convention, il participe du résultat 2 : « Les partenaires de la CPP sont renforcés dans leurs méthodes d’accompagnement au développement du pouvoir d’agir des personnes et des groupes vulnérables ». L’évaluation contribue également à l’émergence d’une vision commune de la transition écologique juste (OS2).

L’évaluation comprend cinq étapes principales quelle que soit l’échelle considérée (CPP ou projet)

Etape 1. La délimitation des frontières du réseau – identifier les acteurs parties-prenantes qui feront l’objet d’un suivi par enquête. Nous proposons de procéder au bouclage du réseau en combinant, de façon participative, approche dite « nominaliste » (conduite par le cadre conceptuel qu’impose le référentiel scientifique) et approche dite « réaliste » (qui adopte le point de vue et la perception des acteurs).

Etape 2. Sélection de cinq à six types de relations entre acteurs (5 à 6 réseaux analysés) sur la base desquelles la position de chaque acteur sera identifiée. Là-aussi, cette sélection se fait en concertation avec le CSO.

Etape 3. Construction du questionnaire d’enquête formée de 2 parties distinctes : une première partie contenant différents modules de questions (ouvertes, semi-ouverte, fermées) permettant de collecter des informations sur les perceptions et les idées politiques de chaque organisation (ACF) ; une seconde partie constituée d’un questionnaire sociométrique composée d’une question par réseau de relations analysés.

Etape 4. Collecte des données (qualitatives et quantitatives) auprès de chaque organisation membre du réseau complet (1h30 à 2h par organisation). Cette étape se répète trois fois au cours de la CPP ou du projet : 4a  au démarrage, lors de la formulation des objectifs (évaluation ex-ante) ; 4b.  en cours de mise en œuvre (évaluation intermédiaire) ; 4c.  à la fin du programme/projet (évaluation ex-post).

Etape 5. Analyse de données (indicateurs statistiques) et construction des graphes. Répétées au trois temps clefs de la CPP et du projet. (5a, 5b, 5c).

Etape 6. Restitution des résultats et co-interprétation de ces résultats à l’occasion de focus groupes organisés au trois temps clefs.

Un Guide méthodologique de l’évaluation relationnelle des actions collectives sera diffusé à l’issue du processus d’évaluation relationnelle. Composé de fiches thématiques, il s’appuiera principalement sur les enseignements tirés de la mise en œuvre de cette méthode au sein de la CPP