Sommaire

Introduction 1

Laure REINHART

Les objectifs et indicateaurs de performanches de la LOLF chez les opérateurs 2

Philippe DEBROSSE

Mesurer la productivité de la R&D industrielle :

Besoins, difficultés, concepts et mise en pratique 11

Jean-Marie FRIEDT

Construction et utilisation d'indicateurs pour le pilotage d'un EPST :

le cas du Cemagref 12

Nicolas de MENTHIERE

Evaluation de la performanche de la R&D dans une industrie alimentaire :

Application des "KPI" (key performance index) 13

Moïse RIBOH

"Opportunité, contraintes et impact sur le pilotage et la stratégie

des établissements de recherche" 14

Table ronde

Mesurer la performance de la Recherche Publique et de la Recherche Privée

Introduction

Laure REINHART

Présidente d’Ile de Science

L’association Ile de Science, créée voici une trentaine d’années, avait initialement pour objectif de regrouper des organismes de recherche publics ou privés (Laboratoire central de recherche de Thomson-CSF…) et d’enseignement supérieur (Université de Paris-Sud, Polytechnique, Supélec, HEC…) du plateau de Saclay. Cette association s’est ensuite étendue plus à l’Est de Paris, avec l’INT et l’université d’Evry, et à l’Ouest, avec l’université de Versailles-Saint-Quentin et l’INRIA de Rocquencourt. Notre association regroupe aujourd’hui vingt organismes d’origine diverse : universités, grandes écoles (Polytechnique, Supélec, IOTA, ENSTA,), des organismes de recherche (CEA, INRA, INAP–G, ENSIA, INRIA, IHÉS) ou des centres de recherche privés ou finalisés (Soleil, CEPr, Danone Vitapole, Air Liquide, Thales). Notre association a pour objectif de créer une communauté scientifique dans l’arc sud de la région parisienne, de travailler sur des sujets transverses et de mettre en valeur nos organismes et la science de manière générale. C’est dans ce cadre que nous organisons, chaque année, une manifestation à l’occasion de la Fête de la Science, destinée au grand public, ainsi que des colloques autour de thématiques transverses intéressant à la fois les chercheurs, les gestionnaires de la recherche et les responsables politiques. C’est ainsi que nous avons organisé des colloques sur la propriété industrielle et la protection des résultats de la recherche, et bientôt un autre sur l’éthique du métier de chercheur. Nous menons aussi des opérations plus locales, autour du synchrotron Soleil, par exemple.

Une des thématiques les plus dynamiques concerne les questions liées à la documentation scientifique. Un groupe de travail réunissant les documentalistes des partenaires d’Ile de Science se réunit régulièrement et propose depuis une dizaine d’années des journées sur des sujets d’actualité (bibliothèque numérique, bibliométrie, cahiers de laboratoires, ..) au croisement de la documentation et de la gestion scientifique (évaluation, définition d’objectifs, protection des résultats).

La journée que propose cette année notre groupe de travail « Documentation » concerne les relations réciproques de la bibliométrie scientifique et des objectifs inscrits dans la LOLF. Avant de passer la parole à Jean-Jacques Gagnepain, directeur de la technologie du MESR et à Ghislaine Filliatreau, directrice de l’OST, je souhaite remercier les membres du groupe de travail « Documentation » d’Ile de Science qui ont conçu et mis en œuvre cette journée, ainsi que le ministère de la Recherche qui nous accueille aujourd’hui dans ses locaux.

La démarche de performance au cœur de la LOLF

Philippe DEBROSSE

Inspecteur de l’administration à la Direction de la réforme budgétaire

Ministère de l’économie des finances et de l’industrie

La démarche de performance mise en place par la LOLF, est un dispositif de pilotage ayant pour objectif d’améliorer l’efficacité de la dépense publique en orientant la gestion vers la réalisation de résultats (ou performances) prédéfinis, en matière d’efficacité socio-économique, de qualité de service ou d’efficience, dans le cadre de moyens prédéterminés. Les objectifs à atteindre, définis au niveau stratégique pour chaque programme, sont déclinés pour chaque échelon opérationnel. Ces objectifs laissent chaque échelon libre du choix des moyens à employer pour les réaliser, afin de lui permettre d’allouer au mieux les moyens disponibles et de choisir les modalités d’action les plus appropriées.

Bien qu’étant des entités externes, les opérateurs contribuent à la mise en œuvre des politiques des programmes, ainsi qu’à l’amélioration de leur performance.

Au sein de la mission « Recherche et enseignement supérieur », les opérateurs sont les principaux acteurs de cette performance, les objectifs et indicateurs sont pour la plupart d’entre eux le reflet de l’activité et des résultats des grands établissements de recherche.

I. Les principes

1. Les opérateurs ont vocation à être intégrés à la démarche de performance de leur(s) programme(s) financeur(s)

Les opérateurs sont un des moyens de mise en œuvre des programmes, à l’instar des services centraux ou déconcentrés des ministères. Leur contribution est variable : ils peuvent être le seul acteur d’un programme (IGN, METEO-France), mettre en œuvre l’essentiel de la politique des programmes (les établissements de l’enseignement supérieur ou de la recherche), ou a contrario n’être qu’un enjeu mineur dans le programme (certains GIP par exemple).

La classification d’opérateur principal permet d’identifier ceux qui contribuent de manière significative aux objectifs du programme et/ou qui peuvent bénéficier de subventions importantes des programmes, et sur qui peut reposer la mise en oeuvre d’objectifs de performance. Toutefois leur performance n’est pas obligatoirement retracée dans les Projets Annuels de Performance (PAP), annexés à la loi de finances, qui ne peuvent présenter qu’un nombre limité d’objectifs par programme.

Pour un opérateur, la démarche de performance doit se traduire concrètement par des engagements pris vis-à-vis du responsable de programme, et être relayée par un dispositif de pilotage interne, qui permet à l’opérateur de décliner à son tour les objectifs retenus par la tutelle en objectifs de gestion interne, dont le suivi sera de son ressort.

La totalité des activités des opérateurs peut faire l’objet d’engagements de performance vis-à-vis des tutelles. L’objectif est bien de rechercher une performance globale de l’opérateur, dans tout son champ d’activités, même si celui-ci excède le domaine de compétence de l’Etat (ce qui inclut notamment les activités de nature commerciale ou équivalente des opérateurs).

2. Les objectifs des opérateurs doivent au minimum décliner les objectifs des projets annuels de performance des programmes, tout en présentant des objectifs complémentaires

Les opérateurs peuvent contribuer à une ou plusieurs de ces trois catégories d’objectifs :

- tout ou partie des objectifs stratégiques nationaux définis pour les programmes dont ils reçoivent des financements ou à la performance desquels ils concourent ;

- des objectifs opérationnels conçus pour leur permettre d’atteindre les objectifs du programme ;

- des objectifs propres nécessaires à leur pilotage ou à l’exercice du contrôle de gestion.

Comme pour les services de l’Etat, la répartition fine des objectifs et indicateurs entre les opérateurs, n’a pas vocation à figurer de façon explicite dans les PAP, sauf si les ministères souhaitent porter un éclairage particulier sur l’un d’entre eux.

Une fois déclinés au niveau de l’opérateur, les objectifs opérationnels doivent être exprimés de manière à laisser l’autonomie la plus large possible aux gestionnaires des opérateurs quant aux dispositifs et moyens à mettre en œuvre. Les termes ainsi définis doivent également être contrôlables par les opérateurs. Enfin, il est essentiel de limiter le nombre de ces objectifs et leurs indicateurs associés pour ne pas conduire à une dispersion des efforts, mais, au contraire, pour les centrer sur des politiques publiques significatives.

Dans le cas ou un opérateur relève de plusieurs programmes, et que ceux-ci disposent, dans leur PAP, d’objectifs concernant cet opérateur, il revient aux différents responsables de programme concernés de se concerter avec l’opérateur afin de définir des objectifs non contradictoires. Le document formalisant les engagements de performance de l’opérateur fera apparaître dans ce cas l’ensemble des objectifs de performance qu’il décline, en précisant leur programme de rattachement.

Les objectifs et indicateurs une fois définis, des valeurs cibles doivent être déterminées. Elles peuvent être fixées à un horizon pluriannuel, calé sur celui des objectifs du PAP – cadre à privilégier, notamment du fait des difficultés prévisibles de retour d’informations pour alimenter les Rapports Annuels de Performance (RAP) et préparer les valeurs cibles de l’exercice suivant.

Enfin, des objectifs complémentaires aux objectifs déduits de ceux du PAP peuvent être définis. Ils sont facultatifs pour les opérateurs concernés par les PAP et obligatoires pour les autres opérateurs principaux. Ces objectifs complémentaires doivent, bien entendu, ne pas être contradictoires avec ceux qui sont demandés au niveau national.

3. Une formalisation nécessaire de l’exercice de définition des objectifs des opérateurs

La mise en place des objectifs et des indicateurs liés, puis leur suivi, doit se faire pour chaque opérateur dans le cadre d’un dialogue de gestion regroupant la (ou les) tutelle(s) technique(s), la tutelle financière et l’opérateur. Ce principe est d’autant plus vrai que l’opérateur est multi-imputé.

Le dialogue de gestion entre l’opérateur, la tutelle technique et la tutelle financière doit se formaliser dans l’exercice des compétences du conseil d’administration, notamment pour la fixation d’objectifs et d’indicateurs. Il est indispensable que les différentes tutelles soient associées, chacune pour ses compétences propres, à cette définition d’objectifs.

Ce dialogue de gestion a besoin de se formaliser dans le temps :

- Les projets annuels de performances sont produits annuellement devant le Parlement. Même lorsque des valeurs cibles sont fixées à un horizon pluriannuel, les PAP indiquent également les prévisions intermédiaires, annuelles, à titre indicatif.

- Les opérateurs formaliseront les engagements pris (objectifs, prévisions pour l’exercice suivant, et valeurs cibles éventuellement à horizon pluriannuel) dans un document de performance annexé au budget de l’opérateur soumis à l’approbation de son conseil d’administration, comme cela existe déjà pour les établissements publics à caractère scientifique et technique – ce document ne pouvant se réduire à un simple tableau d’objectifs et d’indicateurs chiffrés mais décrivant une stratégie. Il pourrait s’inspirer du modèle des projets annuels de performances.

- Pour les indicateurs des programmes qui reprennent ceux des opérateurs, la valeur cible nationale publiée dans le PAP à l’automne précédent l’exercice est souvent conçue comme une consolidation des valeurs cibles des opérateurs, déterminées pour le mois de juillet précédent. Il peut donc être utile, en rythme de croisière, qu’un échange ait lieu entre les responsables de programme et les opérateurs, avant l’été, en vue de déterminer la valeur cible nationale sur des hypothèses solides.

- En rythme de croisière, il est indispensable que le CA puisse se prononcer sur les objectifs, les indicateurs et les valeurs cibles, qui vont lier l’opérateur sur un horizon de 3 à 5 ans.

II. La déclinaison opérationnelle a sein de la recherche

La mission « recherche et enseignement supérieur » est composée de 13 programmes :

- Formations supérieures et recherche universitaire

- Vie étudiante

- Recherches scientifiques et technologiques pluridisciplinaires

- Recherche dans le domaine des milieux et des ressources

- Recherche spatiale

- Orientation et pilotage de la recherche

- Recherche dans le domaine des risques et des pollutions

- Recherche dans le domaine de l’énergie

- Recherche industrielle

- Recherche dans le domaine des transports, de l’équipement et de l’habitat

- Recherche duale (civile et militaire)

- Recherche culturelle et culture scientifique

- Enseignement supérieur et recherche agricoles

Les EPST et autres établissements publics de recherche sont des acteurs majeurs de ces programmes.

Les différents programmes « recherche » sont dotés presque exclusivement de crédits destinés aux opérateurs (subvention pour charges de service public) ou de crédits d’intervention destinés à financer des actions ou des organismes de recherche non intégrés au périmètre des opérateurs (Institut Pasteur par exemple).

Les objectifs et indicateurs de performance sont essentiellement donc mis en œuvre par les établissements de recherche.

Ainsi dans le programme « Recherches scientifiques et technologiques pluridisciplinaires » on retrouve les objectifs et indicateurs suivants :

Objectif n° 1 (du point de vue du citoyen) : Produire des connaissances scientifiques au meilleur niveau international.

Indicateur n° 1 : Production scientifique des opérateurs du programme

		2003	2004	2004	2005	2006	2008
	Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	cible
Part des publications de référence internationale des opérateurs du programme dans la production scientifique française	%	51,4					51,4
Part des publications de référence internationale des opérateurs du programme dans la production scientifique européenne (UE 25)	%	7,0					8,0
Part des publications de référence internationale des opérateurs du programme dans la production scientifique mondiale	%	2,4					2,8

Indicateur n° 2 : Reconnaissance scientifique des opérateurs du programme exprimée par l’indice de citation à deux ans des articles des opérateurs du programme

	2003	2004	2004	2005	2006	2010
Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	Cible
Indice	n.d.					1,15

Objectif n° 2 (du point de vue du citoyen) : Développer le dynamisme et la réactivité de la recherche publique.

Indicateur n° 1 : Réactivité scientifique thématique des opérateurs du programme.

		2003	2004	2004	2005	2006	2008
	Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	cible
Part des publications des opérateurs du programme dans le domaine des sciences de la vie en référence française	%	35,9					35,9
Part des publications des opérateurs du programme dans le domaine des sciences de la vie en référence européenne (UE25)	%	4,5					5,1
Part des publications des opérateurs du programme dans le domaine des sciences de la vie en référence mondiale	%	1,6					1,8

Objectif n° 3 (du point de vue du citoyen et du contribuable) : Contribuer à l’amélioration de la compétitivité de l’économie nationale par le transfert et la valorisation des résultats de la recherche.

Indicateur n° 1 : Efficacité de la politique de valorisation.

		2003	2004	2004	2005	2006	2008
	Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	cible
Part des opérateurs du programme dans les brevets déposés à l’INPI par rapport à l’ensemble des déposants français	%	3,3	3,3				3,5
Part des opérateurs du programme dans les brevets déposés à l’OEB par rapport à l’ensemble des déposants français	%	4,6	5,0				5,3
Part des opérateurs du programme dans les brevets déposés à l’OEB par rapport à l’ensemble des déposants européens	%	0,7	0,7				0,75

Indicateur n° 2 : Efficience de la politique de valorisation.

		2003	2004	2004	2005	2006	2010
	Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	cible
Part des ressources apportées par les redevances sur titres de propriété intellectuelle dans les ressources recherche totales des opérateurs du programme (EPST)	%	1,9					2,1
Part des ressources apportées par les redevances sur titres de propriété intellectuelle dans les ressources recherche totales des opérateurs du programme (autres établissements)	%	4,3					4,5

Indicateur n° 3 : Intensité du partenariat avec les entreprises.

		2003	2004	2004	2005	2006	2008
	Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	cible
Part des contrats de recherche passés avec des entreprises publiques ou privées, françaises ou étrangères, dans les ressources recherche totales des opérateurs du programme (EPST)	%	1,6					3,0
Part des contrats de recherche passés avec des entreprises, publiques ou privées, françaises ou étrangères, dans les ressources recherche totales des opérateurs du programme (autres établissements)	%	8,6					10,0

Objectif n° 4 (du point de vue du citoyen) : Concourir au développement de l’attractivité internationale de la recherche française.

Indicateur n° 1 : Attractivité des opérateurs du programme mesurée par la proportion d’étrangers parmi les chercheurs, postdoctorants et ingénieurs de recherche rémunérés par les opérateurs du programme

	2003	2004	2004	2005	2006	2008
Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	Cible
%	11,94					13,5

Objectif n° 5 (du point de vue du citoyen) : Participer à la construction de l’espace européen de la recherche.

Indicateur n° 1 : Taux de participation des opérateurs du programme dans les projets financés par les programmes cadres de R&D de l’Union européenne (PCRD)

	2003	2004	2004	2005	2006	2010
Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	Cible
%	12,8					14,0

Indicateur n° 2 : Taux de coordination des opérateurs du programme dans les projets financés par les programmes cadres de R&D de l’Union européenne (PCRD)

	2003	2004	2004	2005	2006	2010
Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	Cible
%	3,4					4,5

Indicateur n° 3 : Part des articles co-publiés avec un pays membre de l’Union européenne (UE 25) dans les articles des opérateurs du programme

	2003	2004	2004	2005	2006	2008
Unités	Réalisation	Prévision	Réalisation	Prévision	Prévision	Cible
%	25,9					30,0

Ces éléments sont complétés par une explication des méthodes de collecte de données, dont certaines sont encore à construire.

Il faut rappeler que sont opérateurs dans ce programme : le CNRS, l’INSERM, le CEA, le GIP CNRG, le GIP Génopole, l’ANRS, l’INRIA, l’IPEV, l’INED.

Au niveau global du programme, ces objectifs et indicateurs permettent d’avoir une approche de la performance des organismes de recherche. Toutefois, l’hétérogénéité des thèmes de recherche au sein et entre établissements, les différences de structure, de quelques agents dans les GIP à 32.000 agents au CNRS, impliquent d’avoir une approche nuancée pour décliner ces objectifs et indicateurs au sein des opérateurs.

1. Comment décliner ces indicateurs :

Nota :

Il ne s’agit ici que d’évoquer quelques pistes de réflexion dans l’analyse de ces indicateurs pour décliner leur mise en œuvre opérationnelle, elles n’ont évidemment pas vocation à balayer l’ensemble des problématiques liées à chaque couple objectif/indicateur.

Les indicateurs liés aux publications :

On peut penser qu’un indicateur lié aux publications dans les revues scientifiques est pertinent pour la majorité des unités de recherche des différents opérateurs et que tous les opérateurs du programme vont contribuer à ces indicateurs. La nature et la fréquence des publications est toutefois variable selon les champs de recherche, et même s’il n’y a pas de lien direct entre taille des équipes de recherche et fréquence des publications, les établissements comptant le plus grand nombre de chercheurs vont sans doute avoir une contribution forte à cet indicateur.

Pour les plus grands EPST comme le CNRS ou l’INSERM, il paraît possible de suivre ces indicateurs à l’identique, au moins pour ce qui concerne l’échelon national ou européen. Leur poids au niveau mondial étant faible, une évolution de la performance individuelle des opérateurs, même les plus importants en taille au niveau français, risque d’être moins significative.

On voit aussi que ces indicateurs « brut » ne sont pas signifiants pour les établissements les plus petits comme les GIP, tant au niveau national qu’international compte tenu de leur faible taille, et qu’ils ne peuvent être utilisés en l’état pour mesurer l’évolution de la performance de ces opérateurs.

De la même façon, même si ces indicateurs sont pertinents pour une entité prise dans sa globalité comme le CNRS, ils ne sont plus signifiants pour analyser la performance individuelle des différentes composantes du CNRS. D’autres indicateurs doivent être mis en place pour suivre la performance des unités de recherche. Pour rester proche de l’indicateur global, on pourrait sans doute utiliser un indicateur de volume de publication, plus proche d’indicateurs dits d’activité, mais plus opérationnel pour des unités de faible dimension. Dans une approche de pilotage interne de l’opérateur, il faudra adapter cet indicateur aux champs de recherche, le cas échéant en modulant sa fréquence, certaines recherches ne pouvant donner lieu à des publications infra annuelles systématiques voire nécessiter plusieurs années pour « produire » un résultat, ou pour tenir compte des travaux menés de front par plusieurs unités ou avec des partenaires extérieurs.

Les indicateurs liés aux dépôts de brevet :

De par la nature des champs de recherche, certaines unités ont une vocation quasi naturelle à déposer des brevets, alors que d’autres n’auront jamais matière à en déposer. Il sera utile d’identifier, sinon les unités, du moins les champs de recherche susceptible de donner lieu à dépôt de brevet. L’échelon de déclinaison de l’objectif ne doit pas nécessairement être ramené à l’unité élémentaire. Ici aussi, l’indicateur « brut » du PAP mesuré par la part des dépôts de brevet doit sans doute être transformé pour être utilisé en interne par les opérateurs. Un suivi d’activité quantitatif est sans doute plus pertinent dans une perspective de pilotage interne à l’établissement.

Mais on voit aussi avec ce type d’indicateurs apparaître les difficultés du pilotage : un indicateur de dépôts de brevets trop élevé ne risque-t-il pas de conduire les unités de recherche à privilégier les axes de recherche susceptibles de donner lieu à dépôt au détriment de thèmes de recherche à plus terme ?

Les indicateurs liés au partenariat avec les entreprises :

Ce type d’indicateur mesure la part de financement liée principalement à des contrats ou conventions de recherche dans le financement global de l’opérateur. Il paraît pertinent pour tous les opérateurs du programme, mais la part de ces financements externes doit être modulée selon les champs de recherche des opérateurs. Si l’opérateur dispose d’une comptabilité analytique lui permettant d’identifier des « recettes » et des coûts de fonctionnement d’unités élémentaires, cet indicateur peut être utilisé en l’état en infra établissement, en adaptant le taux aux spécificités des champs de recherche des unités.

Ces exemples mettent facilement en valeur deux groupes principaux d’indicateurs :

- d’une part, ceux qui pourront être repris « en l’état » y compris pour un pilotage par établissement, voire en infra établissement, le cas échéant en adaptant la valeur de l’indicateur aux champs de recherche,

- d’autre part, ceux qui nécessiteront de mettre en place des indicateurs différents, mais signifiants en terme de pilotage ou de mesure d’activité, et qui permettent de concourir à l’atteinte de l’objectif global.

Parallèlement, il sera nécessaire pour le pilotage de l’opérateur de mettre en place des objectifs et indicateurs, pour des activités qui ne relèvent pas des objectifs et indicateurs du programme, notamment pour les fonctions « soutien » des opérateurs.

2. L’analyse de l’indicateur

Dans un contexte classique d’entreprise, les indicateurs sont généralement assez simples à mesurer, par exemple la rentabilité des capitaux investis, des parts de marché, …

Dans la sphère publique, et dans la recherche en particulier, le choix des indicateurs est plus complexe, tout comme leur mesure. Qui plus est, dans cette phase de construction du système d’objectifs et d’indicateurs, il n’a pas toujours été possible de fixer avec précision les valeurs cibles de certains indicateurs, d’autant que pour certains, les méthodologies et les outils de collecte doivent encore être mis en place.

Pour contourner ces difficultés, plus qu’une valeur absolue, c’est parfois l’examen de tendances qui sera déterminant pour mesurer l’effort de contribution à la performance d’un organisme ou de ses unités de recherche.

Il serait évidemment facile de se réfugier derrière la complexité de l’approche, ou les risques liés aux facteurs exogènes, pour rejeter toute analyse de la performance.

C’est pourquoi, au-delà de la stricte mesure des indicateurs, qui ne manquera pas de susciter critiques voire sarcasmes, c’est l’approche managériale qui en sera faite qui est primordiale.

En effet, la fixation d’objectifs et indicateurs va nécessiter un dialogue tant entre opérateurs et ministères de tutelle ou financeurs, qu’au sein des établissements. Ce dialogue implique une réflexion, certes sur les objectifs et indicateurs, mais surtout, dans une perspective de moyen terme sur les orientations stratégiques des établissements et une implication forte des agents des organismes dans cette démarche, puisque la performance des organismes, c’est d’abord la performance individuelle et collective de leurs agents.

Télécharger le document au format PowerPoint.

Mesurer la productivité de la R&D industrielle :
Besoins, Difficultés, Concepts et Mise en pratique

Jean-Marie FRIEDT

Emeritus CTO Air Liquide Electronics

La productivité de la recherche industrielle doit être optimisée pour tirer un bénéfice effectif de sa globalisation actuelle. Ceci implique la disponibilité de méthodes d'évaluation qui se révèlent cependant difficiles à mettre en pratique de façon concrète.

L'exposé proposera une revue des facteurs de succès majeurs, basée sur le cas d'espèce de notre R&D industrielle et de leur évaluation.

Télécharger le document au format PDF.

Construction et utilisation d’indicateurs pour le pilotage d’un EPST : le cas du Cemagref

Nicolas de MENTHIERE

Directeur des Systèmes d’Information et de la Communication

Cemagref

Le Cemagref est un jeune établissement public de recherche finalisée. L'activité scientifique et technique de ses 900 agents permanents, dont 450 scientifiques, et 250 doctorants et post doctorants, porte sur l'ingénierie de la gestion durable des eaux et des territoires. L'orientation de son activité est encadrée par un plan stratégique et un contrat quadriennal avec l'Etat représenté par les ministères chargés de la Recherche et de l'Agriculture.

L'organisation repose sur 29 unités de recherche dont 7 UMR et l'activité est structurée autour de 27 thèmes de recherche regroupés en 4 départements scientifiques.

Les missions de ces collectifs de recherche se répartissent entre la production de connaissances (M1 : 40 à 60 %), la valorisation et le transfert (M2 : 20 à 30 %), l'enseignement et la formation par la recherche (M3 : 10 à 15 %) et enfin la gestion et l'appui à la recherche (M4 : 10 à 15 %).

Afin de rendre compte de cette activité, un dispositif de recueil des indicateurs d'activité sur l'intranet a été mis en place et complété par une base de données des publications scientifiques et techniques (Cemagref-publications). En parallèle, le déploiement du progiciel SAP permet de collecter les indicateurs de gestion des moyens humains et financiers depuis 5 ans.

A partir de ces éléments, des indicateurs de suivi du contrat quadriennal ont été contractualisés. A la demande du conseil d'administration et après avis du conseil scientifique et technique, des indicateurs d'activité synthétiques et composites ont été construits sur chacune des grandes missions M1 à M3. Ils portent sur les publications scientifiques et techniques (PST), l'appui à l'action publique (AAP), la valorisation économique (VE) et l'enseignement et la formation par la recherche (M3). Par leur construction, ces indicateurs sont, à la fois, des outils de suivi de l'activité de l'établissement et des départements scientifiques mais également des outils de pilotage de cette activité.

Lors de l'élaboration du contrat quadriennal 2005-2008 une batterie d'indicateurs a également été retenue dans un processus interactif avec les tutelles. Ces indicateurs reprennent les indicateurs communs du Programme 4 de la MIRE « Gestion dans le domaine de la gestion des milieux et des ressources » dont le Cemagref est un des six opérateurs, des indicateurs spécifiques à l'établissement et des indicateurs de gestion.

La mise en place d'un contrôle de gestion et la définition d'un nouveau schéma d'orientation des systèmes d'information de l'établissement devrait permettre d'avancer vers des indicateurs de performance, voire d'efficience, en rapprochant les indicateurs d'activité des indicateurs de gestion.

Télécharger le document au format PowerPoint.

Evaluation de la performance de la R&D dans une industrie alimentaire : Application des « KPI »
(key performance index)

Moïse RIBOH

Directeur de la Prospective Stratégique et des Relations Scientifiques

Danone Vitapole

Pour des raisons stratégiques, aucun document ne peut être diffusé. Toutefois, si vous souhaitez avoir des informations, veuillez contacter « Ile de Science » au 01 60 19 09 32.

Table ronde

Opportunité, contraintes et impact sur le pilotage et la stratégie des établissements de recherches

Participaient à cette table ronde :

Alain BRAVO, Directeur Général, Supélec

Pierre CHAVEL, Directeur de la Recherche, Institut d’Optique

Moïse RIBOH, Directeur de la Prospective Stratégique et des Relations Scientifiques, DANONE

Bernard SALANON, Direction des Sciences de la Matière, Centre CEA de Saclay

Jean-Pierre VERJUS, Directeur de l’Information Scientifique et de la Communication, INRIA

Cette table ronde était animée par Jean-Jacques DUBY, Président de l’OST

Jean-Jacques DUBY

La mesure de la performance de la recherche privée et publique implique la mise en place d’indicateurs et d’objectifs. On peut dégager des débats de la matinée un certain nombre de lignes directrices que je vais tenter de résumer.

D’abord, il s’agit de passer de la seule qualité scientifique à une performance globale multicritères. Cette novation suscite un grand intérêt au sein du secteur public, le secteur privé étant plus familiarisé avec cette approche. Cette nouveauté génère également une certaine inquiétude, qui devrait rester limitée dans la mesure où cette approche a toujours permis d’obtenir des résultats positifs, même si l’apprentissage est parfois long.

Ce matin, Philippe Debrosse a clairement décrit la nouvelle problématique de la LOLF, ainsi que le problème de la multiplication des indicateurs sur lequel nous reviendrons. Nous avons également évoqué les effets pervers des indicateurs lorsqu’ils deviennent des objectifs. De plus, Philippe Debrosse a évoqué le problème posé par la distribution des objectifs. Jean-Marie Friedt nous a indiqués qu’au-delà des indicateurs, il convenait aussi de considérer l’organisation et la dimension collective et coopérative de l’organisme, même si la R&D privée peut se prêter à une mesure purement financière.

Nicolas de Menthière nous a montrés un mécanisme particulièrement opérationnel. Il nous a également expliqué qu’un indicateur devait traduire la volonté stratégique de l’établissement qui le définit. Enfin, Moïse Riboh a ajouté deux dimensions majeures : la durabilité et la dimension culturelle des indicateurs. Je retiens son idée de remplacer la notion de critères de performance par le concept de critères de succès.

Avant d’ouvrir la discussion, je rappellerai trois axes essentiels que nous devrons prendre en compte : la dimension stratégique des indicateurs, leur fonction opérationnelle, leur impact culturel.

I. L’expérience de l’INRIA et la problématique de la collecte d’informations

Jean-Pierre VERJUS

1. L’expérience de l’INRIA

L’INRIA a élaboré en 1999 son troisième plan stratégique. Les discussions avec le Ministère laissaient alors entendre que nous disposerions d’un contrat quadriennal qui comporterait, d’une part, des engagements de l’établissement en matière de performance et, d’autre part, des engagements de l’Etat, que nous avons d’ailleurs obtenus. En effet, entre 2000 et 2003, le nombre de postes et le budget ont progressé de 50 %. Une discussion qui a duré un an nous a permis d’élaborer plus de 50 indicateurs, dont certains comportaient une mesure d’objectifs et d’autres étaient simplement des indicateurs d’observation. Pendant quatre ans, nous avons donc mesuré les indicateurs élaborés avec le Ministère. Cette démarche a constitué un outil de pilotage très utile. Nous avons réuni à deux reprises un visiting committee, ce qui nous a permis de travailler sur de nouveaux indicateurs. Par ailleurs, des discussions sont intervenues dans le cadre de la LOLF pour accroître le nombre d’indicateurs.

En 2003, à la fin de ce contrat quadriennal, nous avons élaboré un nouveau plan stratégique permettant d’aboutir à un nouveau contrat quadriennal pour les années 2004 à 2007. Ce contrat est en cours de discussion. Il comporte, outre les anciens indicateurs, des nouveaux que le visiting committee et le Ministère nous ont demandé d’ajouter. Il comporte aussi des indicateurs issus de la LOLF. Nous disposons aujourd’hui de 151 indicateurs répartis dans quatre tableaux d’objectifs stratégiques et un tableau de suivi des moyens. Après six ans d’expérience, nous disposons donc d’une série d’indicateurs relativement intéressante.

Les quatre premiers tableaux portent sur autant d’objectifs :

- réaliser des percées scientifiques et technologiques au meilleur niveau mondial, dans le cadre de sept défis prioritaires ;

- construire des pôles d’excellence de rang international en partenariat avec les établissements de recherche et d’enseignement supérieur ;

- accroître l’attractivité et le rayonnement de l’Institut dans la compétition internationale ;

- développer une politique de ressources humaines et une culture de gestion au service des ambitions de l’INRIA.

Certains de ces objectifs seront difficiles à atteindre, mais ils ont été définis dans une optique d’amélioration du management de l’Institut. Les indicateurs permettront d’élaborer notre contrat quadriennal, que nous espérons signer prochainement, et offriront la possibilité aux personnes en charge de travailler sur la LOLF de disposer des informations nécessaires.

2. La collecte d’informations

Au départ, le dispositif de collecte d’informations était à la fois informatisé et manuel, chaque indicateur étant confié à l’une des six directions fonctionnelles. Les indicateurs fonctionnels et RH figurent dans le système d’information que nous avons déployé l’année dernière. Les autres indicateurs sont collectés de diverses manières.

Depuis 1994, l’INRIA oblige ses chercheurs à produire un rapport d’activité sous forme électronique. Un partenariat que nous avons conclu voici deux ans avec une start-up issue de l’Institut devrait nous permettre d’exploiter à la source les informations contenues dans ces rapports d’activité.

II. L’objectif de production de connaissances scientifiques au meilleur niveau international

Pierre CHAVEL

L’Institut d’Optique est un établissement privé d’enseignement supérieur, créé en 1917, à l’initiative d’une commission mixte de l’Assemblée Nationale et du Sénat. Il comporte une grande école, l’Ecole supérieure d’Optique souvent appelée Sup Optique.

Pour illustrer mon propos, permettez-moi un détour par les vins. Je suis allé ce week-end à une foire aux vins… L’évaluation et les indicateurs de la viticulture française reposent sur des éléments chiffrés. Cela étant, en tant qu’acheteur de vins, je ne m’intéresse, ni au chiffre d’affaires des viticulteurs, ni au niveau de leur production. Seuls les tarifs et la qualité des vins me préoccupent. A l’inverse, les indicateurs de qualité et de vente qui permettent de formuler une politique nationale n’ont que faire de mon goût. Par conséquent, les critères d’évaluation nationaux et les éléments d’appréciation individuelle ne sont pas nécessairement les mêmes.

Il en est de même pour la LOLF. L’objectif de production de connaissances scientifiques au meilleur niveau international concerne la production scientifique dans les publications de référence internationale. La performance nationale en recherche et la reconnaissance scientifique qu’en tire notre pays peut très bien s’évaluer en fonction du nombre annuel moyen de citations. Cette pratique convient encore au niveau des organismes nationaux de recherche, des établissements, et sans doute des plus gros des laboratoires. Elle est sujette à de nombreux biais et travers bien connus dès qu’on essaie de l’appliquer à une échelle plus fine, par exemple elle devient dangereuse si elle est manipulée sans précaution pour évaluer la qualité de la recherche d’un individu. Cela étant, une publication scientifique ne constitue pas une unité reconnue et standardisée au niveau international. Les personnes en charge de la mise en place de la LOLF devront donc définir très précisément la notion de publication de référence internationale.

A mon sens, nous pourrons obtenir avec ces outils d’excellents indicateurs, tant au niveau national qu’au niveau d’une discipline. Au niveau d’un laboratoire, j’adhère à l’idée selon laquelle le comité d’évaluation doit évaluer l’activité de chaque équipe. Les publications doivent être prises en compte, de même que le nombre de citations, mais il convient aussi d’examiner la nature du travail réalisé. Le chercheur, pour sa part, est actuellement évalué, notamment, par les conseils d’établissement, le Comité National et le CNU. Au-delà du nombre de publications, le rapporteur doit lui-même se forger une opinion sur la qualité scientifique, l’originalité et l’importance du travail présenté dans le dossier. Or il s’agit d’une évaluation extrêmement complexe, qui nécessite du temps et une expertise pointue : ne l’oublions pas.

III. Le cas de Supélec

Alain BRAVO

1. Indicateurs

Dans le cadre du plan quadriennal 2002-2005, nous avons discuté d’un certain nombre d’indicateurs, comme la capacité d’encadrement doctorale des équipes, le suivi du recrutement de doctorants et les publications internationales. En la matière, nous avons considéré qu’il convenait de prendre en compte les travaux présentés dans les revues, les présentations dans les congrès et les publications de brevets. De plus, nous disposons d’indicateurs relatifs à l’activité de nos équipes industrielles.

Ce jeu d’indicateurs, qui nous permet de gérer la tension interne à Supélec entre les recherches fondamentale et industrielle, nous a offert la possibilité de discuter du contrat quadriennal avec nos tutelles. Par ailleurs, nous discutons de ce jeu d’indicateurs avec les chefs de départements qui les évoquent ensuite avec leurs enseignants chercheurs. En particulier, nous examinons le nombre de doctorants encadrés et de publications par chaque enseignant-chercheur, ainsi que le montant de la contribution de chaque équipe aux ressources propres de l’école. Ce système peut donc être décliné à chaque niveau hiérarchique.

A mon sens, il n’y a pas lieu de complexifier ce système dans le cadre du plan quadriennal 2006-2009. En effet, ce dispositif est satisfaisant pour équilibrer les tensions entre les deux activités de Supélec : l’enseignement et la recherche

2. La LOLF

J’ai récemment eu connaissance d’un référentiel présenté comme susceptible d’accompagner les écoles françaises d’ingénieurs dans le pilotage et l’évaluation de leur performance, sous l’angle de la LOLF. Ce référentiel est intéressant dans sa structure parce qu’il comporte différents volets, notamment sur la pédagogie, la recherche et l’innovation et les relations internationales. Toutefois, il présente 99 indicateurs, ce qui est largement excessif pour réaliser un véritable pilotage.

De plus, le poids relatif des domaines peut susciter des interrogations. 21 indicateurs concernent la pédagogie, 20 portent sur les relations internationales, mais sept seulement ont trait à la recherche et l’innovation. Pour ma part, je souhaite disposer d’un système d’indicateurs compatible avec la LOLF, mais équilibré en termes de hiérarchie des objectifs.

3. Le système européen de recherche

Il me semble nécessaire de déterminer de quelle manière mon établissement contribue, d’une part, au couplage entre la recherche et l’industrie et, d’autre part, à la constitution de l’Espace Européen de la Recherche.

A cet égard, le document intitulé Innovation Score Board, publié tous les six mois par la Commission Européenne, me paraît très intéressant. Ce document, devenu un véritable outil de pilotage, met en évidence la notion de système national, comportant des indicateurs relatifs aux ressources humaines, à la création de connaissances, à la transmission et l’application des connaissances et l’innovation. Ce document présente également un classement des 25 pays de l’Union Européenne en termes de recherche, ainsi qu’un tableau des tendances.

Je peux appliquer le jeu d’indicateurs présentés à Supélec. Par exemple, je peux tenter de définir de quelle manière notre école contribue aux indicateurs qui me paraissent pertinents. Ce travail présente l’intérêt de replacer chaque établissement dans le cadre d’un enjeu européen.

En conclusion, je citerai un courrier que j’ai reçu de Rémi Barré, avec qui j’ai préparé mon intervention : « La leçon que peut inspirer une analyse d’indicateurs est que les indicateurs ne valent que par les discussions qu’ils permettent. C’est un peu postmoderne et provocant, mais c’est salutaire. Le grain de la vérité, là comme ailleurs, est à considérer avec circonspection ».

IV. L’évaluation des chercheurs des sciences de la matière du CEA

Bernard SALANON

Le CEA a déjà conclu deux contrats d’objectifs avec l’Etat, si bien que nos chercheurs sont familiarisés avec les indicateurs. Le dernier de ces contrats, qui portait sur 2001 à 2004, comportait 31 indicateurs, dont certains concernent les publications. Nos chercheurs savent qu’ils sont en permanence évalués, par le biais de multiples indicateurs, dans le cadre de leurs activités quotidiennes.

De plus, nos chercheurs ont appris que les indicateurs de qualité des recherches ne doivent pas être craints. En effet, ces indicateurs sont considérés uniquement comme des indications, par des observateurs éclairés. Nos chercheurs savent que les indicateurs quantitatifs figurant dans leurs dossiers ne constituent que l’un des critères d’évaluation. Au cours de leur carrière individuelle, ils ont un entretien annuel et sont évalués à deux reprises dans le cadre d’une audition au cours de laquelle des questions leur sont posées sur l’ensemble de leurs activités, au-delà de leurs publications. Nous évaluons donc la performance de nos chercheurs sur de multiples critères, largement qualitatifs.

En outre, le CEA est doté d’un conseil scientifique et d’un visiting committee international qui se réunit une fois par an pour examiner un ensemble d’activités. La Direction des Sciences de la Matière dispose également de conseils scientifiques et de comités d’évaluation dont le fonctionnement fait l’objet d’une attention particulière.

L’évaluation des chercheurs, des laboratoires et des activités permet, à notre sens, de mesurer notre performance. Outre des indicateurs chiffrés, les travaux sont appréciés qualitativement, notamment par des experts extérieurs.

Par ailleurs, l’évaluation de la performance doit être intégrée au management. Elle peut influer sur le parcours professionnel du chercheur et le fonctionnement des laboratoires. L’évaluation de la performance est donc intégrée à la stratégie. Elle est aussi extrêmement opérationnelle.

V. Organisation, contribution aux objectifs et culture de la performance

Moïse RIBOH

Premièrement, l’organisation doit être dynamique et efficace pour que les critères d’évaluation constituent des facteurs de succès.

Deuxièmement, il convient de maintenir la distinction entre les « délivrables », c'est-à-dire les briques, et le résultat global. Nous considérons, en tant qu’industriels, que l’un des éléments de progrès pour la recherche publique est de montrer de quelle manière les réalisations individuelles contribuent aux intérêts national et international. Chacun doit avoir envie de contribuer à l’atteinte des objectifs et y parvenir effectivement. Les résultats ne sont pas le fait du chef de département. Chacun doit être formé pour devenir un acteur du progrès. Pour notre part, nous avons travaillé, au cours des trois dernières années, au développement d’une continuité transversale au sein de l’organisation. Ce travail nous a permis de comprendre l’importance de la gestion de l’interdépendance.

Troisièmement, la culture de performance doit devenir un véritable mode de vie. Chacun doit se sentir partie prenante d’un projet fédérateur et d’une équipe qui vise le succès.

Jean-Jacques DUBY remercie les intervenants et ouvre le débat avec la salle.

VI. Débat

De la salle

L’assimilation de la performance et du succès me pose une difficulté.

Pierre CHAVEL

Dans certains milieux, la performance, surtout individuelle, n’est pas pertinente. La notion de succès, essentiellement collectif, peut être nettement plus motivante. Le succès collectif est la somme des performances individuelles, à condition que l’organisation fonctionne.

Jean-Pierre VERJUS

Le chercheur a des difficultés à retrouver son activité dans des indicateurs, surtout s’ils sont peu nombreux. C’est pourquoi nous avons cherché à multiplier les indicateurs, quitte à les synthétiser, afin que chaque chercheur y retrouve ses préoccupations.

Un participant

On peut élaborer de nombreux indicateurs de base pour les synthétiser ou, au contraire, définir de grands objectifs pour les décliner.

Alain BRAVO

La notion de performance renvoie à une valeur absolue alors que le succès peut être considéré comme une valeur relative. Il est bon d’être performant, mais encore faut-il se mettre en position de succès, sans quoi la performance peut être gratuite. La performance individuelle doit conduire au succès.

De la salle

J’ai le sentiment que les indicateurs ne recouvrent pas la même réalité dans les secteurs public et privé. Monsieur Riboh présente ses indicateurs comme des outils de management alors qu’avec la LOLF, nous entrons dans une culture de l’indicateur subi, pour le bon plaisir des parlementaires. Nous devons probablement amorcer un changement culturel concernant les indicateurs.

Moïse RIBOH

Je suis totalement d’accord avec vous, mais le problème que vous évoquez peut aussi exister dans le privé. On a le sentiment de subir lorsque l’on ignore à quoi l’on contribue. Lorsque vous savez à quoi vous contribuez, vous pouvez rapidement arriver à dépasser cette perception.

Un participant

Le secteur privé manipule des indicateurs depuis des décennies. Certains organismes, comme le CEA ou l’INRIA, sont également familiarisés avec cette approche. La fonction publique souhaite aujourd’hui mettre en place des indicateurs. Quelles que soient les modalités de cette mise en place, chacun doit se retrouver dans ces indicateurs.

Alain BRAVO

Il convient de différencier les données des indicateurs. A mon sens, un indicateur doit contribuer à la réalisation d’un objectif collectif et permettre la prise de décision. Si nous parvenons à négocier, avec nos interlocuteurs publics en charge de la mise en place de la LOLF, des indicateurs de nature à contribuer à la réalisation d’un objectif, le dispositif sera utile, compréhensible de tous et pourra se décliner à chaque niveau. En revanche, si ces indicateurs visent une collation générale de données permettant de radiographier les organisations, ils seront terrorisants. La mise en place de tout système de données de gestion impose la conduite d’une réflexion stratégique visant à identifier les données et à définir les indicateurs permettant de prendre des décisions.

Moïse RIBOH

Dans une entreprise, il existe des indicateurs comptables et des indicateurs de management. Les premiers doivent être élaborés de la manière la plus précise possible. Sans indicateurs comptables, les indicateurs de management ne sont que de peu d’utilité. Or les indicateurs de la LOLF se situent peut-être à la limite des domaines comptables et de management.

De la salle

Il peut exister plusieurs niveaux d’évaluation. Par exemple, la Grande-Bretagne dispose d’un système comparable à la LOLF depuis 15 ans. Dans ce cadre, les research councils sont évalués sur leur capacité à appliquer les priorités politiques à la recherche. Par ailleurs, l’excellence scientifique de chaque établissement est évaluée tous les quatre à six ans. L’établissement propose une liste de chercheurs à évaluer, ces derniers devant communiquer leurs cinq meilleures publications qui sont évaluées par des rapporteurs. De plus, des évaluations bibliométriques sont réalisées au niveau national. En France, nous sommes au début de ce processus. La LOLF pourra, elle aussi, donner lieu à toute une série d’évaluations.

Pierre CHAVEL

Comme je l’indiquais précédemment, j’adhère totalement au premier objectif de la LOLF, et donc aux indicateurs liés aux publications. En revanche, je rejette le deuxième indicateur, concernant le taux de renouvellement des unités de recherche, mesuré par la demi-somme des ouvertures et des fermetures de laboratoires ; la nécessité d’une évolution des laboratoires, qui peut se traduire par des ouvertures et des fermetures, est un sujet de réflexion pertinent, mais qui ne saurait être évalué par un critère aussi simpliste et facile à contourner.

Un intervenant

Je constate, concernant le troisième objectif, relatif au développement et à l’évaluation de la recherche publique, toutes structures confondues, qu’il est nécessaire de définir des indicateurs d’évaluation de l’activité de recherche des individus.

De la salle

Y a-t-il eu, en France, une tentative de rapprochement entre les recherches publique et privée pour définir des indicateurs dans le secteur public ? Pourriez-vous nous donner des précisions sur les résultats de la mise en place de dispositifs comparables dans d’autres pays européens ?

Jean-Pierre VERJUS

Nous avons été très influencés par le secteur industriel dans la mise en place de nos indicateurs. En particulier, le Président de notre visiting committee, issu de Thalès, a demandé la création d’indicateurs mesurant notre performance dans notre partenariat avec le monde industriel.

De la salle

L’OST pourrait réfléchir à la mise en place d’un lieu d’échange et de réflexion, sur ce sujet, entre les secteurs public et privé. Par ailleurs, dans le cadre du new public management, toute une série de pays a mis en place des dispositifs comparables à la LOLF. Les bilans réalisés démontrent les effets pervers d’un certain nombre d’indicateurs, notamment bibliométriques.

Un participant

Ces exemples démontrent généralement que les objectifs définis n’étaient pas pertinents, et non qu’il n’est pas pertinent de définir des objectifs.

De la salle

Parmi les effets positifs, ce type de système permet d’améliorer le dialogue entre la représentation parlementaire, le Ministère et les opérateurs de recherche. En outre, le fonctionnement de ces derniers est devenu plus performant.

Moïse RIBOH

Il serait souhaitable d’instaurer un dialogue, entre les secteurs public et privé sur les critères d’évaluation, au travers d’initiatives concrètes comme les pôles de compétitivité. Si cet exercice restait au stade théorique, il ne permettrait pas de rapprocher les secteurs public et privé.

De la salle

Monsieur Riboh indiquait que les indicateurs devaient être gérés comme des outils de motivation. Comment procéder ainsi dans la recherche publique ? Existe-t-il des expériences de motivation de chercheurs par des indicateurs ?

Jean-Pierre VERJUS

D’une part, nous tentons d’extraire les indicateurs des rapports annuels d’activité des chercheurs. D’autre part, le niveau de nos indicateurs est suffisamment fin pour que chacun y retrouve son activité. Nous avons classé nos indicateurs en cinq tableaux dans lesquels sont définies des sous-catégories qui correspondent à autant de niveaux d’observation et de management. Nous tentons de renseigner nous-mêmes ces tableaux, sur la base des rapports annuels d’activité des chercheurs.

Alain BRAVO

Le choix des indicateurs relève toujours d’une décision managériale et stratégique, dans le cadre de laquelle il convient de veiller à coupler les indicateurs à la gestion des ressources humaines. Un indicateur pertinent doit permettre de travailler sur des objectifs stratégiques à partir desquels on peut prendre des décisions internes et externes.

Un participant

Nous avons pu vous donner, ce matin, le sentiment que ce processus était ascendant. En réalité, parallèlement au mouvement ascendant de remontée d’informations, il existe un dispositif descendant de déploiement.

Bernard SALANON

Je reviendrai sur la motivation des chercheurs. Nous tentons de faire en sorte que les chercheurs s’approprient les indicateurs, notamment de production scientifique. Toutefois, le dialogue entre les différents échelons hiérarchiques est bien plus riche de que simples indicateurs. De ce fait, un certain nombre d’objectifs ne se traduisent pas, aujourd’hui, par des indicateurs.

Un participant

Les indicateurs quantitatifs ne constituent pas les seuls éléments du processus d’évaluation, ni des contrats d’objectifs.

Un participant

Il est évident que tous les chercheurs, à quelques exceptions près, sont motivés par l’indicateur de publications de référence internationale. A mon sens, l’indicateur relatif au nombre de citations est nettement plus discutable au niveau individuel. Cet indicateur est pertinent au niveau des grandes masses, et non au niveau individuel.

De la salle

Comment concilier le classement de Shanghai, considéré comme la vox dei, et nos discussions sur la mise en place d’indicateurs ?

Alain BRAVO

Nous devons évidemment nous préoccuper de ce classement, mais sans tomber dans l’excès.

De la salle

Ce classement n’est pas pertinent. En particulier, la France est très défavorisée du fait de la complexité de son système de recherche. Toutefois, ce classement est utile en ce sens qu’il vise à orienter les étudiants. A cet égard, il est gênant qu’aucune des universités françaises ne figure dans les 20 premières places. Un autre classement, récemment publié, porte sur la visibilité des universités et des organismes de recherche sur l’Internet. Cinq universités françaises figurent parmi les 500 premières. Ce problème de visibilité est lié à la manière dont les chercheurs intitulent leur site Internet. Nous devons prendre conscience de notre manque de visibilité, mais il ne s’agit pas d’en déduire que la recherche française n’est pas performante.

De la salle

L’INSERM a récemment réalisé une étude sur le nombre de ses publications figurant dans le Top 1 %, comparé au nombre de publications du MRC et de l’université d’Oxford figurant dans ce classement. Nous avons pu constater que 80 % de l’ensemble des publications de l’INSERM disparaissent. Ce taux de perte se limite à 20 % pour le MRC et il est nul pour l’université d’Oxford. Ces pertes sont essentiellement liées à la diversité des libellés des adresses Internet.

De la salle

Les critères utilisés dans le cadre du classement de Shanghai sont très largement corrélés à la taille des établissements. Les établissements les plus prestigieux sont donc évidemment bien classés – ce qui ajoute à la crédibilité du classement, puisque ce sont ceux que l’on connaît.

De la salle

Il convient de prêter attention à la dimension que peut revêtir ce classement et aux réactions qu’il peut susciter, mais il ne doit pas altérer notre appréciation de notre propre performance.

Jean-Pierre VERJUS

Certes, mais il faut comprendre que le monde change. Aujourd’hui, Google permet d’examiner les index de citation et les commentaires. L’INRIA commence à utiliser cet outil. J’attire l’attention des chercheurs de l’INRIA, en particulier dans le secteur informatique, sur le fait que ces outils sont certes imparfaits, mais qu’il faut en tenir compte.

Un participant

Nous avons récemment accueilli trois étudiants chinois qui n’avaient pas consulté le classement de Shanghai. Ils nous ont été envoyés par leurs professeurs qui avaient réalisé leurs études dans des universités européennes de qualité.

Un participant

Je suis stupéfait du manque de représentation de la France dans les cercles des key opinion leaders. L’on ne peut que déplorer cette situation. La voix de la France est dispersée. Pour jouer un rôle d’influence, il est nécessaire de prendre part à ces cercles au sein desquels les Néerlandais et les Suédois sont très influents. Notre pays doit prendre l’initiative. Les chercheurs français sont généralement respectés au niveau individuel, mais leur force collective n’est pas promue.

De la salle

Nous ne modifierons pas les chiffres si nous ne mettons pas un terme à la balkanisation actuelle de la recherche française, quels que soient les cercles d’influence auxquels nous appartenons. Nous devons nous remettre en question.

De la salle

Les EPIC, dont fait partie le CEA, disposent d’indicateurs inspirés du secteur privé, et aucun d’entre eux n’en est mort ! Nous ne pourrons échapper au modèle des indicateurs et de l’organisation anglo-saxonne, adopté par tous les pays. Cela étant, en Grande-Bretagne, après une phase d’enthousiasme, les résultats des indicateurs sont aujourd’hui plutôt négatifs.

Jean-Jacques DUBY

En conclusion, je reprendrai d’abord les trois niveaux d’analyse : stratégique, opérationnel et culturel.

Au plan stratégique, il semble exister des désaccords sur le nombre d’indicateurs, mais il est certain que ce nombre doit être important. De plus, indépendamment du choix entre une approche ascendante ou une approche descendante, l’essentiel est de faire en sorte que chacun dispose d’un indicateur sur lequel il peut directement influer. En outre, les indicateurs doivent être l’expression d’une politique, mais aussi permettre de prendre des décisions. D’une manière générale, les indicateurs de plus haut niveau ont un rôle stratégique : ils doivent refléter une direction, une politique, ce qui constitue une difficulté lorsqu’il n’y a pas de direction stratégique ni de politique... Concernant le choix des indicateurs, il peut être judicieux d’associer des interlocuteurs industriels. De plus, il convient d’acculturer les décideurs politiques qui, pour l’heure, n’ont pas la culture des indicateurs.

Au plan opérationnel, le dispositif de collecte des données doit faire partie du système d’information de l’organisme. Les données sont évidemment issues des chercheurs, mais le rôle du management est essentiel dans la collecte. Par ailleurs, l’idée d’une collecte de données au sein d’une masse d’informations implicites paraît intéressante. Comme cela a été indiqué, les indicateurs quantitatifs ne doivent pas constituer les seuls outils d’évaluation, particulièrement au niveau du département, de l’unité et de l’individu ; ce message doit être largement diffusé parce qu’il répond à une crainte de nos collègues.

Au plan culturel, nous avons peu progressé. Dans le secteur privé, les acteurs sont totalement familiarisés avec les indicateurs. Il en est de même dans certains établissements publics, qui constituent toutefois une petite minorité. Cette acculturation doit aller de pair avec l’organisation. La performance individuelle doit numériquement contribuer à l’objectif, mais il faut amplifier le rôle qualitatif de l’individu dans l’organisation et créer des synergies. La question de la reconnaissance dans la gestion des ressources humaines constitue probablement un sujet délicat, mais l’utilisation des indicateurs dans cette gestion donne unanimement satisfaction là où elle est mise en place. En outre, la notion de contribution au succès est probablement plus motivante que le concept de performance individuelle.

Concernant le classement de Shanghai, comme l’indiquait Moïse Riboh, les Français ne font probablement pas suffisamment d’entrisme, contrairement aux Anglo-Saxons. Il serait bon de transmettre ce message en haut lieu.

Laurence REINHART

Merci pour cette synthèse sur laquelle nous travaillerons pour formuler une proposition que nous soumettrons à Jean-Jacques Gagnepain, mais aussi à d’autres personnes. Je vous remercie pour votre participation cette table ronde. Je remercie également Fabienne Delcroix, qui a assuré l’organisation matérielle de cette journée. Je vous donne rendez-vous les 14, 15 et 16 octobre, pour la Fête de la Science.