Sommaire
Jacques PROST
Laure REINHART
Rémi BARRÉ
Ghislaine FILLIATREAU
Bibliométrie et positionnement stratégique dans une institution : le cas de l’INRA
Michel ZITT
Xavier POLANCO
Nicole SCHNEID-CITRAIN
Evaluation de la recherche et visibilité internationale : le cas d’HEC
Thierry FOUCAULT
La visibilité internationale d’un pôle scientifique
Table ronde
Je suis très heureux de vous accueillir aujourd'hui à l’Ecole Supérieure de Physique et de Chimie Industrielles de la ville de Paris. C’est dans cette école que Pierre et Marie Curie ont découvert le radium et le polonium, que Paul Langevin a découvert le sonar et que Georges Claude a pour la première fois liquéfié de l’air. Cette école est fortement ancrée dans la recherche depuis sa création, mais elle a aussi toujours été ancrée dans le monde de la production, d’où le qualificatif « d’industrielles ». Plus récemment, Georges Charpak a développé ici une technique d’imagerie médicale. La présence de Pierre-Gilles de Gennes nous a également renforcé dans le domaine de la matière molle. Cette école a gardé son originalité et s’intéresse à beaucoup de sujets importants, même si les récents classements, comme ceux du journal « Le point » ou de l’université de Shanghai, ne reflètent pas toujours notre vraie position, ce qui montre l’importance d’un véritable travail scientifique de bibliométrie. Merci donc d’être présents aujourd'hui pour débattre de ce sujet important.
L’association Ile de Science, créée voici une trentaine d’années, avait pour objectif de regrouper les organismes de recherche (université de Paris-Sud, laboratoire central de recherche de Thomson-CSF…) et d’enseignement supérieur (Polytechnique, Supélec, HEC…) du plateau de Saclay. Cette association s’est ensuite étendue plus à l’Est de Paris, avec l’INT et l’université d’Evry, et à l’Ouest, avec l’université de Versailles-Saint-Quentin et l’INRIA de Rocquencourt. Notre association regroupe aujourd’hui vingt-cinq organismes d’origine diverse : universités, grandes écoles (Polytechnique, Supélec, ENSTA, ONERA), des organismes de recherche (INRA, INRIA) ou des centres de recherche privés (Danone, Air Liquide, Thales, Glaxo Wellcome).
Notre association a pour objectif de créer une communauté scientifique dans l’arc sud de la région parisienne, de travailler ensemble sur des sujets transverses et de mettre en valeur nos organismes et la science de manière générale. C’est dans ce cadre que nous organisons, chaque année, la Fête de la Science, destinée au grand public, ainsi que des colloques autour de thématiques transverses intéressant à la fois les chercheurs, les gestionnaires de la recherche et les responsables politiques.
Dans ce cadre, nous avons organisé des colloques sur la propriété industrielle et la protection des résultats de la recherche, et bientôt un autre sur l’éthique du métier de chercheur. Nous menons aussi des opérations plus locales, autour du synchrotron Soleil, par exemple.
Le sujet de la bibliothèque numérique est traité depuis 1996 par un groupe de travail très actif. Ile de Science organise chaque année une manifestation sur ce thème. Cette année, nous avons choisi de traiter le sujet de la bibliométrie et de la scientométrie. La bibliométrie est aujourd'hui un sujet brûlant. Le récent classement de Shanghai montre d’ailleurs bien l’importance de l’évaluation scientifique dans notre monde de chercheurs. Les chercheurs ont toujours travaillé à l’échelle mondiale mais, grâce à Internet, ils se connaissent de mieux en mieux. Internet est donc un grand atout mais, les évaluations, lorsqu’elles sont faites sur des critères trop partiels, peuvent poser problème. J’ai appris récemment que le moteur de recherche Google aurait passé un accord avec seize universités américaines pour référencer le contenu de leurs dépôts électroniques. Ces universités disposent donc d’un avantage considérable et nombre de chercheurs considèrent déjà, que faire une présentation à l’université du Maryland ou de Berkeley leur donnera une plus grande réputation internationale que publier un article dans une revue scientifique, même reconnue. Les outils de bibliométrie, la façon de les utiliser, les critères à utiliser sont pour nous autant de sujets d’interrogations. C’est la raison pour laquelle nous avons organisé cette journée.
Je remercie Monsieur Prost pour son accueil, ainsi que toutes les personnes de l’ESPCI qui nous ont aidé à organiser cette réunion. Je tiens également à remercier le groupe de travail d’Ile de Science qui a préparé cette journée.
La bibliométrie est un sujet d’actualité, qui intéresse à la fois les chercheurs, les gestionnaires et les responsables politiques. Nous parlerons aujourd'hui de ces analyses statistiques qui consistent à répertorier les citations figurant dans des bases de données, des publications scientifiques, des brevets, ou des articles. Même si l’on peut discuter du choix des journaux répertoriés et des articles considérés, du repérage du nom et de l’adresse des auteurs, ces analyses ont pris aujourd'hui un rôle majeur dans l’évaluation scientifique. On voit apparaître autour d’elles des usages plus sophistiqués, comme le repérage de sujets émergents. On les utilise aussi depuis quelques années pour le positionnement stratégique des institutions. On les utilise même pour dresser des palmarès qui sont en passe de faire foi au niveau international et que nous ne pouvons plus ignorer dans le contexte actuel de compétition mondiale entre institutions de recherche.
La bibliométrie devrait jouer un rôle majeur pour leur avenir, comme le montre le récent exemple du classement de Shanghai. Si les institutions françaises y sont aussi mal classées, c’est sans doute à cause de leur fragmentation en entités multiples ayant des affiliations institutionnelles variées. Nous avons pourtant des entités fortes qui peuvent rivaliser avec n’importe quelle institution internationale. Cela nous invite donc à réfléchir à la visibilité de notre système de recherche au niveau international.
L’Observatoire des Sciences et des Techniques est un groupement d’intérêt public dont sont membres les principales institutions de recherche et les ministères émargeant au BCRD. Depuis sa création en 1990, il a développé un important savoir-faire en matière d’indicateurs de R&D puisque sa mission première était de positionner les acteurs de recherche français dans l’univers de la R&D. Nous manipulons toutes sortes d’indicateurs mais les indicateurs bibliométriques sont particulièrement importants dans notre activité.
La bibliométrie est une métrique basée sur l’étude des articles scientifiques produits par les laboratoires et centres de recherche et répertoriés dans des bases de données, en particulier la base de données de l’Institute for Scientific Information (ISI) qui est devenue un standard de fait pour les sciences de la matière et les sciences de la vie. Cette base repose sur le principe d’une sélection raisonnée de journaux. C’est une base pluridisciplinaire qui offre, pour décrire la recherche mondiale, un « univers de référence commun ». Elle permet à l’ensemble des acteurs de se positionner dans cet espace commun et d’observer l’évolution de leurs positions respectives. Il s’agit donc bien d’un outil d’analyse stratégique.
Il est donc important de pouvoir se positionner relativement à cet univers de la recherche mondiale. Ainsi, la France représente 5,1 % de la recherche mondiale en termes de part de publication – soit la cinquième position derrière les Etats-Unis, le Japon, la Grande-Bretagne et l’Allemagne – et 4,8 % en termes de part mondiale de citations. Son impact relatif à 2 ans est de 0,93, soit un chiffre légèrement inférieur à la moyenne mondiale, mais il reste stable. On peut également noter que, hormis la biologie fondamentale et la recherche médicale, toutes les disciplines ont un indice d’impact supérieur à la moyenne mondiale. La France paraît en fait assez spécialisée en mathématiques et en physique.
La base permet également d’étudier les partenariats entre pays, en mesurant leurs co-publications.
Ces études, développées par l’OST, ne s’appuient pas sur les structurations a priori de la base, d’où la nécessité d’identifier et de positionner dans la base les articles produits par l’acteur. Cela suppose de travailler avec des experts du domaine pour formuler des questions adaptées à la problématique de l’acteur considéré et d'adapter les indicateurs à ses contraintes techniques et ses questions stratégiques.
L’OST a réalisé en 1999 une étude de faisabilité pour le parc technologique de Sophia-Antipolis, situé dans les Alpes maritimes. Nous avons travaillé avec des experts et les responsables du parc pour définir l’ensemble de leur production (articles et brevets) a partir d'un travail sur les codes postaux. Nous avons répertorié 500 articles pour l’année 1999, soit 13 % de la production de la région et 43 % de celle du département. Nous avons ainsi pu constater que ce parc avait un poids assez important en matière de recherche médicale, en chimie, en physique et en mathématiques. Cette étude a montré que l’on pouvait aborder de cette manière la définition des activités scientifiques et technologiques du parc. Nous sommes en train de la pérenniser et nous allons l’étendre dans le temps, tous les tests ayant été concluants.
Ce dispositif, mis en place en 2000,associe les principales institutions de recherche française, le ministère en charge de la recherche et l'OST, qui en est l'opérateur. Il permet de positionner les principales institutions de recherche française dans la base de données de publications de l'OST, et de les positionner par rapport à la recherche mondiale et européenne, et également les unes par rapport aux autres. Il en ressort que le volume de production des institutions est très hétérogène, tant en termes de production (17 000 publications pour le CNRS et 24 000 pour les universités contre 2 000 pour l’INRA ou 4 000 pour l’INSERM) que de ressources humaines. On peut également remarquer que les institutions françaises sont très recouvrantes et que leur activité est marquée par une grande mixité : non seulement elles collaborent, mais elles publient aussi beaucoup d’articles en commun car les laboratoires sont souvent mixtes ou co-affiliés.
Concernant les disciplines des sciences de la vie (biologie fondamentale, recherche médicale, biologie appliquée), les universités sont présentes dans les trois disciplines, notamment la recherche médicale, alors que le CNRS est plus présent dans la biologie fondamentale. Pour sa part, la recherche de l’INSERM s’équilibre entre biologie fondamentale et recherche médicale.
Concernant l’impact relatif mondial de ces acteurs, on peut noter qu’en biologie fondamentale, l’indice du CNRS est de 1,16, celui des universités de 0,92 et celui de l’INSERM de 1,25. Il existe également des indicateurs de performance (comme le ratio de citation relatif et l'indice d'activité des articles d'une institution) qui permettent de réaliser des positionnements stratégiques plus représentatifs de la diversité des institutions.
Il s’agit d’utiliser la base pour décrire des domaines de recherche, et y positionner les institutions. Pour décrire un domaine de recherche, on sélectionne les articles dans la base à partir de leur contenu, et non plus de leur journal de publication. Pour ce faire, nous avons développé, en collaboration avec une équipe de statisticiens, une méthode lexicométrique consistant à créer un univers de mots-clés relatifs à chaque domaine de recherche. L'étude nous a, par exemple, permis de remarquer que la génomique est un domaine de recherche en forte expansion (40 000 articles annuels répertoriés entre 1993 et 1995 contre 60 000 entre 1999 et 2000). C’est aussi un domaine très compétitif puisque les articles relatifs à la génomique ont un impact moyen à deux ans de 15 citations, contre 8 pour les articles relatifs à l'ensemble des sciences de la vie. Nous avons également étudié la distribution de la génomique par rapport aux disciplines de la base, ce qui nous a permis de constater que 52 % des articles relevaient de la biologie fondamentale et 33 % de la recherche médicale.
En termes de production et d’impact, le premier acteur en matière de génomique est les Etats-Unis (40 % des publications et 1,31 d’impact relatif). La France est cinquième en termes de production et neuvième en termes d’impact relatif. On peut noter que la France est assez spécialisée en génomique, de même que le Japon. Ce travail avait pour premier objectif d'évaluer l’impact du programme national génomique lancé par le Ministère de la recherche, ce que nous pourrons faire lors de la prochaine mise à jour de l'étude : elle nous permettra d'observer, quatre années après la première mesure faite ici en 2000, la position relative des différents pôles génomiques régionaux (Ile-de-France, Evry-Val d’Essonne, Alsace-Lorraine…) dans le paysage de la recherche génomique française.
Beaucoup de ces études sont accessibles sur notre site : www.obs-ost.fr
Robert DUCLUZEAU, Ile de Science
Vous avez dit que beaucoup d’articles étaient co-publiés par les institutions françaises. Je vois donc difficilement comment on peut les positionner les unes par rapport aux autres.
Ghislaine FILLIATREAU
C’est là que réside toute la difficulté de l’exercice. Beaucoup d’articles sont effectivement co-publiés et le taux de recouvrement des institutions de recherche est assez élevé. Nous utilisons en complément des indicateurs de positionnement relatifs au monde ou à la France, des indicateurs qui nous permettent de mieux caractériser les différentes institutions (ration de citation relative, indices d’activités, mais aussi collaborations internationales et profils disciplinaires par exemple)
De la salle
Votre méthode lexicométrique est-elle également baptisée « bibliomie » ?
Ghislaine FILLIATREAU
Nous avons travaillé avec des lexicomètres (Michel Kerbaol, Jean-yves Bansard) qui font de l’analyse factorielle de correspondances. Cela consiste à regarder la distribution de fréquence des mots au sein des articles puis à regrouper ceux qui utilisent les mêmes mots associés avec les mêmes fréquences d'association.
De la salle
Les publications de l’INSERM ont-elles plus d’impact que celles des universités ?
Ghislaine FILLIATREAU
L’INSERM distribue effectivement très bien ses publications entre les différentes classes d'impact (indice d'activité fort dans les classes d'article les plus cités). Il faut cependant savoir que les journaux qui ont le meilleur indice d’impact sont souvent orientés vers la recherche fondamentale, et que le type d'activité scientifique d'une institution va conditionner ses possibilités d'avoir des articles très cités (son "espérance" de citation).
De la salle
Vous avez acquis la base de l’ISI grâce à la collaboration de nombreux instituts. Leurs laboratoires y auront-ils accès ?
Ghislaine FILLIATREAU
L’OST est effectivement en train d’acquérir une licence pour utiliser le web of science dans une version bibliométrique. Les institutions qui ont participé au tour de table pourront utiliser cette base en tant qu’outil bibliométrique.
De la salle
Si un établissement souhaite élaborer un tableau d’indicateurs, l’OST peut-il l’accompagner ?
Ghislaine FILLIATREAU
L’OST a pour mission de participer à la diffusion des connaissances mais notre équipe est très réduite et il nous est impossible d’accompagner tous les établissements de France. Nous essayons donc plutôt de diffuser des documents pédagogiques ou de participer à des colloques. J’attire votre attention sur le fait qu’il faut être très vigilant si l’on souhaite établir des indicateurs « maison », surtout quand on prétend faire un classement.
Laure RENHART
Qui choisit les journaux qui font partie de la base ISI ?
Ghislaine FILLIATREAU
L’ISI est un éditeur de bases de données privé. Son premier objectif est d’élaborer des produits qu’il pourra vendre. Il fait donc très attention à la qualité de sa base. C’est l’ISI qui choisit les journaux sur la base de critères reconnus par les chercheurs et les institutions de recherche. Il évalue en permanence leur impact et les intègre dans sa base à partir d’un certain niveau de reconnaissance internationale.
De la salle
Qu’en est-il des journaux électroniques ?
Ghislaine FILLIATREAU
L’ISI en a intégré certains dans sa base de données. On peut également citer ce nouvel acteur qu’est le pre-print. Actuellement, le jeu en matière d'édition scientifique – et donc d'articles qui sont la matière première des indicateurs bibliométriques - est très ouvert.
De la salle
Comment l’ISI prend-il en compte l’accès aux journaux électroniques ?
Ghislaine FILLIATREAU
Pour l’instant, les bases d’archives ouvertes et les éditions scientifiques classiques se recouvrent encore largement. Les articles publiés dans les bases d’archives ouvertes sont en effet souvent publiés ensuite par un éditeur classique. L’ISI se préoccupe donc surtout de faire entrer dans sa base ces journaux qui, même électroniques, restent dans le jeu de l'édition classique.
Françoise ROUSSEAU, CEA
L’ISI vient justement de publier un article sur les journaux électroniques gratuits en montrant qu’ils étaient parfois mieux cités que les journaux classiques. Le monde de l’édition commence donc à se poser des questions.
Ghislaine FILLIATREAU
L’intérêt de l’ISI est de refléter la recherche telle qu'elle se diffuse et est reconnue par les chercheurs, et de constituer une base de données bibliométrique fiable. Son intérêt n’est donc pas automatiquement le même que celui des éditeurs.
Michel ZITT
Je précise que si l’OST s’appuie généralement sur le périmètre de l’ISI, nous avons aussi la possibilité de l’ajuster , notamment en retirant certains journaux.
Rémi BARRÉ
Il existe aussi un phénomène « d’auto-réalisation ». Autrement dit, dès que l’ISI intègre un journal dans sa base, celui-ci devient plus attractif et voit son indice d’impact augmenter Je tiens également à attirer votre attention sur les risques de biais. Chacun peut en effet légitimement penser que certains journaux sont plus importants que d’autres. Il faut donc se garder des interprétations hâtives. Je remarque par ailleurs que l’indice de citation de la France reste faible dans le domaine de la médecine, ce qui tient sans doute au fait qu’il existe encore beaucoup de publications rédigées en français.
Ghislaine FILLIATREAU
L’OST a effectivement réalisé une version normalisée de la base en en retirant des journaux qui n’avaient pas pour vocation première la circulation de résultats de recherche entre chercheurs, mais plutôt la diffusion de cette information vers d'autres publics professionnels (revues "de transfert"). Ce que vous dites par ailleurs sur la recherche médicale est exact. D’ailleurs, c'est aussi grâce à l’accroissement de la part des articles rédigés en anglais que la recherche médicale fait partie des disciplines qui ont le plus amélioré leur indice d’impact ces dernières années.
A l’INRA comme dans d’autres institutions de recherche, la bibliométrie est d'emploi récent, mais fait l’objet d’une demande croissante dans ses applications opérationnelles.
L’analyse bibliométrique a trois applications majeures dans ce contexte institutionnel :
· l’établissement de tableaux de bord ;
· le positionnement stratégique
· la veille scientifique et technologique.
Ces tableaux de bord répondent à une nécessite institutionnelle, tant en interne que vis-à-vis des tutelles - contrats d'institution, perspective de la LOLF : la mesure et le positionnement de l'activité scientifique. Tous les niveaux de décision sont potentiellement concernés par l’élaboration de ces tableaux de bord : l'institut dans son ensemble, les départements scientifiques, les centres, les unités...
La bibliométrie est pertinente pour décrire la dimension "outputs codifiés", particulièrement les publications et les brevets, de ces activités. Il existe bien entendu d'autres dimensions importantes, reprises dans la fameuse "Rose de Vents" de la recherche du CSI-Mines (formation, expertise, liens avec l'industrie, le grand public, etc.). Le suivi des outputs mesurables dans les tableaux de bord d'activité exige une approche systématique, quasi-comptable, pérenne, reposant sur des données certifiées. Il s’agit d’ailleurs d’une fonction "régalienne" qui ne peut être sous-traitée que sur la base d’un cahier des charges strict.
Les institutions recourent à deux types de sources d'information sur les outputs : d'une part, le système d’information interne comporte en général un volet "production scientifique" à côté des données de ressources financières et humaines (à l'INRA, la source interne est le dispositif PubInra-CompAct...) ; d'autre part, les sources externes, en particulier les bases de données qui recensent les publications codifiées : bases de données bibliographiques internationales pour les articles scientifiques, bases des systèmes nationaux ou européens et base Derwent pour les brevets, etc. Les sources externes, en particulier les bases ISI, sont souvent plus complètes que les dispositifs internes des institutions pour recenser leur production de type académique.
Les scientifiques exercent leur activité dans un contexte de compétition et de coopération internationale, ce qui invite l’ensemble des acteurs au positionnement stratégique et à la veille.
Il est commode de distinguer, pour une institution, deux niveaux de positionnement :
· un positionnement macro-stratégique (typiquement sur les thématiques existantes) ;
· un positionnement micro-stratégique (typiquement sur des référentiels à construire).
Pour établir le positionnement macro-stratégique d’une institution, on utilise donc des référentiels classiques, territoriaux (région, nation, Europe, monde, etc.) et thématiques (catégories des bases bibliographiques, plan de classement, etc.), pour construire sur ces grilles relativement simples des indicateurs type (volume de production, spécialisation par thème, impact et excellence, partenariats, etc.). Ces analyses permettent notamment de visualiser le réseau des concurrents et partenaires. Deux exemples concernant l'INRA, qui font appel à l'appui technique de l'OST:
a) opération multilatérale: la Coopérative inter-institutionnelle
Pour le positionnement macro-stratégique, on utilise en général des référentiels existants, comme les collections de journaux qui constituent le référentiel disciplinaire des bases ISI. Un exemple est l'exercice réalisé dans le cadre de la Coopérative inter-institutions, (EPST, EPIC, Universités) constituée à l'initiative du Ministère de la Recherche, et qui vise l'établissement d'indicateurs partageables et consolidables dans cinq domaines: les ressources humaines, les ressources financières, la production scientifique, la valorisation, l'appui aux politiques publiques. L'OST intervient en tant qu'opérateur technique. Le volet Production Scientifique ("IPSIR") prévoit de repérer les publications et de calculer les indicateurs bibliométriques standard sur la base de référentiels communs.
b) opérations en bilatéral OST-organisme
L’OST offre également des analyses en bilatéral avec les organismes. Deux exemples récents concernant l'INRA : une étude du pôle Végétal d’Angers, où l'INRA est un acteur majeur, pour la technopole d'Angers et une étude en cours du centre INRA de Jouy-en-Josas.
L’OST dispose de données mondiales et de référentiels classiques (grilles disciplinaires) qui réduisent le coût de telles analyses de positionnement. Comme variante, les institutions peuvent aménager ces référentiels, par exemple construire une grille thématique fondée sur des regroupements de journaux différentes des "catégories" de l'ISI. Elles peuvent également injecter leurs propres caractérisations des articles (p.ex. assignation à une unité de recherche, ou à une orientation thématique : activité, axes prioritaires, champs thématiques, etc.). Ces grilles sont ensuite projetées sur les données OST. Ce modèle d'analyse en bilatéral est prometteur. Pérennisé et routinisé, il peut constituer un outil de positionnement puissant, ajoutant au "tableau de bord" d'institution décrit plus haut, une richesse de référentiels et d'indicateurs ouvrant sur l'analyse stratégique.
La question type est celle du positionnement d'une institution, face à ses concurrents et partenaires possibles, sur un domaine scientifique jugé stratégique. Bien souvent, ce domaine n'est pas défini par les référentiels thématiques traditionnels, a fortiori s'il s'agit d'un domaine émergent ou transversal. Le niveau de granularité "journal" souvent adopté en macro-analyse ne suffit plus et il faut construire la thématique par assignation d'articles individuels, puis déterminer la structure en sous-domaines et "fronts de recherche". Pour ces deux tâches, il faut soumettre l’ensemble des réseaux bibliométriques (analyse lexicale, analyse de citation) à un arsenal adapté de techniques d'analyse de données, de graphe, de cartographie.
Sans toutefois mobiliser l'ensemble de ces ressources bibliométriques, l’INRA a déjà réalisé des études sur des thèmes micro-stratégiques avec ses équipes d’Avignon (thématique de l’eau), de Grenoble (biotechnologies), de Nantes (lipides), d’Angers (plantes ornementales), de Tours (apoptose) ou d’Antibes (secteur écologie-environnement), etc. L’INRA a également réalisé des travaux en amont comme la normalisation des impact factors ISI (Marie-Hélène Magri à Jouy-en-Josas) pour les chercheurs.
La bibliométrie peut avoir d’autres applications opérationnelles, comme la veille scientifique et technologique, mais cela suppose de gérer des flux d’informations massifs et hétérogènes avec une grande réactivité. Le positionnement stratégique et la veille partagent plusieurs techniques (fouille de données, classifications sur grands ensembles, etc.), mais avec des contraintes différentes.
NB : Nous n'aborderons pas ici les applications "cognitives" de la bibliométrie , en économie et sociologie de la science.
Les initiatives sont nombreuses mais parfois un peu chaotiques. Quelques opérations transversales ont été lancées et notre Direction de l’Information a constitué un groupe de réflexion bibliométrique dont le rapport final a été récemment transmis. L’exploitation du gisement de compétences, réseau documentaire et spécialistes bibliométrie reste à optimiser. Il faut aussi prévoir une sensibilisation à la bibliométrie et à l’interprétation des indicateurs, aussi bien de professionnels de l'information scientifique que des chercheurs eux-mêmes confrontés de plus en plus souvent avec ce type d'analyse. Il faut également optimiser les partenariats car les études de positionnement nécessitent l’utilisation d’outils « industriels ». Il faut enfin articuler bibliométrie et instances de décision. Cette approche doit être véritablement intégrée par les différents échelons de la hiérarchie car ces indicateurs n'ont de sens que dans une perspective stratégique.
Norbert AUSTIN, Université d’Aix-Marseille III
Vous avez rappelé qu’il y avait d’autres paramètres à prendre en compte pour évaluer une recherche. Les prenez-vous en compte dans vos analyses ? Quels sont les investissements nécessaires pour réaliser ce genre d’opérations ?
Michel ZITT
Les systèmes d’information des organismes sont généralement conçus pour être cohérents et complets. En réalité, il faut prendre des précautions considérables lorsque l’on parle d'évaluation. Prenons l'exemple des mesures de "productivité scientifique". La bibliométrie éprouve quelques difficultés à offrir des outils de mesure de la productivité, car paradoxalement les inputs sont plus difficiles à mesurer que les outputs. Comment mesurer le nombre de chercheurs (et le temps qu'ils consacrent à la recherche) de manière réaliste ? On peut faire d'hasardeuses extrapolations bibliométriques à partir du nombre de chercheurs qui publient (et à condition d'unifier les noms propres), mais il faut le plus souvent recourir aux sources non bibliométriques, en premier lieu les données "ressources humaines" des organismes. Nous pourrions par exemple obtenir des indications de productivité au sein d'entités précises à l'INRA, mais nous manquerions de références nationales et internationales. Dans un autre registre Rémi Barré a publié quelques avertissements sur les mauvais usages des indicateurs de productivité en comparaison internationale. Ce type d'évaluation est donc très délicat.
Il y a bien d'autres problèmes liés à l'évaluation, notamment l'affrontement entre une sensibilité "verticale" privilégiant les classements hiérarchiques, avec quelques abus dans les "hits parades" aux méthodologies fragiles, parfois publiés sur le Web, et une sensibilité plus attentive à la diversité des recherches et à l'incommensurabilité de certaines mesures d'un champ à l'autre.
Rémi BARRÉ
La « rose des vents » de la recherche est d’ailleurs une façon imagée de dire que l’activité de recherche poursuit plusieurs objectifs de manière simultanée : la production de connaissances, la contribution à l’enseignement et à la formation, la contribution à l’innovation industrielle, la contribution à l’expertise publique, la diffusion des connaissances auprès du grand public ou des professionnels, etc. Or si l’on considère simultanément ces différentes dimensions, dont l’une peut être mesurée par la bibliométrie, la question est de savoir comment les pondérer. C’est probablement dans un « mix » de tout cela que se trouvent les bonnes réponses...
Nicolas TURENNE, INRA
J’ai une remarque à faire sur le point de vue du chercheur par rapport à son activité. Pour prendre l’exemple de Monsieur Babnik dans l’informatique, après avoir été totalement ignorées, ses méthodes de classification font fureur depuis la publication de son livre en 1995. Avec une telle approche, ses résultats restaient « invisibles ». Qu’en pensez-vous ?
Michel ZITT
On peut citer d’autres exemples, comme celui de Maurice Allais, prix Nobel d’Economie à près de 80 ans alors qu’il aurait pu l’avoir à 50 ans, parce que nombre de ses communications n’étaient pas assez visibles internationalement. Le physicien et historien des sciences, D. de Solla Price, voyait la bibliométrie, dont il était un père fondateur, comme une approche essentiellement statistique et soulignait qu'il ne s’intéressait pas aux cas individuels. Même s’il faut souvent descendre au niveau individuel pour faire de l'évaluation bibliométrique (en raison notamment de la forme des distributions statistiques, par exemple certains individus particulièrement visibles dans leur domaine « préemptent » une grande partie des citations et influent fortement les indicateurs), celle-ci n'a pas grand-chose à apporter à l’évaluation individuelle. Une des différences entre positionnement stratégique et veille est que le niveau de pertinence de cette dernière est clairement individuel, la veille étant parfois même ciblée sur le recrutement d’un chercheur. Par ailleurs, il est utile, lorsque l’on fait de la micro-bibliométrie, que les chercheurs soient associés à la démarche et puissent s'"approprier" les indicateurs. Par ailleurs, le fait qu'il y ait des travaux peu visibles qui deviennent ensuite centraux fait partie de la dynamique ordinaire de la science et de la société : une minorité de chercheurs s'intéressait au prion avant les événements...
Rémi BARRÉ
En fait, au regard de la bibliométrie n’existe que ce qui a été reconnu. Cela pourrait être considéré comme choquant d’un point de vue scientifique.
Robert DUCLUZEAU
Vous avez parlé de la question de l’appropriation de cette démarche par les institutions. Pensez-vous que l’on puisse y former à la fois chercheurs et instances de décision ?
Michel ZITT
Il existe des initiatives sur ce point à l'INRA. Suite aux travaux du groupe bibliométrie mentionné précédemment, un programme de formation a été mis en place à destination des ingénieurs documentaires pour les aider à utiliser et à interpréter les principaux indicateurs. La formation des chercheurs peut sans doute passer par des opérations plus concrètes, autour d'études bibliométriques en partenariat (OST ou autre), dont les résultats pourraient être ensuite diffusés au sein des institutions.
Cette analyse a été réalisée à la demande de la direction du département Sciences de la Vie du CNRS. La direction de ce département souhaitait ainsi répondre aux demandes récurrentes des directions scientifiques et au besoin d’information des scientifiques extérieurs.
Les attentes à satisfaire étaient par cette étude de cartographier les thèmes et les auteurs des recherches ainsi identifiés et de permettre, pour un gène donné, d’accéder aux publications et aux données factuelles les concernant.
Ce projet a été présenté aux experts CNRS en janvier 2000. Les corpus ont été indexés en collaboration avec les experts de l’Institut Pasteur en mars 2000. Puis les thèmes détectés ont été présentés en mai 2000 et le rapport final a été publié en juillet 2001.
L’étude, réalisée avec le dispositif Stanalystâ, a permis d’identifier les principales espèces bactériennes, les principaux gènes et les principaux mécanismes moléculaires étudiés (pathologies, traitement, épidémiologie moléculaire).
Cette étude a reposé sur trois modules :
· une analyse bibliométrique ;
· une indexation automatique contrôlée (avec un assignateur de catégories grammaticales et un analyseur morpho-syntaxique) ;
· une classification automatique.
Les données provenaient des bases Medline et Pascal. Au total, la base de données contenait 3 894 publications issues de 664 revues (dont 62 % avaient été caractérisées par un facteur d’impact 1997). L’analyse de ces données a permis de constater que, dans le domaine de la microbiologie, les chercheurs français publiaient un article sur deux dans une revue étrangère. Il en ressort également que 21 revues représentent à elles seules 50 % des publications dans ce domaine.
3. Bibliométrie, indexation et classification
a. L’importance de la phase bibliométrique
La phase bibliométrique permet de réaliser une analyse statistique descriptive en définissant la fréquence et la distribution des documents, des auteurs, des mots clés et des revues.
b. L’importance de la phase d’indexation
Le vocabulaire spécialisé évolue au fur et à mesure des recherches menées dans un domaine. L’indexation reflète donc l’évolution du domaine et permet l’identification des publications.
c. L’importance de la phase de classification
La phase de classification a pour but de constituer un espace d’analyse dont les classes sont des indicateurs des thèmes de recherche.
A l’issue de cette phase de classification, à l’aide de la méthode de k-means axiales, la base de données sur la biologie moléculaire se trouve organisée en trente classes, chacune fournissant une liste pondérée de mots clés ou descripteurs, de documents, de sources et/ou de revues, d’auteurs et d’affiliations. Quinze de ces classes sont considérées faire partie de la catégorie « épidémiologie moléculaire ».
Les résultats de l’étude réalisée avec Stanalystâ ont permis de retrouver les principales espèces bactériennes, les principaux gènes et/ou mécanismes moléculaires liés à la notion de résistance, les principaux antibiotiques, les hôtes, les pathologies, les traitements et les champs de l’épidémiologie moléculaire. Il est cependant important de noter que l’évolution dans le temps n’a pas été explorée ; l’étude ne présente qu’une vue statistique.
Cette expérience montre la nécessité d’une approche multidisciplinaire réunissant experts microbiologistes, biologistes, chercheurs et ingénieurs en science de l’information. Les collaborations mises en œuvre ont donné suite à d’autres projets concrétisés par des réponses à des appels d’offre en sciences cognitives et en bio-informatique.
Michel ZITT
Votre dispositif me semble remarquable. La méthode des K-means axiales est en effet un remarquable outil de classification, sans parler de vos autres ressources linguistiques. Est-ce lié à la base Pascal ? Est-ce lié à vos analyses lexicométriques ?
Xavier POLANCO
Dans le cas de la biologie moléculaire, la base qui fait autorité dans le monde est Medline mais comme cette opération était menée par le CNRS, nous avons aussi utilisé Pascal. De plus, Medline ne nous permettait pas de réaliser une analyse d’affiliation aussi fine que Pascal. Je précise que nous ne faisons pas d’analyse lexicométrique mais un traitement automatique du langage.
Michel ZITT
Ces techniques pourraient sans doute être appliquées à d’autres graphes, comme les graphes citationnistes par exemple.
Xavier POLANCO
Nous pouvons effectivement appliquer la même approche pour évaluer le positionnement des laboratoires, non par rapport à une base référentielle, mais par rapport à leurs propres bases bibliographiques.
Ghislaine FILLIATREAU
Vous avez évoqué l’instauration de liens entre votre base documentaire et des bases factuelles. Comment mettrez-vous en œuvre cette application ?
Xavier POLANCO
Ces trois dernières années, nous avons travaillé avec l’équipe de bio-informatique de l’Institut Gustave Roussy, spécialisée en oncologie. Nous exploitons des bases bibliométriques, principalement Medline, mais aussi toutes les autres ressources factuelles. C’est un champ très porteur, en particulier dans la génomique d’aujourd'hui.
Hervé ROSTAING
Il vous a fallu un an et demi pour finaliser votre étude. Ce délai n’est-il pas trop long ?
Xavier POLANCO
Il s’agissait d’une expérience pilote. C’est sans doute pour cela qu’elle a pris autant de temps.
Hervé ROSTAING
Ne vaut-il pas mieux s’orienter vers des résultats dégradés plutôt que rechercher la pertinence totale ?
Xavier POLANCO
Il faut bien voir que ce travail a également aidé notre institution à se positionner. Suite à nos observations, le CNRS a par exemple lancé un programme interdisciplinaire sur la microbiologie.
Le groupe Danone est implanté en Europe, en Asie et en Amérique. Il compte 92 000 employés dans le monde.
Danone fabrique des produits laitiers frais, des eaux conditionnées, des biscuits et des produits céréaliers. Plusieurs de ces produits sont clairement positionnés sur le segment de la « santé active ».
Danone Vitapole est une confédération qui associe Recherche et Développement produits et procédés. Elle compte 850 personnes dans le monde, dont 650 à Palaiseau.
En matière de R&D, Danone développe des collaborations représentatives de son implantation internationale et appliquées à ses marchés.
Notre approche bibliométrique repose sur des références bibliographiques. Les questions qui nous sont le plus souvent posées portent sur les acteurs et leurs relations, les thématiques de recherche, les acteurs qui travaillent sur ces thématiques, ou encore les tendances d’évolution. L’un des objectifs majeurs de la bibliométrie est l’établissement de collaborations, mais également l’organisation de colloques, la rédaction d’articles scientifiques ou la validation de positions scientifiques par des comités d’expert. Globalement, la bibliométrie nous permet d’optimiser notre temps de lecture, d’analyse et de prise de décisions, et de nous focaliser sur certains points stratégiques.
Notre démarche se base sur un corpus d’informations structurées, choisies dans des bases de données bibliographiques dont nous extrayons certains champs de recherche. Nous avons par exemple réalisé une analyse sur la bactérie Lactobacillus casei entre 1965 et 2002 pour étudier l’évolution du nombre de chercheurs et de publications sur ce sujet.
Comment sélectionnons-nous les chercheurs avec lesquels nous collaborons ? Il doit d’abord s’agir d’experts scientifiques, c'est-à-dire de personnes qui jouissent de la reconnaissance de la communauté scientifique. Ces experts se caractérisent par une forte production scientifique, ont de nombreuses collaborations et, de préférence, ne travaillent avec aucun de nos concurrents. Le nombre de leurs publications va croissant. S’ils ont de plus une présence active au sein de sociétés savantes ou de comités de lecture, nous identifions mieux les scientifiques avec lesquels organiser des colloques.
Une approche dérivée de la bibliométrie nous permet d’orienter l’innovation par l’analyse des lancements produits. Nous avons par exemple étudié les desserts, les crèmes glacés et les yaourts lancés ces dernières années en Europe, en analysant l’association des différents ingrédients. A partir de 4 710 fiches produits, que nous avons classées par parfum, nous avons étudié l’évolution des différents parfums, leur fréquence d’utilisation et leurs associations.
La bibliométrie permet d’orienter les activités de R&D et facilite l’organisation de colloques et d’ateliers.
Pour en savoir plus sur certains résultats auxquels nous conduit l’approche bibliométrique, vous pouvez vous rendre sur le site internet www.danonevitapole.com.
Robert DUCLUZEAU
Vous n’avez pas parlé de la réglementation en matière de sécurité alimentaire. Il s’agit sans doute d’un sujet sur lequel vous êtes très vigilant.
Nicole SCHNEID-CITRAIN
Nous utilisons effectivement la bibliométrie pour notre veille sur la sécurité alimentaire mais, pour des raisons stratégiques, je n’ai pas choisi de vous présenter cet exemple. J’ajoute que nous n’avons jamais été sollicités pour appliquer ce type d’approche à des aspects réglementaires.
De la salle
Outre l’analyse des tendances, quelle est votre action en matière d’innovation ?
Nicole SCHNEID-CITRAIN
Je vous ai présenté l’approche bibliométrique courante de Danone. Nous avons d’autres approches pour travailler sur l’innovation mais cela sort de notre sujet.
De la salle
Sur quels outils travaillez-vous ?
Nicole SCHNEID-CITRAIN
Nous travaillons sur un logiciel issu du CRRM.
Rémi BARRÉ
Ce logiciel est-il disponible dans le commerce ?
De la salle
Les produits de ce type sont souvent issus de laboratoires universitaires et diffusés dans les entreprises par l’intermédiaire des étudiants en stage ou en doctorat.
Rémi BARRÉ
On dit parfois que les entreprises doivent avoir une stratégie de visibilité dans les bases de données scientifiques pour envoyer des signaux, montrer leur excellence dans tel ou tel domaine, faciliter les collaborations et le recrutement d’étudiants. Procédez-vous ainsi ?
Nicole SCHNEID-CITRAIN
Cela peut arriver mais, pour une entreprise, la question de la brevetabilité est importante. Même si nous incitons les chercheurs à publier, nous veillons aussi à ce qu’il n’y ait pas trop de publications sur nos sujets de recherche. Nous essayons d’être visibles, mais nous ne le sommes pas autant qu’une institution comme l’INRA.
Rémi BARRÉ
Vous est-il arrivé de passer à côté d’une personne vraiment importante dans son domaine de recherche ?
Nicole SCHNEID-CITRAIN
Sur certaines études, nous avons plutôt été confortés sur le choix de nos collaborations. Dans d’autres cas, nous avons regretté de ne pas avoir travaillé avec telle ou telle personne.
De plus, cette démarche d’utilisation de la bibliométrie est encore récente à Danone Vitapole, ce qui explique que de nombreuses collaborations ont été mises en place sans y avoir recours.
HEC a une longue tradition de recherche et compte aujourd'hui des pôles d’excellence internationalement reconnus, en particulier dans le domaine de la Finance, du Marketing ou de l’Economie. Jusqu’à 2003, nous n’avions pas de système formalisé d’évaluation de nos productions en matière de recherche. Mais le groupe HEC a engagé depuis le début des années 90 une stratégie d’internationalisation (programme MBA, programme de formation continue…), ce qui a rendu nécessaire la formalisation des procédures d’évaluation de la recherche.
La recherche joue un rôle central dans la concurrence que se livrent les universités et les écoles au niveau international. Il s’agit d’un facteur important pour les classements internationaux (Business Week, Wall Street Journal, Financial Times, etc.), les accréditations (Equis, AACSB), attirer et retenir les meilleurs enseignants-chercheurs et, bien sûr, pour la visibilité et le rayonnement d’une école. Enfin, en premier lieu, la recherche assure une diffusion rapide de l’état de l’art dans le domaine du management dans les enseignements dispensés à HEC.
Pour les classements internationaux comme pour les chercheurs, la règle du jeu est simple : la « qualité » d’une recherche est certifiée par le « rang » du journal dans lequel elle est diffusée. L’enjeu pour HEC est donc orienter l’effort de recherche du corps professoral pour qu’il rédige des articles susceptibles d’être publiés dans ces journaux sans pour autant être directif. Pour ce faire, nous avons créé une liste de journaux cibles et mis en place un mécanisme pour inciter nos chercheurs à y publier leurs articles. Ce système d’évaluation repose sur une liste de journaux cibles, classés en trois catégories (alpha, béta, gamma) selon leur impact au niveau international.
II. Les retombées
Il est encore un peu tôt pour juger des retombées de cette démarche. On peut toutefois noter une évolution encourageante du profil des publications parues depuis 1997, avec une forte augmentation du nombre d’articles publiés dans des les revues classées alpha ou béta. On observe aussi une forte hausse du nombre d’articles parus dans des publications internationales, qui représentent désormais 60 % de notre production globale.
III. Les difficultés
Il existe deux utilisations possibles pour la bibliométrie : une utilisation micro et une utilisation macro. La première consiste à évaluer la productivité d’un chercheur, en analysant non seulement la quantité mais aussi la qualité de ses publications. La seconde consiste à classer les institutions ou les centres de recherche. Les comparaisons inter-institutions sont délicates. Elles doivent se faire en prenant en compte la taille de la faculté. Il convient également de noter qu’à production et taille égales, la répartition de la production entre les différents enseignants-chercheurs d’une institution peut varier fortement d’une institution à l’autre. Les comparaisons inter-institutions sont en outre très dépendantes des informations dont on dispose sur leurs chercheurs. On peut essayer de trouver ces informations sur Internet, mais cela est très aléatoire, ou dans des bases de données, mais celles-ci ne sont pas exhaustives et comportent parfois des erreurs.
J’ajouterais pour conclure que les articles ne dont qu’une retombée du travail de recherche. Il existe d’autres retombées importantes, comme la diffusion des connaissances en salle de classe ou l’encadrement de thèses.
Rémi BARRÉ
On peut faire l’hypothèse que votre démarche est en train de se développer en France. La question est de savoir s’il y aura, après le classement de Shanghai, une réaction de la part des institutions de recherche, sans doute moins conscientes qu’HEC de cette concurrence internationale, et si celle-ci pourra aller jusqu’à développer une action qui intègre totalement les pratiques de construction de palmarès. Il y a là une notion de stratégie « au second degré » qui me semble très intéressante.
Jean HERNANDEZ, Ecoles des Télécoms
HEC étant une école importante, n’avez-vous pas été tenté d’inclure dans votre liste une revue française ?
Thierry FOUCAULT
Il existe des revues françaises dans notre classement.
Emmanuel JOLIVET, INRA
Cette stratégie « au second degré » dont a parlé Rémi Barré ne risque-t-elle pas de se répercuter sur votre action d’enseignement ? Avez-vous déjà réfléchi à d’éventuelles mesures correctives ? A l’INRA par exemple, l’incitation à l’amélioration des publications a détourné les chercheurs de la recherche agricole, qui était pourtant notre premier but.
Thierry FOUCAULT
Notre précédent système d’évaluation reposait essentiellement sur la qualité de l’enseignement dispensé. Nous mettons actuellement en place un système plus équilibré, tenant compte bien évidemment de la qualité de l’enseignement mais également de la qualité des publications.
De la salle
Vos enseignants ont-ils été associés aux choix des journaux retenus dans votre liste ? Par ailleurs, n’avez-vous pas peur, en augmentant la visibilité de vos enseignants-chercheurs, de les voir rejoindre d’autres instituts ?
Thierry FOUCAULT
Le corps professoral a été étroitement associé à l’établissement de notre liste. Nous lui avons demandé de nous faire remonter des journaux. Ceux-ci ont été examinés par le Comité recherche de notre école, puis par des experts extérieurs qui ont proposé un premier classement. Celui-ci a été examiné par notre Comité Recherche puis par nos différents départements. Il y a donc eu une longue discussion pour arriver à une liste consensuelle.
Concernant le risque de perdre nos professeurs, nous le connaissions déjà avant. La seule façon d’éviter leur départ, c’est précisément d’avoir un mécanisme d’incitation clair et qui tienne compte de la qualité de leurs publications.
Rémi BARRÉ
Je trouve intéressant que ce soit dans le domaine des sciences sociales qu’une stratégique de bibliométrie stratégique soit ainsi mise en œuvre. Par ailleurs, comment réagiriez-vous si l’INRA avait une équipe mixte sur le site d’HEC et que certains de vos chercheurs n’apparaissaient plus dans vos décomptes ?
Thierry FOUCAULT
Nous avons depuis cette année une unité mixte avec le CNRS. Dans un cas de ce type, nous demandons à nos enseignants-chercheurs permanents de signer leurs articles en mentionnant leur affiliation l’Ecole et au laboratoire CNRS.
Participaient à la table ronde :
Robert DUCLUZEAU, Ile de Science
Emmanuel JOLIVET, INRA-Jouy-en-Josas
Jean-Marc GROGNET, CEA-Direction de la Recherche Technologique
Bertrand SCACHE, Danone Vitapole
Nadia BABAALI, Opticsvalley
Pierre PAPON, ESPCI
La table ronde a été animée par Rémi BARRÉ, professeur au CNAM.
Robert DUCLUZEAU
Je ne connais rien à la bibliométrie, mais ce sujet intéresse Ile de Science depuis plusieurs semaines. L’élément déclenchant a sans doute été le classement de Shanghai, qui ne nous mettait pas particulièrement en évidence. Mais si nous pensons être meilleurs que ne le laisse croire ce classement, nous devons essayer de le mesurer. Ile de Science attend donc de cette journée de savoir s’il est possible, grâce aux progrès de la bibliométrie, de mesurer l’activité scientifique d’une communauté scientifique aussi diverse que celle du plateau de Saclay et des vallées environnantes. J’aimerais que vous me disiez si vous pensez que l’on peut objectivement faire cette mesure.
Emmanuel JOLIVET
Mon propos portera sur deux niveaux : celui d’un centre INRA et le niveau régional.
Au niveau d’un centre INRA, au sein duquel on trouve des laboratoires qui ne sont pas liés par un lien hiérarchique, la bibliométrie est un média qui peut permettre aux gens de voir ce qu’ils font ensemble et d’étudier l’activité du centre depuis plusieurs années, ce qui permet d’objectiver le débat sur ce que fait le centre, sur les interactions entre ses acteurs et sur la manière dont il collabore avec l’extérieur. Notre centre INRA a deux composantes : les sciences de l’animal et les sciences de l’alimentation. Dans le premier domaine, nous travaillons depuis longtemps en relation avec la recherche à finalité humaine. C’est en effet plus par nos relations avec la recherche médicale que par nos relations au niveau régional avec le monde de l’élevage que nous trouvons des moteurs pour notre activité scientifique.
Concernant le pôle du sud francilien, nous avons beaucoup travaillé sur la structuration de ce territoire et nous avons un peu utilisé la bibliométrie pour le situer par rapport à d’autres régions. En revanche, nous ne l’avons pas utilisée pour voir comment les différentes institutions de recherche et d’enseignement pouvaient se structurer. Cela me semble dommage car nous avons perdu un « juge de paix » qui aurait permis à nos discussions de ne pas s’éparpiller.
Jean-Marc GROGNET
Le CEA compte 15 000 personnes réparties autour de quatre grands pôles thématiques : applications militaires, énergie nucléaire, recherche technologique et recherche fondamentale. Nos problèmes de publication et de visibilité sont donc très hétérogènes. Les préoccupations des chercheurs de notre pôle de recherche fondamentale ne sont en effet pas les mêmes que celles des chercheurs de notre pôle applications militaires.
Concernant la visibilité des pôles géographiques, le pôle grenoblois s’est structuré autour d’un projet phare qui est MINATEC. Ce pôle rassemble trois grandes problématiques : la formation, la recherche et les relations industrielles. Pour être visible aujourd'hui, il faut être vu comme un centre de référence mondial. Pour y parvenir, il y a non seulement les publications scientifiques mais aussi les brevets, les thèses, ainsi que les rapports que nous réalisons pour des partenaires industriels.
Nadia BABAALI
Opticsvalley n’est pas seulement un pôle scientifique. C’est un pôle complet de l’optique en Ile-de-France, qui rassemble des laboratoires de recherche, des universités, des centres de formation et des entreprises de la région. La bibliométrie n’est pas aujourd’hui un outil primordial chez Opticsvalley, mais nous pourrions en être des utilisateurs potentiels car cette méthode nous permettrait d’identifier des chercheurs que nous pourrions inviter à participer à des colloques ou à diriger des séminaires de valorisation de la recherche. A l’international, elle nous permettrait de sélectionner des pôles scientifiques de l’optique avec lesquels établir des partenariats. Nous utilisons déjà la bibliométrie pour nos activités de veille et nous nous posons actuellement la question de savoir si nous offrons ce service à nos entreprises adhérentes pour les aider à choisir leurs chercheurs, leurs brevets. Cependant, la bibliométrie n’est pas le seul moyen d’évaluer les pôles scientifiques car nous sommes très orientés vers l’activité économique et la valorisation de la recherche. Au-delà de la recherche, son utilisation par les entreprises est pour nous un facteur tout aussi important.
Concernant le rôle d’Opticsvalley dans le développement de la bibliométrie, il pourrait s’agir d’un rôle fédérateur auprès des acteurs du domaine de l’optique, qui pourraient se rassembler pour sélectionner les principales publications.
Bertrand SCACHE
La France a peut-être un très bon niveau scientifique mais nous n’arrivons pas toujours à le faire savoir. Pour moi, ce qui nous manque aujourd'hui, c’est une marque. Mon expérience au sein d’un groupe qui fabrique des produits de grande consommation m’a montré que l’on ne peut pas faire connaître un produit sans marque. Cette absence de marque est sans doute l’un des facteurs explicatifs du manque de visibilité de la recherche française. Il est en effet difficile de communiquer sans marque. Je vous invite donc à réfléchir à cette problématique. Vous pourrez d’ailleurs remarquer que beaucoup de grands groupes industriels réduisent le nombre de leurs marques pour leur donner une meilleure visibilité internationale.
Je considère par ailleurs qu’il ne faut pas se baser sur un seul indicateur pour évaluer la visibilité internationale d’un organisme de recherche. Les publications sont certes un élément d’importance, mais il ne faut pas oublier, en amont, la qualité de la formation et, en aval, la valorisation industrielle des innovations.
Pierre PAPON
Je m’interroge depuis plusieurs années sur la notion de pôle scientifique. Selon moi, l’existence d’un pôle scientifique se caractérise par une unité de lieu, une concentration de la recherche dans un spectre d’activités relativement large et un pouvoir d’attraction sur des chercheurs et des industriels extérieurs au pôle. Un pôle doit également avoir la capacité de lancer des activités scientifiques nouvelles grâce à une volonté et une action commune. L’ensemble de ces caractéristiques doit contribuer à donner une visibilité internationale à un pôle scientifique. Je crois que Grenoble est devenu un pôle scientifique dans le secteur des nanotechnologies. Sophia-Antipolis est un autre pôle à dominante technologique et pharmacologique. Orsay, Saclay et Gif-sur-Yvette constituent peut-être également un pôle scientifique. L’école polytechnique fédérale de Zurich est un autre bon exemple de pôle scientifique.
Tout cela est-il mesurable ? En principe, oui, à condition que l’on pose les bonnes définitions. Prenons l’exemple de la cartographie des centres d’excellence européens. La Commission européenne a choisi trois secteurs d’activité scientifique – une partie des sciences du vivant (immunologie, cancer et neurosciences), une partie de l’économie (économétrie, économie de la technologie et du travail) et les nano-technologies – en collectant certains indicateurs et en donnant un avis sur ce qui en est ressorti. Ceci s’est soldé par un échec total, d’abord parce que la définition géographique n’a pas été bonne. De plus, si l’on veut réaliser une mesure bibliométrique complète, cela nécessite une réflexion préalable que n’avait probablement pas faite la Commission européenne. Je sais néanmoins que cette question est très importante et que l’Ile-de-France et la ville de Paris s’efforcent de faire apparaître un pôle scientifique qui ait une visibilité internationale.
Rémi BARRÉ
Nous avons évoqué ici une idée nouvelle : celle de la visibilité scientifique. Mais de qui devons-nous être visibles ? Il convient de rester prudent lorsque l’on se construit une visibilité scientifique car cela peut avoir des effets induits, en conduisant certaines institutions à oublier qu’elles doivent aussi faire de l’enseignement.
Un autre concept important est celui de « marque », qui est un bon moyen de reconnaissance.
Je noterai également l’idée de la bibliométrie comme une matrice fédératrice, porteuse d’interactions et initiatrice de perspectives communes.
Enfin, au-delà des institutions se pose la question des pôles scientifiques. Sur ce point, le dernier critère cité par Monsieur Papon – être capable de lancer des activités nouvelles en commun – suppose une stratégie commune et une forme de gouvernance bien établie. Cela pose donc la question de la « substance » de ce que nous voulons rendre visible.
Robert DUCLUZEAU
Je suis tout à fait sensible à l’idée d’une marque. Or, chez Ile de Science, nous avons du mal à définir une marque. A défaut d’être un pôle, nous avons plusieurs sous-pôles (Vitapole, Paris-Sud…) mais nous n’avons jamais pu les rassembler sous un nom commun. Dans quel sens faut-il prendre ce problème ? Faut-il se donner une marque et y intégrer l’ensemble des organismes de recherche ? Faut-il au contraire mesurer leurs diverses activités et les regrouper sous une seule et même marque.
Jean-Marc GROGNET
J’ai fait mon premier stage en entreprise chez Gervais-Danone. Or, à l’époque, cette entreprise souhaitait conserver plusieurs marques pour fragmenter ses risques.
Bertrand SCACHE
Plus qu’une marque, nous avons besoin d’un environnement cohérent. Une fois cet environnement défini, on peut alors mettre en œuvre une vraie stratégie de conquête dans tel ou tel domaine, puis lui donner un nom approuvé par tous les acteurs concernés.
De la salle
Avec l’autonomie des universités et la régionalisation du CNRS prônée par ses actuels directeurs, je pense que nous allons nous acheminer vers une logique de pôles. Cela pourrait sans doute être mesuré par les indicateurs portant sur les publications.
Rémi BARRÉ
Vous sous-entendez en quelque sorte que les évolutions en cours pourraient donner un coup de pouce à des dynamiques de pôles.
Pierre PAPON
La pression des régions, de l’Europe et de l’opinion internationale nous incite à nous orienter vers cette logique de pôles. A cet égard, la réforme des masters me semble essentielle car, dans dix ans, ne subsisteront plus que ceux qui auront une bonne visibilité et qui sauront attirer des étudiants étrangers. Certaines universités européennes, notamment celles de Lausanne et de Zurich, arrivent à le faire, mais j’ai peur que peu d’universités françaises y parviennent. Je pense d’ailleurs que l’Institut Pasteur est une bonne marque dont bénéficient plusieurs campus.
Jean-Marc GROGNET
La notion d’attractivité est fondamentale. Le plus grand risque pour un pôle scientifique serait en effet de former lui-même ses futurs chercheurs. Il faut donc attirer les étudiants étrangers et pour ce faire, il faut d’abord avoir une plate-forme technologique de très haut niveau. Il faut ensuite avoir des infrastructures d’accueil, domaine dans lequel les pôles étrangers sont bien meilleurs que les pôles français. Il faut enfin communiquer pour donner envie aux étudiants et aux chercheurs de travailler en France.
De la salle
Il existe selon moi des pôles qui n’ont pas de localisation géographique précise. Je pense notamment au réseau allemand Frauenhoffer. Quel est votre avis sur son fonctionnement et sa pérennité.
Nadia BABAALI
Opticsvalley est un autre exemple de pôle « virtuel », dont les membres sont répartis sur l’ensemble du territoire de l’Ile-de-France. Nous fonctionnons dans une logique de réseau, réseau que nous animons par le biais de colloques, de séminaires, de bourse de l’emploi, etc.
Rémi BARRÉ
L’animation est effectivement une question cruciale pour un réseau scientifique. C’est elle qui le rend cohérent, qui permet à ses adhérents de développer un sentiment d’appartenance et qui crée une réputation au niveau international. La question de la visibilité est en fait la clé de voûte de ce que nous faisons en commun.
Michel ZITT, INRA
Je souhaiterais revenir sur la caractérisation des pôles. Monsieur Papon a rappelé l’échec de l’exercice de sélection des centres d’excellence européens. Cet échec est largement dû au fait que ces centres d’excellence étaient compris comme des "pôles institutionnels", avec tous les problèmes de repérage d'organisme que cela peut poser. Ce travail visait en outre des thématiques très difficiles à délimiter sans faire appel à des techniques bibliométriques sophistiquées. Mais si cet exercice avait été plus modeste et s’était concentré sur l'aspect territorial, il aurait sans doute abouti à de meilleurs résultats. Sur un tel objectif, l’OST aurait d’ailleurs répondu à l’appel d’offres.
Rémi BARRÉ
Nos avions effectivement fait une proposition de découpage géographique, ce qui n’a pas été considéré comme assez ambitieux par la Commission, qui tenait à une approche institutionnelle. Or si l’on souhaite faire un découpage bibliométrique institutionnel, il faut que chaque institution soit responsable de la déclaration des publications qu’elle revendique. Quant aux pôles, ils ont certes un sens géographique, mais ce découpage géographique n’est sans doute pas suffisant. Comme l’a dit l’un des intervenants de ce matin, la crédibilité des informations et des données est en effet essentielle. Par conséquent, lorsque l’on veut avoir une marque visible, rien ne doit être négligé pour assurer son intégrité. Dans ce domaine, la gestion des données de base devient cruciale car donner lieu à suspicion pourrait être dévastateur. En bibliométrie comme dans tout autre activité scientifique, la question de l’éthique est essentielle.
De la salle
Je souhaiterais revenir sur la question des outils bibliométriques. Nous avons beaucoup parlé de l’ISI mais pas des archives en libre accès et autres nouvelles formes de publication électronique. Il me semble que la bibliométrie peut s’enrichir de nouvelles technologies issues de l’informatique et je pense que nous avons encore beaucoup de choses à faire dans ce domaine. Il faut essayer d’imaginer des outils innovants qui permettent d’étudier les champs ouverts du web.
Bertrand SCACHE
On peut également noter que le marché de l’édition scientifique et technique devient très monopolistique. Les publications en libre accès permettent de donner une visibilité nouvelle à certaines recherches mais cela pose la question de leur évaluation par leur pairs, que seules les revues renommées assurent de manière fiable aujourd'hui.
De la salle
La mise en œuvre de nouveaux outils bibliométriques ne consiste pas seulement à nous enrichir de nouvelles bases totalement inconnues. On pourrait également imaginer des outils automatiques ergonomiques qui aideraient les utilisateurs à normaliser leur adresse ou l’abréviation de leur organisme.
Rémi BARRÉ
Cela pourrait effectivement renforcer la cohérence que nous évoquions tout à l’heure.
Avez-vous quelque chose à ajouter pour conclure cette réunion ?
Robert DUCLUZEAU
Malgré toutes nos discussions, nous n’avons toujours pas épuisé le sujet. Je souhaiterais donc que nous puissions organiser d’autres journées de ce type dans les années à venir pour approfondir ce sujet.
Emmanuel JOLIVET
Madame Filliatreau nous a montré ce matin que certains pays, en particulier la France et le Japon se spécialisaient dans la génomique. Faire ce constat ne rend pas pour autant évidente la question des orientations stratégiques. Pour pouvoir exploiter de manière efficace les données de la génomique, peut-être est-il préférable de faire un effort uniforme sur l’ensemble des disciplines connexes. Il faut éviter d’utiliser la bibliométrie de façon trop « naïve » face à des questions de stratégie.
Jean-Marc GROGNET
Nous avons effectivement besoin d’indices pluri-factoriels, moins naïfs, qui nous aident à mieux définir nos orientations stratégiques, à positionner nos sites et à suivre leur évolution par rapport à la concurrence internationale.
Bertrand SCACHE
Pour moi, le point essentiel est d’avoir envie de faire savoir ce que l’on est. Il faut donc considérer que la communication fait partie intrinsèque de l’activité scientifique.
Pierre PAPON
Si l’on veut quantifier un pôle scientifique, il faut bien définir son assise territoriale et institutionnelle. S’agissant de la France, dont le système de recherche est relativement compliqué, cette quantification ne peut que transcender les barrières institutionnelles car il existe de nombreux laboratoires mixtes. Il faut par ailleurs rappeler aux autorités politiques que la visibilité internationale ne peut pas toujours être quantifiée. Pour rendre un pôle attractif, il faut avant tout donner l’impression que des choses nouvelles s’y passent.
Rémi BARRÉ
Nous arrivons à la fin de cette table ronde. En conclusion, nous pouvons dire que l’aspect instrumental de la bibliométrie révèle des questions relativement profondes liées à la dynamique des territoires. Cette activité, qui peut paraître technique, renvoie en fait à des questions de fond, sur la stratégie, l’identité, la visibilité et l’attractivité des institutions de recherche.
Nous avons également parlé de la nécessaire distinction entre les indicateurs de veille et de positionnement. Nous avons aussi vu que l’internationalisation de la concurrence faisait apparaître un nouveau paysage, dont l’engouement pour les pôles visibles internationalement est l’une des facettes, au point que nous avons même utilisé le concept de marque. Il faut également faire attention aux usages réducteurs ou « naïfs » de la bibliométrie, sous peine de mal interpréter les résultats obtenus, ce qui nous renvoie à la question de notre culture bibliométrique.
Le classement de Shanghai est révélateur de la fragmentation de la recherche française. Que devons-nous faire ? Il est important, pour enclencher un cercle vertueux, de prendre les choses dans un ordre logique : action commune, attractivité, identité commune, visibilité, bibliométrie puis marque (au sens de « image de marque »). Autrement dit, nous ne pouvons pas chercher à construire des cohérences par des normalisations bibliométriques artificielles qui nous feraient paraître pour ce que nous ne sommes pas. Toutes ces questions peuvent déboucher sur des travaux fédérateurs qui pourraient enclencher des complémentarités et des partenariats susceptibles d’accroître notre visibilité.