Sigaps : serons-nous nombreux aux funérailles ?
Edito de Risques & Qualité – Volume XVIII – n°2 – Juin 2021

Par Hervé Maisonneuve*.

L’évaluation quantitative de l’activité scientifique ou bibliométrie est basée sur un décompte des publications et des citations de ces publications. La bibliométrie utilise des indicateurs dont les modalités de calcul ne sont pas toujours connues des utilisateurs. Cette évaluation basée sur la notoriété des revues ne remplace pas une évaluation qualitative des articles. Parmi une dizaine d’indicateurs, le facteur d’impact (FI) est l’indicateur le plus ancien. Il est calculé avec trois décimales !

Le système d’interrogation, de gestion et d’analyse des publications scientifiques (Sigaps) est un excellent outil pour faire des analyses bibliométriques et suivre la dynamique des publications des établissements de santé français. Sigaps n’évalue pas la qualité des recherches ou les compétences d’un individu. Si la quantité devient un critère de substitution pour évaluer la qualité, c’est une erreur.

Les indicateurs quantitatifs sont responsables des dérives de la recherche

Sigaps est employé pour la promotion des praticiens et pour allouer environ un milliard d’euros chaque année aux établissements de santé. Dès 2009, un article décrivait les dérives de cette T2A1 bibliométrique [1].

Tous les défauts du FI depuis les premières démonstrations des années quatre-vingt-dix ont été bien décrits, y compris par son inventeur, Eugene Garfield [2,3,4]. Il s’agit d’un comptage rapide de haricots de diverses tailles et couleurs. Les revues scientifiques manipulent leur FI. Les rédacteurs en chef sont sous pression pour l’augmenter. Ils publient des articles qui sont cités sans les compter dans le dénominateur du FI ; ils augmentent les autocitations ; ils préfèrent des revues de littérature, beaucoup citées, plutôt que des articles originaux ; ils refusent des cas cliniques qui seront peu cités ; ils acceptent des articles de valeur douteuse mais massivement utilisés, par exemple des recommandations basées sur des avis d’experts.

Dès 2011 en France, les dérives de l’utilisation de la bibliométrie ont été mises en évidence par l’Académie des sciences, et le rapport « Gaillard » sur l’évolution du statut hospitalo-universitaire. En 2020, le Sénat a pointé ces dérives en reprenant un rapport de la Cour des comptes de 2017 [5]. Il ne s’agit pas de critiquer Sigaps comme outil bibliométrique, mais de décrire son utilisation parfois « mafieuse » observée par la Cour des comptes [5]. Par exemple, des vacations hospitalières sont proposées à des chercheurs non-praticiens hospitaliers pour compter leurs publications dans les points Sigaps des établissements de santé. Ces rapports ont peu d’impact sur les comportements des décideurs.

Les dérives de Sigaps

Gingras et Khelfaoui ont analysé les conséquences de Sigaps, et je retiens quelques-unes de leurs observations dont les liens de causalité ne sont pas toujours évidents [6]. Dans les années 1990, l’Australie a eu un système voisin qui a rapidement augmenté le volume des publications de 25% mais l’impact de ces articles a diminué, et le système a été abandonné ; des CHU ont au moins doublé leur nombre de publications entre 2000 et 2018 ; le nombre de collaborations des CHU avec d’autres CHU a augmenté (cela permet de distribuer plus de points Sigaps) ; comme le nombre d’institutions éligibles à Sigaps a augmenté, avec le même gâteau, le volume de publications doit augmenter pour assurer le même niveau de ressources ; des publications dans des revues de spécialités (taux d’acceptation de 20 à 40%) ont été dirigées vers PLoS one qui a un taux d’acceptation des articles de 70% ; Sigaps a précipité le déclin des revues médicales françaises à caractère national. Des compétitions ont été initiées au sein des CHU par la diffusion de listes des chercheurs dans le top 10 ou le top 100 des « publiants » ; des CHU ont calculé le nombre d’articles à publier pour doubler d’autres CHU.

Le concept de revues d’autopromotion a été décrit à partir de l’activité prolifique du Pr Didier Raoult de Marseille qui publie dans des revues dont son équipe contrôle le comité de rédaction [7]. Raoult cosigne jusqu’à 50% des articles d’une revue, et tout cela permet d’obtenir des financements. Avec 77 articles dans la revue NMNI2, ce sont environ 800 000 € générés, soit l’équivalent de 10 articles dans des revues prestigieuses [7]. D’autres chercheurs français utilisent des revues pour publier beaucoup et facilement.

Ramsay Santé, un établissement de santé privé, rétrocède un tiers des sommes Sigaps aux praticiens pour les compenser de leur temps. Pourquoi les praticiens hospitaliers non universitaires n’auraient pas les mêmes compensations ? Quelques cas d’articles rétractés pour erreurs honnêtes ou méconduites ont contribué à l’allocation de crédits Sigaps : pourquoi les établissements ne remboursent pas l’argent mal acquis ?

Évaluer les recherches sur des indicateurs qualitatifs : de POP à TOP ?

Je rejoins les propos d’Yves Gingras disant que plutôt que de pointer des dérives individuelles, il vaudrait mieux se poser des questions sur le système [6]. Évitons les dérives des indicateurs des réseaux sociaux de type ITT (Intention to tweet) ou Altmetrics qui sont basés sur les articles et non plus sur la notoriété des revues. Ce sont des indicateurs quantitatifs.

Nous avons contribué à une « McDonaldisation » de la science depuis les années 1970 avec l’acronyme POP (Publish or perish). Les chercheurs sont soumis à une pression du système et celui qui publie est le meilleur ! En 2021, c’est l’acronyme PPAP (Pay to publish and perish) qui remplace POP car le modèle économique de l’auteur-payeur se développe.

Les mouvements pour la slow science, adoptés par de jeunes générations, peuvent bousculer les têtes blanches. Citons quelques-unes des initiatives pour évaluer différemment la recherche :

  • l’initiative Dora (Declaration on research assessment) date de 2012 et a été signée par l’Inserm, le CNRS et d’autres organismes [8] ;
  • les conférences mondiales sur l’intégrité de la recherche ont proposé les critères de Hong Kong [9] ;
  • l’évaluation de la recherche pourrait valoriser les pratiques responsables, le compte rendu précis et transparent de toutes les recherches, quels qu’en soient les résultats, la reproduction des études publiées, l’évaluation par les pairs, le mentorat ;
  • les recommandations TOP (Transparency and openness promotion) sont promues par des universités [10]. Elles sont basées sur 10 standards de la science ouverte ;
  • évaluer la recherche pourrait se faire en adaptant des exemples proposés en médecine du sport [11]. Il faudrait évaluer soit l’impact politique (est-ce que cette recherche a influencé une décision concernant le système de santé ?), soit l’impact économique (est-ce qu’une amélioration de la qualité de vie a un retour sur investissement ?), soit l’impact sociétal (est-ce que des comportements de patients ont été changés ?), voire les trois et/ou l’impact universitaire si un autre impact est atteint ;
  • en Australie, un chercheur cite 5 articles des 5 dernières années dans un dossier pour une demande de financement [12]. Les jurys doivent lire et discuter des articles, méthode peu populaire car comparer des indicateurs est plus rapide. Limiter les articles cités dans un dossier d’évaluation est suggéré par des comités d’évaluation en France.

Il faudra du temps, mais la révolution est en route. Elle se met en place lentement, et nous ne serons pas nombreux aux funérailles de Sigaps. Des funérailles nationales ?

*Consultant, H2MW, Paris

Notes :

1- Tarification à l’activité : système de financement unique des établissements de santé depuis 2004.
2- New Microbes and New Infections.

Références

1- Mancini J, Darmoni S, Chaudet H, Fieschi M. Le paradoxe de la « T2A bibliométrique » Sigaps : un risque d’effet délétère sur la recherche française ? La Presse Médicale 2009;38(2):174-176.

2- Garfield E. The history and meaning of the journal impact factor. JAMA 2006;295(1):90-93.

3- Triggle CR, MacDonald R, Triggle DJ, Grierson D. Requiem for impact factors and high publication charges. Accountability in Research 2021, online April 4. Doi : 10.1080/08989621.2021.1909481.

4- Ioannidis JPA, Thombs BD. A user’s guide to inflated and manipulated impact factors. Eur J Clin Invest. 2019;00:e13151.

5- Milon, A. Rapport d’information fait au nom de la commission des affaires sociales sur l’enquête de la Cour des comptes relative au rôle des centres hospitaliers universitaires dans l’enseignement supérieur et la recherche médicale. 2018. Accessible à : https://www.senat.fr/rap/r17-228/r17-2281.pdf (Consulté le 14-05-2021).

6- Gingras Y, Khelfaoui M. L’effet Sigaps : La recherche médicale française sous l’emprise de l’évaluation comptable. Montréal : Centre interuniversitaire de recherche sur la science et la technologie, 2020. 35 p. https://www.ost.uqam.ca/publications/leffet-sigaps-la-recherche-medicale-francaise-sous-lemprise-de-levaluation-comptable/ (Consulté le 14-05-2021).

7- Locher C, Moher D, Cristea IA, Naudet F. Publication by association: how the COVID-19 pandemic has shown relationships between authors and editorial board members in the field of infectious diseases. BMJ Evidence-Based Medicine 2021; Epub ahead of print. Doi : 10.1136/bmjebm-2021-111670.

8- Dora. San Francisco declaration on research assessment [internet]. 2012. Accessible à : https://sfdora.org/read/read-the-declaration-french/ (Consulté le 14-05-2021, version française).

9- Moher D, Bouter L, Kleinert S, Glasziou P, Sham MH, Barbour V, et al. (2020) The Hong Kong Principles for assessing researchers: Fostering research integrity. PLoS Biol 18(7):e3000737.

10- Nosek B, Alter G, Banks GC, Borsboom D, Bowman SD, Breckler SJ, et al. Promoting an open research culture. Science 2015;348(6242):1422-1425.

11- Büttner F, Ardern CL, Blazey P, Dastoury S, McKay HA, Moher D, et al. Counting publications and citations is not just irrelevant: it is an incentive that subverts the impact of clinical research. British Journal of Sports Medicine Online first: 24 décembre 2020. Doi : 10.1136/bjsports-2020-103146.

12- Finkel A. To move research from quantity to quality, go beyond good intentions. Nature 2019;566:297.