Intégrité scientifique / Reproductibilité de la recherche : quelques pistes pour faire le point


En période de crise sanitaire ou de grande controverse sociétale, la science suit son cours, bien souvent avec les mêmes forces et faiblesses que d'ordinaire... mais avec une attention nouvelle portée par le grand public et les médias généraliste. Puisqu'on y parle beaucoup de bonne ou mauvaise science, vos BU proposent des pistes pour éclairer quelques notions de la galaxie de l' "intégrité scientifique" .

#1 Reproductibilité et transparence
#2 Rétractation d'articles en cas d'inconduite
#... A suivre 🙂

Les publications scientifiques servent à documenter les travaux des chercheurs pour en partager les résultats et nourrir la conversation scientifique. Dans ce dialogue d'après publication, il s'agit de soulever de nouvelles questions ou de pointer des désaccords, jusqu'à la construction d'un consensus que l'on qualifiera d' "avancée scientifique". Pour cela, le chercheur doit d'abord décrire la méthodologie employée, en plus de l'hypothèse de départ et des résultats de l'expérience : le matériel, les indicateurs retenus, la méthode de relevés de données, les calculs, etc. C'est ce qui rendra l'expérience, ou l'étude, reproductible : “une recherche dont les résultats publiés peuvent être reproduits” (cf. note 1).

"Mais qui se donne la peine de refaire les expériences qui mériteraient pourtant confirmation ? ", interroge Dominique Dupagne dans sa chronique sur France Inter.

3 minutes audio pour comprendre

"Le sujet est ancien, mais la situation semble avoir atteint un point critique : des études récentes ont par exemple démontré que de nombreux résultats d’études pré-cliniques, cliniques ou psychologiques ne pouvaient être reproduits et donc confirmés" (note 1). C'est une grande source de frustration pour les chercheurs, tant auteurs que lecteurs :

Pour un chercheur, il n’y a rien de plus frustrant que l’impossibilité de reproduire des résultats majeurs obtenus quelques mois auparavant. Les causes de ce type de déconvenues sont multiples et parfois pernicieuses. Ce phénomène participe à ce que certains identifient comme une “crise de la reproductibilité de la recherche”. (note 1)

C'est pourquoi de nombreux acteurs de la recherche se mobilisent pour diffuser des outils et des méthodes pour améliorer la reproductibilité des travaux scientifiques.

L'EPRIST a publié cette synthèse de 10 pages : qu'est-ce que la reproductibilité, d'où vient ce concept métholodologique, quels sont ses enjeux, quelles perspectives aujourd'hui, etc. (note 2)
Analyse EPRIST "la Recherche en crise de reproductibilité ? (PDF, avril 2020)

FUN-MOOC propose un cours en ligne accessible à tous pour approfondir les méthodes et les outils de la reproductibilité : Recherche reproductible : principes méthodologiques pour une science transparente . L'INRIA, Institut national de recherche en informatique et en automatique, y présente des outils pour documenter les différentes étapes de ses travaux, avec notamment la prise de notes structurée et l'indexation numérique, le suivi de versions, etc.

Cas pratiques en situation : de l'identification des problèmes aux solutions : ce petit ouvrage complet à destination des étudiants, chercheurs et ingénieurs analyse des pratiques concrètes de recherche. L'objectif est de savoir repérer les symptômes de non-reproductibilité et d'y apporter un remède. "À chaque fois, [l'ouvrage] propose un éventail de solutions allant de bonnes pratiques faciles et rapides à implémenter jusqu’à des outils plus techniques, tous gratuits et mis à l’épreuve par les auteurs eux-mêmes. "

Notes :

(1) Loic Desquilbet, Sabrina Granger, Boris Hejblum, Arnaud Legrand, Pascal Pernot, et al.. Vers une recherche reproductible : Faire évoluer ses pratiques. Unité régionale de formation à l’information scientifique et technique de Bordeaux. pp.1-136, 2019, 979-10-97595-05-0. ffhal-02144142v1f .
Citées ici : p.20, p.16 sur les études sur la non reproductibilité, 4e de couverture.

(2) L'EPRIST est l'association des responsables de l’information scientifique et technique (IST) des organismes de recherche français publics ou d'utilité publique.

Proposition de Gwenaëlle Marchais

Se former à l'intégrité scientifique et à l'éthique

France Université Numérique propose 2 cours en ligne sur sa plateforme FUN-MOOC à destination des chercheurs :

Intégrité scientifique dans les métiers de la recherche : ce cours, proposé par l'université de Bordeaux, propose de faire le point sur la culture et les méthodes scientifiques qui garantissent une recherche de qualité, transparente et fiable. Il s'agit aussi de comprendre les mécanismes qui poussent aux manquements, pour mieux les repérer et les éviter.
https://www.fun-mooc.fr/courses/course-v1:Ubordeaux+28007+session02/about

Depuis la déclaration de Singapour sur l’intégrité scientifique en 2010, la communauté scientifique internationale se mobilise pour que les exigences méthodologiques et éthiques de la recherche soient plus clairement affirmées, dans un contexte où la course à la nouveauté et l’introduction d’une logique concurrentielle renforcée multiplient les risques de dérive. En outre, le renforcement de la réglementation et les enjeux de responsabilité sociale imposent la connaissance et l’appropriation des principes fondamentaux de l’intégrité scientifique.

Ethique de la recherche : ce cours, proposé par l'université de Lyon, se positionne comme un complément au précédent cours sur l'intégrité sur le volet "éthique" et les liens entre science et société. Aborde notamment les notions de conflit d'intérêts et conflit de valeurs. Attention, derniers jours pour s'inscrire !!! (les contenus restant accessibles ensuite)
https://www.fun-mooc.fr/courses/course-v1:universite-lyon+91001+session04/about

La science constitue une valeur centrale de nos sociétés démocratiques, qui promeuvent le désir de connaissance du monde et de l’homme. Néanmoins, les nouvelles performances technoscientifiques et l’accélération des innovations effraient parfois. Par ailleurs, l’ampleur des ressources mobilisées, un régime de compétition internationale et des conflits d’intérêts entre bien privé et bien commun suscitent aussi une crise de confiance. Comment assumer nos responsabilités en tant que citoyens et chercheurs à un niveau personnel, collectif et institutionnel ?

Le formation cours en ligne ne vous intéresse pas ou les délais sont dépassés ? Hervé Maisonneuve, du blog Rédaction Médicale et Scientifique, recommande la lecture du Rapport MLE (Mutual Learning Exercice) pour faire le point et accéder aux propositions concrètes, comme excellent point de départ. Présentation du rapport et accès : https://www.redactionmedicale.fr/2020/04/int%C3%A9grit%C3%A9-de-la-recherche-le-rapport-mle-mutual-learning-exercise-est-une-bonne-base-pour-d%C3%A9velopper.html

Propositions de G. Marchais

Se former à l'éthique de la recherche

Le cours en ligne Ethique de la recherche a commencé ! L'Université de Lyon a mis en ligne les premiers contenus accessibles sur la plateforme France Université Numérique (FUN) :

<

"Depuis mai 2015, tous les doctorants doivent se former à l’intégrité scientifique et l’éthique de la recherche. Ce MOOC propose de mieux connaître et comprendre les enjeux déontologiques et éthiques de la science." (source : FUN)

A noter : En dehors des vidéos et des quiz associés, il y a des fils de discussions libres sur les sujets abordés. Les discussions en cours sont très intéressantes et abordent aussi des points plus larges, comme "l'éthique du processus de recherche" et "l'éthique de la dissémination des résultats de recherche" (open access, open peer-review...) ou la science du doute comme sensibilisation au développement de la culture scientifique (zététique).

Justement, sur ces sujets, il existe d'autres cours en ligne spécifiques :

 

Repéré pour vous : cours en ligne pour préparer la rentrée

Pour les amateurs d'apprentissages en tout genre, plein de nouveaux cours ont été mis en ligne sur la plateforme  FUN MOOC - France Université Numérique. On peut s'inscrire dès maintenant... pour ne pas oublier à la rentrée 🙂
Quelques cours repérés :
Il parait qu'on peut même apprendre les fondamentaux de la reprogrammation des cellules sources, sans être scientifique !
Sur tous ces sujets, bien sûr, les bibliothèques proposent des livres à emprunter ou à lire en ligne. On est là pour ça ! http://bu.univ-reunion.fr

Repéré pour vous : Vidéos sur l'éthique de la recherche

Vous avez sans doute déjà entendu parler de polémiques scientifiques, parfois aussi de conflits d'intérêts, de "fraude scientifique" ou tout simplement de plagiat ou de biais dans les études académiques ? Tout cela pose la question de l'intégrité scientifique et de la déontologie de la recherche, deux sujets féconds qui font actuellement l'objet de nombreuses discussions entre chercheurs. Preuve de la vitalité de la recherche, s'il en fallait !

L'Université de La Réunion s'est d'ailleurs dotée successivement de deux charges de mission "Ethique et Déontologie "et "Certification et intégrité scientifique", portées respectivement par le Professeur Monsieur Harry Boyer (2017) et la Docteure Madame Katia Angue (2018). Ces nominations s'inscrivent  "dans la déclinaison locale d'une dynamique internationale et nationale de construction d'une politique d’intégrité scientifique et d'une déontologie des métiers de la recherche" (1).

Pour en savoir plus sur ces sujets, nous avons repéré ces vidéos d’introduction à l’éthique de la recherche et à l’intégrité scientifique proposées par l'Université de Paris-Saclay : https://www.universite-paris-saclay.fr/fr/polethis-les-essentiels-c

Aperçu de quelques thématiques abordées :

Note : (1) Frédéric MIRANVILLE, Président de l'Université de La Réunion
Les lettres de mission sont disponibles sur cette page : http://www.univ-reunion.fr//luniversite/organisation/equipe-presidentielle/lettres-de-mission/

Gros plan sur les Editions Le Pommier : Petites Pommes du Savoir et Essais

"Comprendre le monde qui nous entoure..." Telle est la devise des Editions Le Pommier qui proposent plusieurs collections de livres axés sur la vulgarisation des savoirs. Ici, nous vous proposons un rapide tour d'horizon de deux grands ensembles de collections de cet éditeur "passeur de sciences" :

Les Petites Pommes du savoir

Cette collection, regroupe, avec "Les Plus Grandes Petites Pommes du savoir" et autres "Mini Pommes" des ouvrages en petits formats facilement glissables dans une poche et rapides à lire en maximum 63 pages.

A partir d'une question simple, comme "Pourquoi la nuit est noire ? " ou "Comment voient les bébés? ", un spécialiste reconnu du monde scientifique vient présenter les grandes connaissances actuelles de façon simple, claire et accessible à tous.

Bibliographie Des Petites Pommes du Savoir disponibles dans les BU de La Réunion, par liste alphabétique des auteurs :

Pour connaître l'emplacement d'un titre, cliquez sur la liste puis sur "Où le trouver". La plupart des titres sont disponibles à la BU Sciences, d'autres à la BU Tampon, à la BU Droit-Lettres... Vous pouvez les faire venir dans votre BU habituelle (gratuit). 

Site web des Editions Le Pommier > Collection Les Petites Pommes du savoir

Les Essais Le Pommier

Pour aller plus loin, Le Pommier propose plusieurs collections d'essais pour réfléchir sur les sciences (ou la technologie) et leurs usages. Philosophie, citoyenneté, éducation, santé publique, éthique, sont autant de pistes proposées pour faire fructifier les connaissances.

  

Le Pommier est aussi un grand éditeur des travaux philosophiques de Michel Serres depuis les années2000.

Bibliographie...non exhaustive des essais du Pommier   (à retrouver sur notre catalogue)

  • Bernard Salanié. L’économie sans tabou. 2004.
  • Christian Marendaz. Du regard à l’émotion: la vision, le cerveau, l’affectif. 2009.
  • Elena Pasquinelli. Du labo à l’école, science et apprentissage. 2014.
  • Éric Lambin. Une écologie du bonheur. 2009.
  • François Moutou. Des épidémies, des animaux et des hommes. 2015.
  • Frank Ryan. Virus & hommes, un destin commun ? 2011.
  • Gordon L Kane. Supersymétrie. 2003.
  • Hubert Reeves. Petite histoire de la matière et de l’univers.  2009.
  • Jean-Louis Hartenberger. Nous, les mammifères. 2013.
  • Luc-Alain Giraldeau. Dans l’oeil du pigeon: évolution, hérité et culture. 2016.
  • Marc Lachièze-Rey. Au-delà de l’espace et du temps: la nouvelle physique.  2008.
  • Marie-Françoise Chevallier-Le Guyader, et al. Abécaire citoyen des sciences. 2017.
  • Michel Serres. Hominescence. 2001.
  • Michel Serres. L’incandescent. 2003.
  • Naomi Oreskes, et Erik M Conway. Les marchands de doute ou Comment une poignée de scientifiques ont masqué la vérité sur des enjeux de société tels que le tabagisme et le réchauffement climatique. 2012.
  • Philippe Bordeyne et al. Éthique et changement climatique. 2009.
  • Serge Abiteboul et Gilles Dowek. Le temps des algorithmes. 2017.
  • Stéphane Sarrade. La chimie d’une planète durable. 2011.
  • Virginie Cazes-Duvat et Alexandre Magnan. Ces îles qui pourraient disparaître. 2012.
  • Virginie Cazes-Duvat et Alexandre Magnan. Des catastrophes... « naturelles » ? 2014.
  • Yves Quéré. Enseigner, communiquer: un art, ou un métier ? 2008.

Bibliographies à retrouver sur notre catalogue ou également disponibles sur notre compte Zotero en ligne : https://www.zotero.org/bureunion/items/collectionKey/CUJB5F28

6 astuces pour truquer votre H-index

Le H-index est un indicateur bibliométrique en vogue depuis sa création en 2005 par le chercheur en physique Jorge E. Hirsch (Université de Californie à San Diego). L'avantage de cette mesure synthétique et facilement compréhensible est qu'elle résume à la fois la productivité et l'impact des publications d'un chercheur.

Définition : Le H-Index d'un chercheur est le plus grand nombre H de publications tel que chaque article a reçu au moins H citations

Calculer votre H-Index est relativement simple. Classez d'abord tous vos articles scientifiques par ordre décroissant de citations. Attribuez un rang à chaque item. Comparez maintenant le rang des articles et le nombre de citations. Quand le rang de l'article est supérieur au nombre de citations, alors le rang précédent équivaut à votre H-Index :

h-index

Dans l'exemple ci-dessus, le H-Index est de 6. Le rang dépasse le nombre de citations à l'article E (7>3). Le rang précédent est donc le H-Index.

Voici maintenant quelques astuces pour faire progresser votre h-index sans trop vous fatiguer :

  1. Ni trop productif, ni trop d'impact : que vous disposiez de 3 publications citées 1000 fois ou de 1000 publications citées 3 fois, le résultat est le même, votre H-Index sera de 3. Préférez un juste milieu, une publication régulière de papiers modérément influents.
  2. Choisissez la base de données la plus avantageuse : le H-Index est calculé par les principales bases de données bibliographiques : Web of Science, Scopus, Google Scholar. Comme ces bases n'indexent pas les mêmes revues, faites le comparatif pour déterminer laquelle vous est la plus favorable.
  3. Oubliez livres, chapitres et brevets, ne publiez plus que des articles et des conférences : livres, chapitres et brevets sont généralement mal comptabilisés par les bases de données. Optez plutôt pour les types de publication les mieux reconnues dans les bases !
  4. Devenez un passager clandestin de la publication scientifique : le H-Index ne prend en compte ni le nombre de co-auteurs de la publication, ni leur position relative dans la publication. Que vous ayez rédigé seul un livre primé de 700 pages ou que vous soyez 28e co-auteur sur 41, le H-Index sera calculé de la même manière, dés lors pourquoi se compliquer la vie ? Privilégiez le ventre mou du peloton des co-auteurs, il vous garantira une progression régulière sans vous épuiser.
  5. Laissez faire le temps (et arrêtez de publier) : la jeunesse est l'ennemi du H-Index ! Le jeune chercheur combine faible nombre de publications et faible nombre de citations, une véritable tare lorsqu'il s'agit de comparer son H-Index au sein des équipes de recherche. L'astuce consiste à être déjà un chercheur expérimenté avec une production scientifique conséquente. Vous pourrez même vous arrêter de publier bien avant l'âge de la retraite, les citations faisant le travail pour vous, votre H-Index progressera sans que vous vous en souciez. N'oubliez pas, votre H-Index ne pourra jamais diminuer !
  6. Publiez un article négatif de référence internationale : L'astuce ultime pour vous assurer d'un H-Index d'excellence réside dans la publication d'un (et de préférence plusieurs) articles négatifs dans votre champ de recherche. Des articles tellement négatifs qu'ils seront pris en contre-exemple et donc cités en masse par les chercheurs du monde entier. Votre carrière scientifique risque d'être compromise sur le long terme mais vous verrez votre H-Index décoller en flèche vers les sommets de la gloire bibliométrique !

Loin de nous l'idée de vous inciter à manipuler vos indicateurs bibliométriques. Ces quelques astuces ont uniquement pour vocation à vous alerter sur les mécanismes parfois douteux de leur production pour ainsi les utiliser en toute connaissance de cause.

Le point sur la fraude scientifique

Science Fish, de Steve Rainwater, licence CC BY-SA

Mardi dernier nous vous parlions ici-même des papiers frauduleux, ces fausses publications générées par ordinateur ("fake papers"). Quelques jours auparavant, une polémique éclaboussait la biologie française. Le plagiat fait quant à lui l'objet de vraies campagnes de sensibilisation des communautés universitaires.

La fraude scientifique est définie comme "une action destinée à tromper dans le champ de la recherche scientifique", sous trois formes principales : "la falsification de données, la fabrication de données et le plagiat. (source : wikipédia). De plus en plus relayée dans les médias, elle témoigne à la fois des difficultés de la recherche et de l'importance du pacte de confiance entre science et société.

Pour comprendre l'écho de ces mauvaises pratiques, il faut revenir au contexte de la publication scientifique.

Côté chercheurs, d'abord. La fameuse injonction de publier, "publish or perish" incite les chercheurs à multiplier les publications pour être visibles, reconnus et donc subventionnés. Le système de l'évaluation de la recherche est pourtant fortement critiqué depuis des années mais il peine à trouver d'autres critères que la publication pour évaluer les institutions et leurs équipes. Objet de toutes les attentions, des financeurs aux chercheurs, elle est monnayable et favorise les dérives : technique du salami, renvoi d'ascenseur en matière de citations, choix des projets de recherche en fonction de leur "publiabilité", invisibilité des résultats négatifs... et soumission de faux articles générés par des machines. C'est ici le système de production scientifique qui est pointé du doigt, avec pour risque, en toile de fonds, une stagnation de la recherche.

Photo de Chris Drum, un livre de published & perished  Gilbar, Steven & Dean Stewart (ed) PUBLISHED & PERISHED: Memoria, Eulogies & Remembarances of American Writers, Godine '02, 1st edn, (47 well considered and often startlingly honest appraisals of great names in American literature, memorialized, eulogized, and sometimes criticized by their closest friends and peers

Il existe un autre versant : celui des éditeurs scientifiques. C'est parce qu'ils sont réputés garants de la bonne évaluation scientifique de l'article que les revues scientifiques ont un coût : on paie pour publier et on paie pour accéder à l'article (note 1). Là encore, le contexte joue contre les éditeurs : la montée des tarifs est à l'origine d'un malaise grandissant des chercheurs et des institutions acculés par des budgets en baisse. D'autant que de nouveaux modèles de publication se développent comme l'open access (note 2), la pré-évaluation avant soumission (Rubriq), ou encore l'évaluation post-publication. La tension monte lorsqu'un groupe comme Nature (NPG) lance son service d'accélérateur : payer plus pour être évalué plus vite (et donc publié plus vite). Une science à deux vitesses ?

De la difficulté d'être évalué. Un second risque est l'installation d'un climat de suspicion généralisée entre chercheurs. Pubpeer, spécialiste de l'évaluation collaborative post-publication, est ainsi montré du doigt pour l'agressivité de son principe d'anonymat des commentaires : il suffit de chercher une publication (par son DOI, son auteur, etc.) et l'on peut ajouter un commentaire qui sera public. Ouverture du débat scientifique ou porte ouverte aux dénigrements ou laudations intéressés ? (3)

Dans ce contexte, on comprend que les faux pas des éditeurs qui publient des articles contestables ou contestés (parfois même après des années), ne passent pas. On comprend aussi l'importance pour les institutions de recherche de sensibiliser tous les acteurs aux bonnes pratiques de la recherche et à la reconnaissance des fraudes et manquements. En témoigne ce Guide pour promouvoir une recherche intègre et responsable proposé fin 2014 par le comité d'éthique du CNRS.

Vraiment?

Vraiment?

Notes et références

Aller plus loin :

(1) Pour publier un article, il faut souvent s'acquitter du coût de publication auprès de l'éditeur, jusqu'à 3000$ parfois : ce sont les APC, pour Article processing charge, dont le montant varie selon la notoriété de la revue et son mode d'accès. Publier dans une revue en libre accès coûte ainsi généralement plus cher que dans les revues commercialisées (qui coûtent, elles, une seconde fois au contribuable via les abonnements des chercheurs aux revues, voire une troisième fois si on compte le premier coût de la recherche effectuée en amont de l'article).

(2) Open access : la pression est moindre car le mouvement, dans un contexte de forte légitimité scientifique des éditeurs, a été largement récupéré par les éditeurs avec le modèle "gold open access". Cela dit, la sensibilisation à la diffusion libre et ouverte à tous des résultats de la recherche a fait son chemin.

(3) Le principe d'anonymat de Pubpeer : la question rappelle la vieille interrogation sur la fiabilité de Wikipédia, qui a su mettre, depuis, des gardes-fous. Mais les enjeux diffèrent.

Images : "Science Fish", de Steve Rainwater, licence CC BY-SA. "Published and perished", photo de Chris Drum, un livre de Steven Gilbar Steven et Dean Stewart.

Vers la fin des publications frauduleuses en recherche ?

Techaleidoscope, d'Opensourceway, licence CC-BY-SA

Avez-vous déjà entendu parler des "fake papers", ces publications frauduleuses  "rédigées" automatiquement par ordinateur avec un logiciel comme SCIgen ou Mathgen et soumises à publication ? Elles défraient régulièrement la chronique parce qu'elles mettent en lumière les failles du système de publication des résultats de la recherche, y compris chez les grands éditeurs scientifiques. Elles interpellent également l'éthique du chercheur, vertu cardinale de l'intégrité des activités scientifiques. Une telle fraude expose à la fois le chercheur incriminé, son institution et l'éditeur fautif de la mauvaise (ou fausse ?) évaluation.

C'est d'ailleurs dans ce but qu'avait été créé SCIgen à l'origine, en 2005, par des étudiants : ils voulaient démontrer la supercherie de ces pseudo-conférences qui ne pratiquent aucune évaluation scientifique des papiers soumis. Librement accessible en ligne, le logiciel a servi de canulars, de sensibilisation aux problèmes d'évaluation des revues... et petit à petit de vrai générateur d'articles pour des vrais fraudeurs.

scidetectC'est pourquoi certains ont travaillé à la conception d'un outil détecteur de fraude scientifique. Après les logiciels anti-plagiat, voici donc SciDetect, qui traque les fausses publications scientifiques, un logiciel conçu par l'Université Joseph Fourier de Grenoble et l'éditeur Springer.

La nouvelle fait grand bruit dans les milieux de la recherche et de l'édition. Est-ce que cela signe pour autant la fin des fraudes orchestrées par ordinateur ? Si l'on en croit l'expérience de l'anti-plagiat, c'est une étape qui marque une meilleure sensibilisation mais il est probable que les logiciels s'adaptent pour ne pas être détectés, puis pour mieux détecter, comme pour les antivirus. Toujours est-il que Springer vient tout juste de procéder à un retrait d'une publication : on n'en connait certes pas encore la raison...

Prochain billet : Le point sur la fraude scientifique