« Les couches-culottes sont toxiques pour les bébés, d’après une étude »… « D’après une étude, les gens qui se parlent à eux-mêmes seraient des génies »… « D’après une étude, le spoiler est bon pour vous »… Il ne se passe pas un jour sans que les médias (que je consulte) utilisent cette formule. Certains des articles sont très bien écrits et, rapportant ce qui a été fait dans l’étude, permettent réellement au lecteur de se faire une opinion argumentée. D’autres se contentent d’un gros titre et de quelques considérations générales, attrayantes, mais pas étayées. C’est là que le bât blesse.

Publis. European Southern Observatory/Flickr, CC BY

En creusant un peu, on se rend vite compte que, pour chaque étude montrant un résultat « blanc », il y en a au moins une autre qui montre un résultat « noir ». Alors, pourquoi se fier plus à l’une qu’à l’autre ? Parce qu’elle a été relayée davantage par les (multi-)médias ? Parce qu’elle est attribuée à « une université prestigieuse » ou à un « grand professeur » ? Ou encore parce qu’elle a été qualifiée de « très sérieuse » ? Parce qu’elle a été mieux faite ? Ce dernier argument est peut-être celui qui tombe le mieux sous le sens. À condition de savoir décortiquer ces fameuses études. Voici un mode d’emploi et quelques recommandations d’usage.

Les dessous d’« une étude… »

Il existe plusieurs formats pour la publication des articles scientifiques, mais tous ont en commun une structure, concrète, efficace, souvent éloignée de la belle histoire que l’on peut en tirer a posteriori. « Une étude », c’est un titre, des auteurs, un résumé, une introduction, des méthodes, des résultats, une discussion, des remerciements, des références.

D’abord un titre. C’est la première chose qu’on lit. Certains sont accrocheurs, mais ils peuvent manquer de nuances, et laisser entendre beaucoup plus qu’ils n’ont vraiment à dire. De plus, les retranscriptions ne sont pas toujours fidèles. Un matin (le 6 février 2017), j’ai tapé « d’après une étude » dans mon moteur de recherche, et sur la première page, j’ai cliqué sur le lien « D’après une étude, les femmes codent mieux que les hommes » qui m’a renvoyé vers le site du journal Le Parisien. De là, j’ai accédé à l’article original intitulé « Gender biais in open source : pull request acceptance of women versus men ». Il est bien question d’hommes et de femmes, mais ce que dit le titre de l’article initial, ce n’est pas que les femmes codent mieux que les hommes, juste qu’il y a une différence entre les deux sexes que les chercheurs souhaitent comparer. Aussi bien écrit que soit l’article en ligne du Parisien, on notera simplement que l’étiquette ne correspond pas complètement au produit.

Puis, des auteurs. Des humains donc. Des humains qui signent leur article et qui en assument donc la responsabilité intellectuelle. Les auteurs assurent, s’il y a lieu, le service après-vente de leur article. Une critique constructive ? Des compléments à apporter ? Des interrogations légitimes ? Les auteurs peuvent – et doivent – y répondre. Leur nom est toujours accompagné par leur affiliation, c’est-à-dire l’université ou l’institut de recherche qui les emploie.

Le nombre des auteurs signataires d’un article est très variable d’une étude à l’autre. Il existe un ensemble de règles définissant quelles sont les contributions de chacun qui justifient de signer. Elles sont plus ou moins suivies à la lettre, mais en général, sont considérées comme auteurs toutes les personnes qui ont élaboré l’étude, analysé et interprété les données, rédigé, apporté des critiques constructives ayant permis de renforcer la qualité de l’article. Les personnes qui ont acquis les données sont, selon les cas, considérées comme auteurs ou remerciés à la fin de l’article.

Plusieurs anonymes participent également à améliorer la valeur de l’article avant sa publication. Ce sont les reviewers, c’est-à-dire les deux ou trois spécialistes que l’éditeur contacte pour émettre un avis critique et constructif sur l’article que lui ont soumis les auteurs. Les échanges entre les auteurs, l’éditeur et les reviewers permettent de lever les ambiguïtés quant aux méthodes et aux interprétations et constituent une manière de valider la solidité des résultats et de leurs interprétations. Une sorte de contrôle qualité.

Le résumé n’est qu’un résumé

Le résumé (ou abstract) est aussi synthétique que possible. S’il est bien écrit, il informe sur ce qui a motivé l’étude, sur les grandes lignes de la méthodologie employée, il donne les principaux résultats et les principales conclusions que les auteurs en tirent, à la lumière de la question posée. Toutefois, le résumé n’est qu’un résumé. Souvent moins de 300 mots. C’est très court pour rendre compte de plusieurs mois, voire années, de travail. C’est surtout trop court pour apporter toutes les nuances nécessaires pour comprendre les résultats sans les sur-interpréter. Malgré les efforts déployés, le nombre d’articles en accès libre pour le lecteur reste encore très limité de sorte que le citoyen curieux n’a souvent accès qu’au résumé de l’article. Toutefois, on espère (qu’en est-il, vraiment ?) que ceux qui le retranscrivent pour grand public ont eu accès à sa version intégrale.

L’introduction… introduit l’article. Elle énonce le contexte de l’étude, pose les concepts et détaille les hypothèses de travail. C’est souvent la partie la plus accessible et la plus didactique de l’article. Tout simplement parce que ses auteurs veulent être bien compris par leurs lecteurs ! J’ai l’habitude de dire aux étudiants que j’encadre que si l’introduction est bien écrite, alors à la fin, le lecteur doit être en mesure de formuler lui même les hypothèses testées par les auteurs.

Ce qui fait la différence fondamentale entre un article scientifique et toute autre forme d’écrit scientifique à destination du grand public, c’est la partie matériels et méthodes. Si je lis sur mon paquet de dentifrice que 90 % des personnes interrogées sont satisfaites par le produit, alors je me demande 90 % de combien ? Est-ce que 9 personnes sur 10 interrogées ont été satisfaites, ou bien 900 sur 1000 ? Et puis satisfaites de quoi ? Sur quels critères a été évaluée la satisfaction ? Comment les utilisateurs ont-ils été interrogés (questionnaire numérique, papier, interview, téléphone…) ? Et comment ont il été choisis ? Au hasard ? Dans plusieurs régions ? Les a-t-on rémunérés ? Ont-ils reçu des offres promotionnelles en remerciement ? C’est à ce genre de questions, légitimes, que doit répondre la partie matériels et méthodes.

À elle seule, cette partie peut occuper plus du tiers de la longueur de l’article ! Voyez là comme la retranscription détaillée du protocole que les auteurs ont utilisé. Une sorte de recette de cuisine. Si cette partie est aussi détaillée, c’est pour permettre la reproductibilité de l’étude. De l’étude. Pas nécessairement du résultat.

Partant de là, on comprend bien que les résultats d’une étude ne valent rien en tant que tels s’ils ne sont pas présentés dans un contexte général et si l’on n’a qu’une idée floue de la manière dont ils ont été obtenus (comprenez : les 90 % de satisfaction de mon tube de dentifrice ne valent pas grand-chose). D’autant que la partie résultats des articles scientifique est d’une lecture que je qualifierai « d’aride ». Des chiffres. Des pourcentages. Des moyennes. Des intervalles de confiance. Des tableaux et des figures. Des faits, rien que des faits. Pas d’interprétation. Pas encore.

Les interprétations ne viennent que dans la partie qualifiée de « discussion ». C’est là que les auteurs interprètent leurs résultats à la lumière des hypothèses qu’ils ont formulées. Quand je rédige la discussion de mes articles, je dois donner à mon lecteur tous les éléments qui lui permettent de replacer mes résultats dans un cadre plus large que celui de mon étude. Je lui montre en quoi l’article qu’il est en train de lire constitue une avancée dans la compréhension d’un problème. Aussi objectif que j’essaie d’être, et avec tous les garde-fous imaginables, il est permis qu’un lecteur, sur la base des résultats, ait des interprétations si ce n’est différentes, au moins nuancées. Et c’est tant mieux !

La discussion peut aller au-delà des seuls faits et proposer des interprétations et des implications plus générales, pour peu que je les argumente en confrontant mes résultats à ceux présentés dans d’autres articles. Cela implique de mentionner tout aussi bien les études qui vont dans le même sens que mes résultats que les études montrant l’exact opposé : « J’ai montré que X. Ce résultat est conforme à la théorie Y selon laquelle… et qui est confirmée par les travaux de Doe et coll. 1999, Durand et coll. 2003, Martin et coll. 2015. Cependant, mon résultat est contraire à l’idée proposée par Dupont et Dupond 2007 selon laquelle… ». Et de comparer les approches expérimentales des uns et des autres pour expliquer les points de convergence et de désaccord.

La discussion contextualise donc les résultats présentés. Implicitement, tous les auteurs de toutes les études – je crois – admettent la règle selon laquelle des résultats ne sont valables que dans le cadre théorique et méthodologique dans lequel ils ont été établis. Si des extrapolations sont possibles, elles doivent être faites avec beaucoup de prudence.

Entendons-nous bien : la spéculation est saine si elle est étayée. Elle stimule le débat. Toutefois, les perspectives et implications des études que présentent les auteurs à la fin de leurs articles (en général) ne doivent en aucun cas être confondues avec les conclusions qui, elles, se fondent sur des résultats.

Cela peut paraître anecdotique, mais il est toujours intéressant de jeter un œil aux quelques lignes de remerciements qui précèdent la liste des références. C’est notamment là que sont mentionnés les sources de financement qui ont permis de réaliser l’étude. La question n’est pas de chercher systématiquement à remettre en question le contenu d’une étude sur la seule base de sa source de financement, mais si conflit d’intérêt il y à, il devrait être indiqué dans ce paragraphe.

De ce qui précède, on aura pu lire entre les lignes qu’en fin de compte, ce qui est nouveau dans « une étude », ce sont les résultats. Le reste de l’article emprunte à d’autres publications pour présenter le contexte, décrire des outils et des méthodes, étayer des arguments. Pour rendre à César ce qu’il lui appartient, et permettre à chacun de suivre ou de vérifier les arguments des auteurs, à chaque affirmation est associée une ou plusieurs références dont la liste est systématiquement fournie, dans le détail, à la fin de chaque article.

« Une étude », non, des études oui

La science n’est pas un catalogue de résultats publiés dans lequel chacun peut aller piocher les arguments qui abondent dans son sens ou contredisent les arguments du voisin : ce que les Anglo-saxons appellent joliment le cherry-picking. C’est un processus dynamique qui répond à un certain nombre de critères de qualité dont les plus importants sont la transparence et la reproductibilité.

La science, c’est avant tout une démarche, et une démarche exigeante. Toutes les études sont dignes d’intérêt, à condition d’être transparentes et que leur message s’appuie sur une méthodologie claire et des résultats interprétés dans la limite des conditions fixées par l’étude. Face à un contradicteur, clamer « si, c’est vrai, je l’ai lu dans une étude » n’est pas satisfaisant, parce que votre contradicteur pourra brandir une autre étude tout aussi valable. Il est normal que des études se contredisent. Si vous voulez jouer, prononcez les mots « OGM » et « bio » pendant un repas de famille, vous verrez ! C’est en confrontant des résultats opposés que l’on avance et que, petit à petit on arrive à mieux délimiter les contours d’une hypothèse, de ce qui est bien établi de ce qui fait débat.

Evitons les raccourcis

Sortir « une étude » de son contexte et la réduire à ses résultats en occultant la méthode qui a permis de l’obtenir relève au mieux de la négligence, au pire de la désinformation. Extrapoler les résultats de « une étude » en dehors du contexte dans lequel ils ont été établis relève de l’ignorance ou de la prise de position et ne devrait se faire qu’au conditionnel. Pas à l’indicatif. Et toujours en rappelant les éléments de méthodes supportant les résultats.

Qu’il n’y ait pas de méprise. Il est évident que le citoyen n’a pas à se plonger dans la lecture des études en elles-mêmes (pour peu qu’il y ait accès) et qu’il doit pouvoir faire confiance aux journalistes. Mais il est tout aussi important qu’il garde un esprit critique sur ce qu’il lit et qu’il n’oublie jamais deux choses primordiales :

• La science est écrite par des humains, avec tous les défauts et leurs qualités.
• Les « études » relayées par les médias et les réseaux sociaux ont fait l’objet de plusieurs digestions et régurgitations par d’autres humains. Plus il y a d’intermédiaires entre les auteurs de « une étude » et les lecteurs, moins la bouillie finale garde les saveurs du produit d’origine.

Ah, oui, et cet article aussi est rédigé par un humain, aussi (im)partial qu’un autre. Faites-en ce que vous voulez.