Par Jean Buisson, en réaction à l’article « La méta-analyse en parapsychologie ?… » d’Henri Broch
Dans l’article « La méta-analyse en parapsychologie ?… » de H. Broch [1], publié sur le site Internet du Laboratoire de zététique de l’Université de Nice-Sophia Antipolis, les études méta-analytiques sont critiquées, notamment la manière dont est évalué l’effet-tiroir (file-drawer effect). L’auteur propose de « faire travailler nos neurones » sur la manière dont sont menées les études sur l’effet-tiroir en parapsychologie, afin de mener une réflexion rapide sur la manière dont devrait être abordé le problème. Cette réflexion lui permet de conclure :
« Tant que [les parapsychologues] n’auront pas mené leurs chères études méta-analytiques de [la] seule correcte façon [proposée] – ce qui n’est, pour l’instant, pas le cas – il est tout à fait inutile de discuter ne serait-ce que d’un iota de leurs résultats. »
(Caractères gras et italiques d’origine.)
Nous ferons tout d’abord quelques remarques générales sur l’article du Laboratoire de zététique. Ensuite, après avoir présenté les méta-analyses et le problème du biais de publication, nous montrerons que la critique de H. Broch est extrêmement simpliste et loin d’être objective.
Remarques d’ordre général sur l’article du Laboratoire de zététique
Concernant un sujet aussi technique et pointu que les méta-analyses, on s’attend à ce qu’un article publié sur le site Internet d’une université fasse preuve d’une certaine tenue et d’une certaine rigueur. L’article en question, tant sur le fond que sur la forme, ne montre ni l’une, ni l’autre. Nous ne nous attarderons pas sur le ton général de l’article et ses innombrables expressions et figures de style ridiculisant les parapsychologues, ni sur la possible confusion du lecteur entre méta-analyse et évaluation de l’effet tiroir, et encore moins sur la première partie de l’article qui est hors sujet et expéditive. Attardons-nous en revanche sur l’absence totale de référence à la littérature concernée, qui est beaucoup plus problématique.
Le Laboratoire de zététique étant « un centre de recherche et d’information », les documents mis à disposition sur son site Internet devraient remplir cette mission informative. Or, l’article sur les méta-analyses ne fonde ses critiques sur aucune source et le lecteur un peu curieux est simplement renvoyé aux ouvrages écrits par l’auteur du texte lui-même. Le développement de l’esprit critique, si cher aux zététiciens, devrait normalement passer par une étape informative où différentes opinions et différents points de vue sont confrontés. Il pourrait ainsi être utile au développement de l’esprit critique du lecteur d’avoir la possibilité de se référer aux études dont il est question, de savoir si l’effet tiroir est évalué autrement dans les autres domaines que la parapsychologie, ou même s’il y a eu d’autres critiques sur le sujet. Or, comme très souvent chez Henri Broch, l’argumentation est unilatérale, catégorique, expéditive et sans référence.
La méta-analyse
Une méta-analyse consiste à combiner les résultats de plusieurs expériences sur un même sujet. Le but principal est de mettre en évidence des effets très faibles, noyés dans le bruit. Notons que les méta-analyses ne sont pas une spécificité de la parapsychologie et sont couramment utilisées dans les sciences de l’homme (sociologie, psychologie, médecine…). Le professeur H. Broch mentionne (et expédie) le problème de l’hétérogénéité des études prises en compte pour une analyse combinée :
« En analysant, avec un peu de recul, avec un peu de « hauteur », les données de plusieurs expériences sur les pouvoirs-psi (et, notez-le bien, aussi ahurissant que cela paraisse méthodologiquement parlant : pas forcément sur le même type d’expériences !) des parapsychologues clament qu’ils ont fait la preuve de l’existence desdits pouvoirs. »
(Caractères italiques d’origine.)
A cause de l’absence de références, il est difficile de savoir quelles méta-analyses sont visées ici. Nous aborderons donc le problème de l’hétérogénéité des études de manière générale. Par la nature même de la méta-analyse, les études combinées montreront nécessairement des hétérogénéités, puisque les études prises en compte sont censées être indépendantes. Ces hétérogénéités peuvent se trouver à différents niveaux (voir par exemple [2]) :
– Au niveau des populations testées ;
– Au niveau des protocoles qui diffèrent selon les études ;
– Au niveau de la variable de sortie étudiée ;
– Au niveau des conditions annexes aux expériences (lieu d’expérimentation, par exemple).
Le problème n’est donc pas de savoir si les études sélectionnées sont hétérogènes, mais de savoir si ces hétérogénéités sont trop importantes et auront un impact sur les résultats de l’analyse combinée. Notons que l’un des objectifs de la méta-analyse, outre le fait de mettre en évidence des effets très faibles, est de voir en quoi certains paramètres influencent les résultats, ce qui n’est possible que grâce à ces différences entre les études prises en compte [3]. Ces variations sont donc aussi une richesse et sont la plupart du temps mises à profit lors des analyses combinées (voir par exemple [4]).
Biais de publication
Une question souvent abordée lors des méta-analyses est celle du biais de publication. Il y a biais de publication lorsque la probabilité qu’une étude soit publiée (et donc prise en compte dans une analyse combinée) dépend de la significativité statistique du résultat. Selon l’hypothèse de l’effet tiroir, les expériences aux résultats positifs sont le plus souvent publiées tandis que les autres restent dans les tiroirs des laboratoires. Afin de vérifier si un ensemble de données soumis à une méta-analyse est sujet à un tel biais, plusieurs méthodes ont été développées. La plus standard et la plus couramment utilisée est celle du calcul du fail-safe N (FSN), proposée par Rosenthal [5]. Elle consiste à évaluer le nombre de travaux non publiés et à résultat nul nécessaire pour annuler la significativité des résultats combinés de l’ensemble des publications étudié. Si ce nombre est faible, il y a probablement biais de publication, et les résultats de la méta-analyse devront être interprétés en conséquence. Si ce nombre est important, le biais de publication est sans doute faible. Encore une fois, l’article du Laboratoire de zététique ne fournissant aucune référence, il est difficile de savoir de quelle méthode d’évaluation de l’effet tiroir il est question exactement. La définition du FSN correspondant à celle donnée dans l’article, nous considérerons donc que le FSN est la méthode critiquée par l’auteur.
La critique de H. Broch
La critique de l’article de H. Broch peut être exprimée de la manière suivante :
Suivant l’hypothèse nulle, si les résultats publiés sont biaisés positivement, les résultats non publiés le seront négativement. Or les parapsychologues considèrent que les études non publiées ont une moyenne nulle (i.e. sont non biaisées). Selon le professeur H. Broch, cette hypothèse n’est pas valide et mène à une sous-évaluation de l’effet tiroir.
Critiquer le FSN n’est pas illégitime en soi. L’évaluation du biais de publication est un calcul très théorique, dans le sens où il faut évaluer un nombre d’études hypothétiques sans pouvoir connaître la distribution réelle de l’ensemble des résultats ni les probabilités de publication. Le nombre d’inconnues est tellement important qu’il est toujours possible de discuter les hypothèses de départ, quelles qu’elles soient. En ce sens, le FSN peut toujours être critiqué. Le lecteur peut se référer aux articles [6] et [7] dans lesquels les auteurs expriment leurs critiques envers le FSN.
Problèmes de la critique de H. Broch
Le principal problème de l’article de H. Broch est qu’il est totalement inadéquat à la complexité du sujet abordé. L’auteur fait preuve d’une grande légèreté alors que le sujet est l’objet de nombreuses discussions dans la communauté scientifique, et pas seulement parapsychologique. La première critique que l’on peut faire est que H. Broch vise exclusivement les parapsychologues. Or le calcul du FSN est une méthode très largement répandue dans de nombreux domaines : on peut la rencontrer en endocrinologie [8], en biologie animale [9], en épidémiologie [10] ou encore en médecine [11, 12]… Une critique du FSN et de son utilisation peut donc être publiée dans n’importe quelle revue de statistiques, sciences humaines ou biologie. H. Broch choisit de s’en prendre uniquement aux parapsychologues…
Par ailleurs, H. Broch nous dit que l’effet tiroir ne doit être calculé que d’une « seule correcte façon ». Commençons par dire que, le plus souvent en parapsychologie, si le FSN est calculé parce que c’est une mesure standard, le biais de publication est aussi évalué d’autres manières. Ainsi, dans [13], l’auteur décrit une méthode graphique (funnel plot) couramment utilisée. Dans [14], suivant l’hypothèse que tous les résultats positivement significatifs (au nombre de N) aient été publiés, le nombre total de travaux est évalué (Ntot = N × 20), permettant ainsi d’avoir une estimation du nombre d’études non publiées (Nnon-pub = Ntot – Npub). Dans [15] et [4], est utilisée la méthode proposée dans [16] analysant la distribution des données positivement significatives. Dans [17], les auteurs tentent d’évaluer la significativité du biais de publication en minimisant le Chi2 d’adaptation entre les données empiriques ayant Z = 1.645 et différentes distributions. Ces exemples montrent que la critique de H. Broch n’a aucunement lieu d’être. Les parapsychologues n’évaluent pas seulement l’effet tiroir par le calcul du FSN. Il n’y a donc pas « une seule [méthode] correcte », mais un ensemble de méthodes, dont le FSN fait partie, qui se doivent d’être interprétés différemment en fonction de leurs hypothèses de départ.
Conclusion
H. Broch simplifie le problème à l’extrême, ne donnant aucune référence soutenant ses affirmations, ce qui lui permet d’affirmer ce qu’il veut sur le sujet. Les différentes méta-analyses menées en parapsychologie sont à prendre au cas par cas, et ne peuvent être rejetées en bloc, puisque les outils statistiques utilisés dépendent des auteurs et des publications. L’article publié sur le site de l’Université de Nice-Sophia Antipolis faillit à une des principales missions du laboratoire, qui est d’informer le public sur les phénomènes paranormaux. Il ne donne aucune référence, donne des informations floues voire totalement fausses, et est totalement irrespectueux des chercheurs travaillant dans le domaine. L’argumentation de l’article de H. Broch peut être vue comme un effet petits ruisseaux doublé d’un effet cerceau [18] :
→ De l’omission de petits détails, naissent une grande théorie : ne se référant ni à la littérature parapsychologique, ni à la littérature méta-analytique, l’auteur dit présenter la méthode utilisée par les parapsychologues. Or, nous l’avons vu, cette méthode n’est pas unique et est aussi largement utilisée dans d’autres domaines. Cet effet petits ruisseaux peut être dû à un effet bipède [18].
→ H. Broch impose ce qu’il veut démontrer : il présente sa propre version simplifiée du raisonnement des parapsychologues et démontre qu’elle est fausse. Il est vrai que l’article de H. Broch ne prétend qu’être un « billet d’humeur ». Cependant, il paraît étonnant qu’un article sur un sujet technique publié sur le site d’une université montre tant d’approximations, de manque de rigueur, et fasse preuve de désinformation.
Références
[1] H. Broch, « La méta-analyse en parapsychologie ?… », mars 2003. Publié sur le site du Laboratoire de zététique, Université de Nice-Sophia Antipolis ; Accédé en juin 2007
[2] Huw T.O. Davies, Iaine K. Crombie, “What is meta-analysis ?” Published by Hayward Medical Communications, Volume 1, Number 8, 2003. Accédé en juin 2007
[3] J. Utts, “The Significance of Statistics in Mind-Matter Research,” Journal of Scientific Exploration, Vol. 13, No. 4, pp. 615-638, 1999
[4] A. R. Lawrence, “Gathering in the sheep and goats… A meta-analysis of forced-choice sheep-goat ESP studies, 1947—1993,” In : Proceedings of the 36th Annual Convention of the Parapsychological Association, Parapsychological Association, pp. 75-86, 1993
[5] R. Rosenthal, “The “File Drawer Problem” and Tolerance for Null Results,” Psychological Bulletin, 86, pp. 638-641, 1979
[6] J.D. Scargle, “Publication Bias : The “File-Drawer” Problem in Scientific Inference,” Journal of Scientific Exploration, Vol. 14, No. 1, pp. 91-106, 2000
[7] S. Iyengar, J.B. Greenhouse, “Selection Models and the File-Drawer Problem,” Statistical Science, Vol. 3, No. 1, pp. 109-135, 1988
[8] J. Faber, A.M. Galloe, “Changes in Bone Mass During Prolonged Subclinical Hyperthyroidism Due to L-Thyroxine Treatment : A Meta-Analysis,” European Journal of Endocrinology, Vol. 130, No. 4, pp. 350-356, 1994
[9] P. Fiske, P.T. Rintamäki, E. Karvonen, “Mating Success in Lekking Males : A Metaanalysis,” Behavioral Ecology, Vol. 9, No. 4, 328-338, 1998
[10] U. Helfenstein, M. Steiner, “Fluoride Varnishes (Duraphat) : A Meta-Analysis,” Community Dentistry and Oral Epidemiology, Vol. 22, No. 1, pp. 1-5, 1994
[11] H.S. Sacks, D. Reitman, T.C. Chalmers, H. Smith, “The Effect of Unpublished Studies (the file drawer problem) on Decisions About Therapeutic Efficacy.” Clinical Research [abstract], Vol. 31, p. 236, 1983
[12] M. Earleywine, “The File-Drawer Problem in the Meta-Analysis of Subjective Responses to Alcohol,” American Journal of Psychiatry, 150, pp. 1435-1436, 1993
[13] D. Radin, “Entangled Minds : Extrasensory Experiences in a Quantum Reality,” Paraview Pocket Books, 2006
[14] D.I. Radin, D.C. Ferrari, “Effects of Consciousness on the Fall of Dice : A Meta-Analysis,” Journal of Scientific Explorartion, Vol. 5, No. 1, pp. 61-83, 1991
[15] C. Honorton, D.C. Ferrari, “Meta-Analysis of Forced-Choice Precognition Experiments,” Journal of Parapsychology, Vol. 53, No. 4, 1989
[16] R.M. Dawes, J. Landman, J. Williams, “Reply to Kurosawa,” American Psychologist, Vol. 39, pp. 74-75, 1984
[17] D.I. Radin, R.D. Nelson, “Evidence for Consciousness-Related Anomalies in Random Physical Systems,” Foundations of Physics, Vol. 19, No. 12, 1989
[18] H. Broch, « Enseignements de zététique, Université de Nice-Sophia Antipolis », année inconnue. Publié sur le site du Laboratoire de zététique, Université de Nice-Sophia Antipolis. Accédé en juin 2007