L’Association Française pour l’Information Scientifique (AFIS) a publié un nouvel article de Nicolas Gauvrit (Université d’Artois), intitulé « Expérience paranormale, Résultats normaux : sentiment d’être observé » (Gauvrit, 2010) qui consiste en une critique des travaux de Rupert Sheldrake sur le sentiment d’être observé. Nicolas Gauvrit avait déjà publié un article que nous avions critiqué sur les travaux de ce chercheur.
L’article débute en présentant les expériences de Rupert Sheldrake sur le sentiment d’être observé. Ces expériences auraient été démontées par ses critiques, et Sheldrake n’aurait pas répondu de manière satisfaisante. Heureusement, d’après Nicolas Gauvrit, Richard Wiseman (University of Hertfordshire) n’a pas attendu que Sheldrake conduise ses expériences correctement, et aurait donc monté sa propre expérience, démontrant l’absence d’un tel effet. L’article continue en analysant les données d’une expérience menée par l’Observatoire Zététique (OZ, Fabre, 2009), dont nous avions déjà publié une critique.
Dans le présent article, nous allons voir que Nicolas Gauvrit :
→ Vise une fois de plus à ridiculiser la parapsychologie, et en particulier Sheldrake, en modifiant les faits et en utilisant la technique dite de l’épouvantail ;
→ Présente les travaux scientifiques de manière sélective, occultant ceux qui ne soutiennent pas son point de vue ;
→ N’a soit pas lu les articles de recherche qu’il décrit, soit les présente volontairement de manière erronée ;
→ Présente un argument statistique qui n’a pas lieu d’être et qui n’a aucune valeur démonstrative.
I – Une présentation biaisée de la controverse
Nicolas Gauvrit décrit la controverse sur les travaux de Sheldrake de cette manière :
Les premières expériences de Sheldrake sur la question furent totalement démontées lorsqu’on mit à jour plusieurs erreurs méthodologiques et statistiques profondes (Marks & Colwell, 2000) invalidant totalement la « démonstration ». Sheldrake refit des expériences tenant compte d’une partie – mais une partie seulement – des remarques critiques qui lui étaient faites. De nouvelles critiques entraînèrent de nouvelles réponses, et le cercle infernal semble aujourd’hui sans fin.
Selon cette description, il ressort que :
→ 1° Il a été montré que les expériences de Sheldrake contiennent des erreurs graves ;
→ 2° Sheldrake n’aurait pas répondu de manière satisfaisante ;
→ 3° Maintenant, la controverse est tellement compliquée que cela n’a plus de sens de discuter.
Si ce paragraphe mentionne l’existence de réponses de la part de Sheldrake, il est très clair que la description des faits est biaisée. Aucune référence directe vers une publication de Sheldrake sur le sentiment d’être observé n’est donnée, mais simplement un lien Wikipédia, pour une « présentation en quelques lignes » du sentiment d’être observé. La seule référence donnée dans le paragraphe est un article de vulgarisation publiée dans le magazine Skeptical Inquirer, qui critique les expériences de Sheldrake. Nicolas Gauvrit affirme que Sheldrake n’a pas répondu de manière satisfaisante, mais ne donne aucun exemple pour appuyer son affirmation, et ne donne pas non plus de référence. De toute manière, pour ne pas inciter les lecteurs à aller vérifier d’eux-mêmes, la controverse est décrite comme un « cercle infernal […] aujourd’hui sans fin »…
Pourtant, l’histoire n’est pas si compliquée :
→ a) Sheldrake a publié à partir de la fin des années 90 une série d’article sur le sentiment d’être observé. Tous ses articles sur ce sujet sont disponibles sur son site Internet.
– b) En 2000, deux critiques ont été publiées dans le Skeptical Inquirer. L’une par Baker (Baker, 2000), l’autre par Marks et Colwell (Marks & Colwell, 2000, la référence donnée par Nicolas Gauvrit), qui est une version vulgarisée d’une étude publiée dans le British Journal of Psychology (Colwell, Schroder & Sladen, 2000).
– c) Sheldrake a répondu conjointement à ces deux critiques dans le même magazine (Sheldrake, 2001a), réponse à laquelle Baker a brièvement répondu à son tour (Baker, 2001), finissant le cercle infernal.
Nous laissons au lecteur le soin d’étudier ces articles. Nous l’invitons par ailleurs à se référer aux travaux plus récents de Sheldrake sur le sujet, ainsi qu’à l’édition spéciale du Journal of Consciousness Studies (2005, vol. 12:6, dont cet article traduit en français), qui contient entre autres une soixantaine de pages de commentaires de différents chercheurs.
L’Association Française pour l’Information Scientifique occulte dans cet article la réalité des débats scientifiques sur le sentiment d’être observé, ne citant que les critiques de Sheldrake. Or, certains des arguments de Sheldrake sont pertinents, mettant à jour certaines limites de la démonstration de ses détracteurs (ce qui ne veut pas dire que les expériences de Sheldrake sont sans défaut). Nicolas Gauvrit prend donc une position non modérée sur un débat scientifique qui est loin d’être unilatéral, dressant un tableau en noir et blanc, dissimulant le mérite et les limites des protagonistes, et n’incitant pas le lecteur à s’informer sur le sujet.
II- L’expérience « de Wiseman »
Nicolas Gauvrit continue l’article en remarquant que Richard Wiseman (University of Hertfordshire) n’a pas attendu Sheldrake pour mener une expérience de manière correcte, et a monté sa propre expérience (présentée comme bien meilleure que celle de Sheldrake). Il décrit la procédure et note l’absence de résultat, démontrant l’inexistence du sentiment d’être observé que prétend démontrer Sheldrake.
Cette présentation est largement erronée. Nous allons prendre les passages un à un pour le montrer.
Nicolas Gauvrit écrit :
Plutôt que de compter sur Rupert Sheldrake pour mener à bien une version satisfaisante de son idée, certains chercheurs comme Richard Wiseman préférèrent organiser eux-mêmes la vérification expérimentale des pouvoirs dévoilés par la parapsychologie. Le psychologue de l’université du Hertfordshire organisa une série d’expériences en suivant les grandes lignes du protocole de Sheldrake.
Nicolas Gauvrit présente implicitement cette expérience comme étant une réplication ou vérification des expériences de Sheldrake. Or, cette chronologie est incorrecte. La première expérience de Wiseman sur le sentiment d’être observé date de 1994 (Wiseman & Smith, 1994) et il n’est pas fait mention des expériences de Sheldrake, qui semble ne parler de ces expériences pour la première fois que dans son livre Seven Experiments that Could Change the World (voir Sheldrake, 1998). C’est en fait une série de publications de Braud et collègues à partir de 1990 qui semble avoir initié l’intérêt récent pour ce phénomène, que cela soit chez Wiseman ou chez Sheldrake.
Suite aux études de Braud et ses collègues, Wiseman a monté ses propres expériences en collaboration avec d’autres chercheurs, et a publié deux articles (Wiseman & Smith, 1994 ; Wiseman, Smith, Freedman, Wasserman & Hurst, 1995). Aucune de ces deux études ne menèrent à des résultats significatifs en faveur de l’existence du phénomène. Au même moment que Wiseman, Marilyn Schlitz réalisait ses propres expériences, trouvant des résultats positifs (Schlitz & Laberge, 1994). Constatant la différence de résultats malgré des protocoles expérimentaux très similaires, Wiseman et Schlitz décidèrent de travailler ensemble et de mettre en place une expérience commune, afin de tester l’hypothèse d’un effet expérimentateur. Ils publièrent trois articles en commun (Wiseman & Schlitz, 1997, 1999 ; Schlitz, Wiseman, Watt & Radin, 2006). La dernière étude en date (Schlitz et al., 2006) est celle dont il est question dans l’article de Nicolas Gauvrit.
Le lien que fait donc Nicolas Gauvrit entre les expériences de Wiseman et de Sheldrake est donc inventé. Comme nous allons le voir, il existe une différence méthodologique fondamentale entre les expériences de Sheldrake et de Wiseman. Les premières expériences sur le sentiment d’être observé datent de la fin du XIXe siècle. Les expériences de Sheldrake, bien que probablement motivées par la lecture de Braud, suivent le protocole simple de ces toutes premières expériences (voir Sheldrake, 1998). Les expériences de Wiseman et Schlitz suivent l’approche de Braud, qui a modifié le simple protocole initial qu’utilise Sheldrake, en y ajoutant des méthodes issues des études DMILS (Direct Mental Influence on Living Systems).
Comme dans la première expérience de Sheldrake, des sujets sont appariés, l’un étant l’observateur et l’autre l’observé. L’observateur regarde ou ne regarde pas, au moyen d’une caméra, la nuque de l’observé situé dans une autre pièce. L’observé, pour sa part, se concentre du mieux qu’il peut et essaie de deviner s’il est observé ou non.
Contrairement à ce que décrit Nicolas Gauvrit, l’observé n’essaie pas de deviner s’il est observé ou non. Comme nous l’avons mentionné auparavant, les expériences de Wiseman et Schlitz utilisent une méthode issue des études DMILS où l’activité électro-dermale (ou réponse galvanique, corrélée avec le taux de sudation) du participant est mesurée, et c’est cette grandeur qui est comparée entre les périodes d’observation et de contrôle. Wiseman et Schlitz mesurent donc une réaction inconsciente du participant à travers une mesure physiologique, alors que Sheldrake utilise un protocole à réponses comportementales à choix forcé. C’est une différence fondamentale entre ces deux protocoles.
La consigne donnée à l’observateur de regarder ou non la nuque de l’observé est déterminée au moyen d’une fonction pseudo-aléatoire, évitant des biais commis jadis par quelque parapsychologue.
Nicolas Gauvrit fait probablement référence à la critique de Marks et Colwell (2000), dans laquelle la structure des séquences pseudo-aléatoires de Sheldrake est analysée. Marks et Colwell conclurent que ces séquences contiennent plus d’alternances et moins de séries que ce que donnerait une séquence véritablement aléatoire (ou probablement une séquence dont les variables aléatoires déterminant la condition de chaque essai sont indépendantes et identiquement distribuées, avec une probabilité p = 0,5 de tomber sur l’une ou l’autre des conditions). D’après Marks et Colwell (2000), les séquences de Sheldrake contiennent une structure, qui pourrait être inconsciemment apprise par le participant observé, s’il lui est donné un feed-back.
Une anecdote intéressante est que Sheldrake aurait modifié ses séquences pseudo-aléatoires parce que Wiseman et Smith (1994) expliquent que leurs résultats positifs seraient le fruit d’un artefact dû à une mauvaise aléatoirisation des essais. Les séquences utilisées dans leur étude étaient des séquences pseudo-aléatoires issues d’une table de chiffres. Sheldrake aurait donc utilisé des séquences contrebalancées pour éviter un tel biais (Sheldrake, 2001a). Effectivement, des séquences d’essais indépendants et identiquement distribués devraient être utilisées, en particulier si un feed-back est donné au sujet. Sheldrake (2001a) note qu’un grand nombre de ses expériences ont aussi été menées avec des séquences non contrebalancées sans structure, et que lorsqu’il a commencé à utiliser des séquences sans structure, le feedback n’était plus donné au sujet (voir aussi Sheldrake, 2001b, 2008). Ces remarques limitent donc la portée de la critique de Marks et Colwell (2000).
Mais revenons au séquences pseudo-aléatoires utilisées dans l’étude dite « de Wiseman » (Schlitz et al., 2006). Nicolas Gauvrit nous dit que la consigne est donnée à l’observateur par une « fonction pseudo-aléatoire, évitant des biais commis jadis par quelque parapsychologue. » Notons tout d’abord que puisque qu’on ne demande pas au sujet de deviner quoi que ce soit dans l’étude de Wiseman et Schlitz, un biais d’alternance dans les essais importe moins. Si on en croit Wiseman et Smith (1994), cela est en fait préférable. Comment sont donc construites les séquences aléatoires dans l’étude dite « de Wiseman » ?
Les séquences sont constituées de 10 blocs de 4 essais. Chaque bloc est une suite de quatre essais ordonnés de deux manières possibles : ONNO (observé, non-observé, non-observé, observé) ou NOON (non-observé, observé, observé, non-observé). Les blocs sont choisis de manière pseudo-aléatoire. Cette séquence suit-elle les critères énoncés par Marks et Colwell (2000), comme le sous-entend Nicolas Gauvrit ? Pas du tout. Elles sont encore moins aléatoires que celles de Sheldrake. L’alternance est très élevée, et la probabilité d’avoir une série de plus de deux essais identiques (NNN… OOO…) est simplement nulle.
L’observé n’est pas tenu informé de la qualité de ses réponses pour la même raison.
L’observé n’est pas tenu informé de la qualité de ses réponses tout simplement parce que contrairement aux expériences de Sheldrake, il ne donne pas de réponse : la variable dépendante est la réponse galvanique du participant. Ce type de remarque montre à quel point Gauvrit déforme, sciemment ou non, les recherches qu’il prétend décrire.
Richard Wiseman, à l’inverse de Sheldrake, ne trouve jamais de résultat significatif : ceux qu’il obtient avec cette méthode sont parfaitement conformes à ce que donnerait un tirage aléatoire. Autrement dit, tout se passe conformément à la théorie selon laquelle l’observé ne sait pas si on l’observe ou non.
Effectivement, Richard Wiseman ne trouve jamais de résultat significatif (sauf dans Wiseman & Smith, 1994, où les résultats sont interprétés comme étant le fruit d’un artefact de randomisation), mais la série d’études dont nous parle Nicolas Gauvrit s’intéresse à l’effet expérimentateur : l’hypothèse testée est que sous des conditions expérimentales identiques, Schlitz obtiendra un effet, et non Wiseman.
Nicolas Gauvrit oublie cependant de mentionner que si les résultats de l’expérience dont il est question (Schlitz et al., 2006) ont obtenu un effet nul, les deux expériences précédentes (Wiseman & Schlitz, 1997, 1999) ont obtenu un effet conforme à l’hypothèse psi et à un effet expérimentateur. Un protocole validé par Wiseman a donc produit à deux reprises des résultats significatifs, et cela n’est pas mentionné par Nicolas Gauvrit !
En conclusion de cette partie, nous pouvons énoncer trois hypothèses expliquant les erreurs flagrantes dans l’article de Nicolas Gauvrit :
→ Soit l’auteur n’a lu ni l’article qu’il prétend décrire, ni les publications associées ;
→Soit il n’a pas compris ce qu’il a lu ;
→Soit il a tout compris, mais a délibérément décrit les faits de manière fantaisiste, pour faciliter son argumentation.
Dans chacun des cas, il est choquant qu’un scientifique professionnel fasse preuve d’un tel manque de rigueur, et il est extrêmement inquiétant qu’un magazine à vocation de vulgarisation scientifique publie un tel condensé d’erreurs.
III- L’expérience de l’Observatoire Zététique
Après avoir argumenté avec aplomb que si l’expérience de Sheldrake est montée correctement par un sceptique, la mesure d’un sentiment d’être observé disparaît, Nicolas Gauvrit avance un argument « parapsychologique » visant à défier une interprétation de résultats confortant l’hypothèse nulle :
Une des critiques que les parapsychologues adressent aux recherches du type de celles de Wiseman […] est que seuls certains participants sont doués pour deviner si on les observe. […] [Aussi,] les parapsychologues expliquent parfois qu’une partie des participants (les sceptiques) sont bien pires que mauvais : ils ont en fait des résultats négatifs, c’est-à-dire inférieurs à ce qu’on trouverait par hasard. Le mélange, au sein d’un échantillon, de participants efficaces et d’autres sous-efficaces, pourrait alors annuler les effets, et rendre le traitement statistique inopérant.
Nicolas Gauvrit utilise la technique rhétorique bien connue de l’épouvantail (strawman argument) : ces propos attribués à des parapsychologues sont fictifs. De plus, Nicolas Gauvrit ne renvoie le lecteur vers aucune référence pour savoir si cette objection est effectivement une critique récurrente en parapsychologie.
Nous pensons que si cette critique « de parapsychologues » fait probablement référence aux travaux sur l’effet mouton-chèvre (le score obtenu par un participant à une tache psi sera corrélé avec sa croyance au psi), elle les présentent de manière erronée. Cet effet est l’un des effets répliqués avec le plus de succès en parapsychologie expérimentale, notant toutefois une taille d’effet très faible (Irwin & Watt, 2007, p. 74). Il ne s’agit donc pas d’une explication ad hoc des échecs.
Pour contrer l’explication « parapsychologique » de résultats nuls, Nicolas Gauvrit se propose de réanalyser les données d’une expérience menée par l’Observatoire Zététique (Fabre, 2009), dont nous avions déjà publié une critique. Nous allons commenter cette nouvelle analyse, même s’il ne doit pas échapper au lecteur que celle-ci est introduite après un argument d’épouvantail.
Il apparaît que les principes de l’analyse proposée par Nicolas Gauvrit ne sont pas mauvais. Cependant, nous sommes insatisfaits par l’absence de détails, par la manière dont les tests statistiques sont vulgarisés, et nous questionnons le bien-fondé de l’application de ce test à ces données.
→ a) Absence de détails : Lorsque des tests statistiques sont menés, un minimum de détails sont nécessaires pour permettre au lecteur d’évaluer l’analyse effectuée. Or, Nicolas Gauvrit ne donne que très peu de détails statistiques : il ne dit pas quel test a été effectué, il ne donne pas l’illustration de la distribution empirique qu’il étudie, ne rapporte ni la taille d’effet, ni la valeur p associée. Il faut donc croire l’auteur sur parole lorsqu’il nous dit que « les résultats de cette comparaison, réalisée sur les données collectées, ne sont pas significatifs ». Cette absence de détails peut aussi s’expliquer par le fait que le compte rendu complet de l’expérience n’a toujours pas été publié par l’OZ après un an et demi.
→ b) Une puissance statistique faible : L’expérience de l’OZ a été menée avec 9 participants, totalisant 180 essais. Ce faible nombre de participants et d’essais pose le problème évident de la faible puissance statistique de l’expérience, comme nous l’avions déjà expliqué dans notre critique de l’expérience de l’OZ et comme le reconnait d’ailleurs Nicolas Gauvrit. Il propose néanmoins de comparer la distribution des scores individuels avec leur distribution théorique. Le test n’est donc mené que sur 9 points, ce qui est très faible, surtout si l’on essaie de détecter un effet qui, comme le dit Nicolas Gauvrit, « ne se produit que sur un petit pourcentage de la population. » Il est clair que, dans cette situation, un large échantillon est nécessaire, certainement supérieur à 9 participants… Nicolas Gauvrit, enseignant les statistiques dans une école doctorale, est certainement conscient de ce problème.
→ c) L’explication vulgarisée d’une analyse statistique peu éclairante : Gauvrit nous dit que le score 8 a une chance de 12 % d’apparaître par hasard. Bien que ceci soit correct, ces 12 % ne sont pas la grandeur pertinente pour déterminer si les résultats sont conformes à l’hypothèse nulle. Le critère standard utilisé en sciences est la valeur p (p-value), qui quantifie la probabilité d’obtenir une déviation égale ou supérieure à celle obtenue empiriquement. Un score est typiquement considéré comme statistiquement significatif si cette valeur p est inférieure ou égale à 0,05.
→ d) Une analyse post-hoc : Finalement, l’analyse proposée par Nicolas Gauvrit est dite post-hoc, et doit donc être considérée comme telle. Les hypothèses, le traitement des données, ainsi que les tests statistiques à effectuer sur les données sont typiquement spécifiés a priori (c’est-à-dire avant la collecte des données) afin d’éviter aux scientifiques de tester plusieurs procédures statistiques et de choisir celles qui donnent un effet significatif ou qui confirment leurs convictions. Cependant, rien n’empêche une analyse post-hoc lorsqu’elle présentée comme telle, et ce genre d’analyse est encouragée pour donner lieu à de nouvelles hypothèses. Un test post-hoc menant à des résultats significatifs ou non ne pourra être qu’interprété avec prudence de la part du lecteur, qui considérera dans la plupart des cas qu’un effet significatif constitue la base d’une hypothèse intéressante à tester expérimentalement. Dans notre cas, comme nous l’avons vu précédemment, les données n’étant pas adéquates à l’analyse de Nicolas Gauvrit, rien ne peut être conclu de ce test.
IV- Conclusion
Cet article de Nicolas Gauvrit est un exemple d’école de désinformation sur la parapsychologie :
→ Les informations données sur la controverse de Sheldrake sont caricaturaux et incomplets, faisant délibérément passer Sheldrake pour un incompétent et Wiseman pour un chercheur modèle ;
→ Nicolas Gauvrit prend la liberté d’inventer des détails sur le déroulement des faits (l’expérience « de Wiseman » est en fait une collaboration avec Schlitz ; les motivations de l’expérience de Wiseman énoncées par Nicolas Gauvrit sont fausses ; deux parmi les trois expériences de Wiseman et Schlitz ont obtenu un effet significatif, alors que Nicolas Gauvrit nous dit que Wiseman obtient toujours un effet nul) ;
→ La plupart des détails expérimentaux donnés par Nicolas Gauvrit sont tout simplement faux ;
→ Nicolas Gauvrit utilise un argument épouvantail pour mieux critiquer les parapsychologues ;
→ Nicolas Gauvrit fait un usage douteux des statistiques pour appuyer son point de vue.
Nous ne pouvons que mettre en garde les lecteurs de la revue Sciences et Pseudo-Sciences, de l’Association Française pour l’Information Scientifique, qui semble plus portée vers la désinformation que la réelle information.
Car l’information scientifique était pourtant facilement accessible. Il est étonnant que Nicolas Gauvrit n’ait pas mentionné la méta-analyse de Schmidt et al. (2004), publiée dans le British Journal of Psychology (disponible ici, et qui décrit un effet faible mais significatif sur 15 études homogènes similaires à celles de Wiseman et Schlitz (c’est-à-dire utilisant une mesure physiologique du sentiment d’être observé). Cet article apporte des critiques justifiées de ces expérimentations, sans besoin d’aller inventer de faux problèmes ou de polémiquer. En effet, Schmidt et al. (2004, p. 245) concluent qu’il faut être prudent dans l’interprétation des données en faveur du « remote staring » du fait d’un manque d’études de haute qualité, et de la possibilité pour que ces études de haute qualité viennent diminuer l’effet global jusqu’à le faire disparaître. Ces chercheurs appellent à davantage de réplications de haute qualité pour déterminer si le phénomène du sentiment d’être observé est un artefact ou un phénomène inconnu.
Références :
Baker, R.A. (2000). Can we tell when someone is staring at us ? Skeptical Inquirer, 24(2), 34-40.
Baker, R.A. (2001). Robert Baker replies to Sheldrake. Skeptical Inquirer, 25(2).
Colwell, J., Schroder, S., & Sladen, D. (2000). The ability to detect unseen staring : A literature review and empirical tests. British Journal of Psychology. 91, 71-85.
Fabre, G. (2009). Newsletter de l’OZ (POZ). n°049, 5-6.
Gauvrit, N. (2010) Expérience paranormale, résultats normaux : La sensation d’être observé. Science et pseudo-sciences, n° 291.
Irwin, H.J. & Watt, C.A. (2007). An introduction to parapsychology, 5th Edition. McFarland & Co.
Marks, D.F., & Colwell, J. (2000). The psychic staring effect : An artifact of pseudo randomization. Skeptical Inquirer, 24(5).
Schmidt, S., Schneider, R., Utts, J. M. & Walach, H. (2004). Distant intentionality and the feeling of being stared at – Two Meta-Analyses. British Journal of Psychology, 95, 235-247.
Sheldrake, R. (1998). The sense of being stared at : Experiments in schools. Journal of the Society for Psychical Research, 62, 311-323.
Sheldrake, R. (2001a). Follow-up : Research on the feeling of being stared at. Skeptical Inquirer, 25(2).
Sheldrake, R. (2001b). Experiments on the sense of being stared at : The elimination of possible artefacts. Journal of the Society for Psychical Research, 65, 122-137.
Sheldrake, R. (2008). The sense of being stared at – Do hit rates improve as tests go on ? Journal of the Society for Psychical Research, 72, 98-106.
Schlitz, M., & LaBerge, S. (1994). Autonomic detection of remote observation : Two conceptual replications. Proceedings of Presented Papers, Parapsychology Association 37th Annual Convention (pp. 352-360).
Schlitz, M., Wiseman, R., Watt, C.A, & Radin, D. (2006). Of two minds : Sceptic–proponent collaboration within parapsychology. British Journal of Psychology, 97 (3), 313-322.
Wiseman, R., & Smith, M.D. (1993). A further look at the detection of unseen gaze. Proceedings of Presented Papers, Parapsychology Association 37th Annual Convention (pp. 465-478).
Wiseman, R., Smith, M.D., Freedman, D., Wasserman, T., & Hurst, C. (1995). Two further experiments concerning the remote detection of an unseen gaze. Proceedings of the Parapsychological Association 38h Annual Convention. Parapsychological Association (pp. 480-490).
Wiseman, R., & Schlitz, M. (1997). Experimenter effects and the remote detection of staring. Journal of Parapsychology, 61, 197–207.
Wiseman, R., & Schlitz, M. (1999). Replication of experimenter effect and the remote detection of staring. Proceedings of the 42nd Annual Convention of the Parapsychological Association (pp. 471–479).