当前位置: 主页 > 劳工资讯 > 分析评论 > 发论文不容易,所以有些科学家可能操纵了数据……

发论文不容易,所以有些科学家可能操纵了数据……

发布时间:2017-11-01来源:针尖zjian(微信) 作者:戴靖沄 蓝培源 点击:

10月18日,纽约时报发表的“When the Revolution Came for Amy Cuddy”一文引起轰动。


o.jpg


哈佛大学社会心理学家Amy Cuddy在2010年发表了关于“调整身体姿势会显著提升自信”的研究,名声大噪。Cuddy本人的TED视频创造了极高的点击量,她写的书也攀上畅销榜——Cuddy成为了炙手可热的社会心理学者。


然而,2014年,苏黎世大学的研究者Eva Ranehill及其合作者在采取更大样本的情况下,无法复制出Cuddy的结果。批判和攻击迅速朝Cuddy袭来,对学术成果的批评甚至超过了职业辩论的界限,成了人身攻击。Amy Cuddy一朝从学术明星坠至千夫所指,最终离开学界。


纽约时报文章的作者Susan Dominus以同情的口吻指出,社会心理学方法的革新,带来了对前人研究的质疑,催生了“复制前人研究”的热潮;而Cuddy,因其研究无法复制,受到了不公平的苛责。


文章一出,推特上许多学者表示,我们要可复制的社会科学,但不要学界欺凌。



这个道理似乎简单直白、没有争议。但Cuddy的经历显示,科学的研究和发展,本质上是凌乱复杂的过程,而科学家也同时是社会、学界职场中的一员,我们无法忽视科学中“人”的一面。


是时候再次探讨我们该如何看待科学了。


被操纵的p值

Cuddy所受的攻击首先在于她操纵了p值。


P值到底是什么?p值是“显著性检验”中的重要概念,意为“在原假设正确时,出现现状或更差情况的概率。”简单地讲,研究者测试原假设的否命题(即零假设),得出的p值越小,就意味着零假设越荒谬,继而反推出原假设的正确。学术界约定俗成的标准是当p<0.05,即可认为“统计显著”,原假设正确。


比如,在Cuddy的研究中,原假设是“当人们做出更开放强势的姿势(如手叉在腰上)的时候,会影响其自信心”,而零假设则为“更开放强势的姿势对自信心没有影响”。当p<0.05,意味着“姿势与自信无关”这一假设错误,而原假设正确。


当前,p<0.05作为约定俗成的判断驳回零假设的标准,已然成了科学研究有无发表价值的标准。而p值事实上是一个很容易被改变、操纵的值。为了达到小于0.05,研究者可以改变测量方法、改变变量和样本数量,还可以先跑数据,看看有什么变量之间通过p<0.05的测试,再发展相应的假设并构建研究问题。也有人只向读者汇报统计显著的测试和结论。


总之,研究者可以通过各种微妙的方法和技巧,让他们意向的假设达到统计显著。甚至,p值显著性的诱惑力之强,让一些学者直接“构筑”数据,弄虚作假 。

复制风波

2011年,宾夕法尼亚大学的Joseph P. Simmons,Uri Simonsohn以及加州伯克利大学的Leif D. Nelson三位学者发表论文,对2000项研究进行调查,得出结论:心理学研究普遍存在p值操纵的现象。


难道心理学界有普遍的职业道德问题?


并非如此。p值操纵可能是无意的,或者说,不是明目张胆的弄虚作假。事实上,科学研究过程中很多地方需要研究者主观决定——如何收集数据、如何测量想要研究的概念(比如荷尔蒙的测量方式也没有统一标准)、增加或是丢弃变量等等。这便意味着存在着“操作空间”。不仅是心理学界是这样,整个社会科学,包括医学等都面临此类问题。


大家都在做的事,经三位青年学者“揭丑”后,在心理学界引发波澜,还掀起了复制和检查前人研究的运动。


结果,很多研究都复制失败。2015年,一篇发表在《科学》杂志上的文章复制了100项已有的心理学研究,发现只有39个研究能得到之前宣称的“显著”结果。在其它学科的类似复制研究中,经济学的通过率是60%,生物医药可能更低。


好事者当然也复制了Cuddy2010年的著名研究,结果我们都已经知道了:失败。

科学家也是人

对一些社会心理学家来说,Simmons等人对操纵P值的批评,意味着对整个社会心理学界的否定和对于个体社会心理学者的攻击。批评研究不严谨、方法存漏洞,和批评之前的研究者都作假,毕竟性质太不同。


当Cuddy的研究未能被成功复制时,Simmons和Simonsohn发了题为“检验最受欢迎TED演讲背后的证据”的博文。随后,各种攻击乃至“哀悼”向Cuddy涌来。最让Cuddy不满的是,批评来自博文而非学术期刊,还加上了有意吸引眼球的标题。


P值操纵是过去整个学科面临的问题,而Cuddy似乎被特意“选中”了。不少对Amy Cuddy的批评充斥着“我抓到你了!”的幸灾乐祸成分。批评者似乎不只是想要推动学科发展,还想在让学术新星名誉扫地中获得满足。甚至有言论称,Cuddy因为曾在事故中大脑受伤,所以做出了垃圾的研究。


这些批评攻击的后果是Cuddy很难继续做研究,许多学者都认为Cuddy受到了不公平的苛责。


Cuddy还因为她对于复制失败的回应受到批评。Cuddy并不情愿否定先前的研究成果,被指不承认错误。对于一位职业生涯和公众形象都依赖于开放姿势的研究的学者来说,否定过去的研究似乎需要放弃太多东西。与之相反,2010论文中的一位合作者Carney,在复制失败后已声明自己不相信开放姿势的力量,并承认一系列当年实验中操纵p值的一系列步骤(Cuddy表示并不知情),彻底与研究撇清关系。


有趣的是,这场风波过后,Cuddy仍然未放弃开放姿势的力量。在2017年2月的TED访谈中,Cuddy表示虽没人能成功复制她2010年的研究,可不少其它相关研究显示,姿势对人们认知、行为和生理结果有正面影响(当然也有研究发现没有影响或是混合影响)。


复制运动虽是学术风潮,却不免涉及个人,变得微妙。可以说,复制运动成了支配很多社会心理学者的新恐惧。纽约大学的心理学教授Jay Van Bave说:“尽管你知道复制你的研究是公正有理的,而且是一种被科学约束的行为,但是还是不可避免地感到不安,尤其是你知道社交网络会迅速传播你的失败。”


还有一个值得关注的侧面是,这个故事也隐约展现出女性研究者的困境。女性学者(特别是曝光度高的成功女性学者)的研究似乎更易受到苛责。学界也有不少性别歧视。


应该如何对待科学?

当然,这篇文章并非想让大家对科学丧失信心;相反,我们可以从这个故事中认识到,科学比想象中更复杂。很多时候,科学研究的过程是凌乱繁复、充满不确定性的;同时,科学研究没法真正与“人”的因素撇清关系,研究过程是和学界文化、研究受众相联系的。科学家也是人,我们无法忽视科学研究中“人”的一面。


“复制研究”作为一个约束,可以推动产生更严谨的研究;类似的做法还有设置更小的p值,如0.005。2015年Science对之前研究的检查发现,拥有更小p值(P<0.01)的研究,复制成功的几率较高。2015年7月,来自心理学、统计学、经济学、政治学等领域的72位学者在Nature Human Behavior上发表文章,呼吁采取一个更严格的p值来规范学术行为。


但这并不能真正解决p值操纵的问题。真正的问题是,学界对显著性微弱研究的轻视——没有“显著性”,便不值得发表。这样的后果不止是p值操纵,还可能导致学者们倾向于研究可以发表、容易发表(有数据可以做出显著性)的问题,而不是从问题出发,思考真正有意义的问题。


还有一点,研究者应该如何向大众传播科学,而公众应该如何看待科学?


Cuddy被广泛质疑的另一个原因是她的高曝光率。Cuddy的研究复制失败后,一些媒体仍在宣传“姿势改变自信”。Cuddy将自己的一项实验结果当作真理,并过分简化地向公众宣传,还积累了一帮忠实粉丝。这样兜售“灵丹妙药”般的方式,实非科学家所为。


科学研究并非简单粗暴的定论,日后各种更改都是意料之中;更危险的是,简化科学研究的结论很容易让公众产生误解,而这些误解由于有“科学证据支撑”,更易迷惑公众。


媒体在科学报道上也常有此类难题。尤其是以TED为代表的,追求短小精悍,辐射面大的舞台,上台演讲的研究者,通常需要丢弃细节、简化科学。事实上,Cuddy在自己的研究中对结果的显著性描述,并不如她在各种媒体平台上展现得那般绝对和自信。


科普的价值无可争议,但“大众科学”或畅销书式的传播方式,可能会带来对科学更深的误解和伤害。


看来,科学家和公众双方都需要思考如何对待科学这个问题。


一位优秀的科学家既需要遵循主观意愿(比如推动社会进步,Cuddy自称想要帮助弱势群体变得强大),又需要坚守严谨的实证态度,而不是急于依靠有力的“科学证据”去推动自身信条。而大众更需要意识到科学的复杂性,而非病急求医般问科学要一个直接有效的治疗方法。这样的意识也更有利于公众将自己的经验带入科学探讨,作出贡献,形成科学家和大众双向的交流。



(本文由安康信息网编辑http://www.ohcs-gz.net/)


------分隔线----------------------------
回到顶部