未必孤独网 > 认知心理学实验的可重复性有多差,研究者是如何应对的?

认知心理学实验的可重复性有多差,研究者是如何应对的?

【好奇松鼠的回答(53票)】:

******

2016/9/14 更新

自然杂志发文呼吁科学家在发表文章的同时分享实验数据和分析过程,以增强实验的可重复性

nature.com/news/why-sci

****

实验室里每个学期都避不开的一个问题:“如何做可重复性高的研究?” 新学期伊始这个问题又被拿出来着重讨论。 写这篇才发现好像专业性有点强 . 但是还是想写! 因为感觉神经学/认知心理学的研究和发表方法要变化、现在这里立个旗

认知心理学/神经学的可重复性有多差? 参见 如何评价「大规模重复心理学顶级期刊上的 100 个研究,仅 39 个可以重复」的研究? - 社会心理学

为什么这么差?

1 因为到了这个头, 心理学的研究不像过去那样简单明了了呀! 现在大多数心理学实验要结合一些神经学数据。 随着计算技术的进步,实验数据的计算分析过程变得越来越复杂,这些复杂的过程并没有完全出现在发表的文章中。 就好比在跟着菜谱做菜的时候,菜谱只告诉你, 放盐适量,糖适量,醋适量。这样子做出来的菜肯定不是一模一样的味道。

2 假阳性的结果比较多。 心理学的实验项目涉及专业的人才仪器等,比较贵。一般研究人员做实验之前是有个课题和假设的。问题是,实验做了一年两年,然后数据分析了半天,原来的假设不成立怎么办? 所以现在大多数研究人员都是有用的没用的数据先收集了, 以预防以后的需要。 这样就造成了过分的数据挖掘。 现在一般是,实验结果p 0.05 可以说实验结果成立。 p 0.05 意味着这个结果有5%的可能性是假阳性。 那也就是概率上我只要做20个独立的数据分析,就有一个是假阳性,开开心心地拿去发表了。

问题来了, 可重复性这么差,怎么办?

推崇可重复性实验的大神 Russell Poldrack 最近在Neurohack week上做了一个叫 Improving the Reproducibility of Neuroimaging Research (提高神经影响研究的可重复性)的演讲。 我来转述一下:

1. 提前注册你的实验 open science framework

近两年,在开始做实验之前在open science framework 提前注册要做的实验渐渐成为一件必须要做的工作。 大概就是把你的假设,实验过程,要招多少个被试都列出来。这样的好处就是不能赖皮啦。 做这个工作 应该对文章的发表,还有文章的可信度有帮助。

这里有些例子

OSF | Public Activity

2. 数据公开

数据公开意味着同行可以帮忙检查一个实验的数据分析和结果有没有可能出错。现在虽然很少有人公开所有的数据,但是更多的时候会公开一部分。因为有数据支持的文章可信度会更高

【李凯凯铠的回答(14票)】:

上课刚讲到Nature的那篇文章就收到邀请

我也不知道认知心理学实验的可重复性怎么样(改天去问问老师),以下就宏(纸)观(上)分(谈)析(兵)影响“可重复性”的因素以及提高“可重复性”的方法

1. 问题分析

个人认为题主所称的可重复性是指用于评价认知心理学实验的一个标准。是否可以这样认为:如果“可重复性”高,那么无论谁做实验,在哪里做实验,只要严格遵照原实验的规定,就能获得原实验的结果,简而言之实验具有跨时间、跨主试、跨被试、跨BLAHBLAH的稳定性(我好像和测量的概念混淆了= =)。

那么这种稳定性具体体现在哪里

在心理学研究中,评价实验研究往往会用更细化、具有操作性的定义的术语:内部效度(internal validity),外部效度(external validity)和统计功效(statistical power)。

2. 概念界定

首先是效度(validity),是指测量的有效性,因变量能不能准确地测到它所要测量的被试心理和行为的变化 [1]效度分为内部效度和外部效度。

内部效度用于描述一个实验的因变量的变化单独由自变量的变化而引起的程度,或者说一个实验控制消除额外变量干扰或影响的程度[2]。若一个实验的因变量变化确实只是自变量变化引起的,则认为这个实验的内部效度高,反之则低 [3]。也就是说一个实验的控制条件越严格,越能减轻额外变量的影响,实验结果受到额外变量的影响更小,那么实验的因果解释力度也就越高。

那外部效度呢?外部效度用于一个特定的研究的结果能加以概括的程度。从被试样本中所得的研究结果是否对其总体也适用[4]。因为心理学实验不可能对所有适合的研究群体进行测量,所以需要进行抽样研究,而抽样后进行实验所得到的结果能否从样本推广到整体,对一项研究的价值有重要的影响。如果一项研究的外部效度很低,那么别说推广到整体,就是换一批被试也会得出不一样的结果。

至于统计功效,根于维基百科的解释,The power or sensitivity of a binary hypothesis test is the probability that the test correctly rejects the null hypothesis (H0) when the alternative hypothesis (H1) is true. (正确否定的概率)It can be equivalently thought of as the probability of accepting the alternative hypothesis (H1) when it is true(正确拒绝的概率)— that is, the ability of a test to detect an effect, if the effect actually exists.

.使用统计方法时可能会出现Ⅰ类错误和Ⅱ类错误。

3. 造成低可重复率的原因

首先是效度,有上述分析可知,低外部效度会造成低可重复率,那么什么造成了低效度呢?内部效度方面主要是额外变量(实验室的温度、实验的时间、被试的情绪、疲劳程度等等)的影响,简单地说,该控制的变量没有控制,内部效度低,在重复实验是,一不小心额外变量占了上风,自然重复不出结果了外部效度方面则是样本的选取(实验者常常会选择便利抽样测方法)、实验的情境(实验室环境与自然环境差别较大,难以推广实验)等等。

值得一提的是内部效度和外部效度不可兼得

另外统计功效方面造成的地重复率。前面有人提到了“假阳性”,那么是什么造成了假阳性呢?这里举一个例子,统计里面有一种作弊手段叫做data peek, Daniel Navarro 在Learning statistics with R for psychology students 一书中提及了这一问题。书中问如果统计检验出

怎么办,很多人会继续收集一批数据重新进行统计分析,这是

了,于是放心地发表了论文。其实这里“假阳性”已经悄然出现,使用传统的统计方法,如果在收集数据的过程中多次进行统计检验,即使每次检验的

,随着统计检验(即data peek)的次数越多,犯Ⅰ类错误的概率蹭蹭蹭地上涨,如下图(原因很简单,这里就不说了) [5]

4. 提高可重复率的方法

首先对于效度方面,主要是控制该控制的额外变量(如消除法、随机化法、匹配法、低消法等等,关于如何控制额外变量可以参考[1]《实验心理学》p55-58)、设置标准的实验情景、选择合适的取样方法等等。

另外对于统计功效方面,忍住啊!不要data peek啊!或者可以用贝叶斯统计的方法(详见参考文献[5] )。

做到上面这些,就可以提高可重复率了吗?too na?ve啊!心理学实验毕竟是研究行为的实验啊,万一某天我去实验室作被试,被美女学姐的温柔一瞥打动了,还能好好做实验嘛!呃。。。。心理学里有一个意动效应,主试和被试会相互影响的,看到主试那么美丽动人,一定超级紧张啊!大家可能听过罗森塔尔效应、霍桑效应,这些都会影响实验结果啊,别不相信。。。所以一定要端正主试和被试间的关系(滑稽脸)

References

[1] 《实验心理学》邓铸

[2] [3] [4] 《心理咨询大百科全书》车文博

[5] Learning statistics with R for psychology students Daniel Navarro

【赵麦鸡的回答(0票)】:

1、PS111告诉我:认知心理学是当今主要的心理研究流派,避免了行为学和佛洛伊德学派的某些缺点,增强了与神经科学的逻辑。至少是美国的主要研究流派。用我老板的话说:除了认知心理学其他都是不科学的。(orz,研究神经科学的是多鄙视心理学!

2、由此推论,认知心理学是比较科学的心理学。在这里,科学定义为有强大生物学和神经学机理做依托。(但心理学是一门科学,这点不能否认)

3、回到问题,要是实验重复率低怎么会科学,又怎么会有那么多比较广泛认同的结论。还有很多标准化实验?

如果说实验重复率低,可能有几个问题:

1、如果是自己设计的实验,可能设计有纰漏。

2、标准化实验的话,可能样本容量不够大,不具有代表性,实验中实验者不理解实验,实验后数据分析的方法,噪音等等有问题。这一点是心理学的统计学和实验设计科学的范畴。

还有最后一种可能性:恭喜你,你发现了新理论!

以上

【廖方舟的回答(2票)】:

非心理学的来强答

第一是心理学里效果显著,重复性强的实验是有的,教科书上的都是,这些实验都很鲁棒,也就是说你随便改改实验参数,仍然能出效果。这些现象大量发现于发展早期,现在想再挖到这样的矿很难了。

第二当一个心理学研究者采了一组数据但是发现阴性结果会怎么办呢,一般而言,首先换几个数据处理方式,再换几个统计方法,如果还没有用,他会反思实验设计,看看哪里不合理,或者哪个步骤没有最优化,然后改改设计再做一次,只要他坚持不懈,从期望上来说,做上20次就可以拿到(假)阳性结果了,或者平行采20种数据,总有一个数据是(假)阳性的。由于一般心理学实验成本并不高,给点被试费就好,时间也快,就给这种策略提供了便利。从这个角度看,成本越高耗时越长的,采集数据维度越低,使用的统计和处理方法越简单粗暴的实验越可信。反之凡是提到他们换过实验设计,或者用了复杂精妙的统计手段的,都基本上是垃圾。

用一句话说,心理学重复性是有的,只不过文章上的结果基本都是被筛选过的。如果文章里包含了作者做过的所有数据,那么可重复性自然就有保障了。

可是只要作者可以选择不公开所有数据,以上的问题永远存在,这个时候你就需要自己花点功夫找找数据部分有没有有问题的地方,判断这个实验值不值得花时间重现

另外生物学中行为学实验和心理学实验相当一致,也是生物学里边可重复性的重灾区。

【逼走嘟嘟招屁踢bopbop的回答(1票)】:

美国弗吉尼亚大学的Brian Nosek发表了题为《Estimating the reproducibility of psychological science》的研究文章。

文中,研究者们提到,尽管他们能够重复出最近的100项心理学研究的原始实验,但是其中仅有不到一半的重复实验结果与原研究结果一致。这项研究的作者还给出了为什么重复实验会与原始结果不同的原因分析。

该文章发表之后,英国牛津大学的发育神经心理学教授Dorothy Bishop给出了对该研究的评论。他首先首先提到,研究者需要知道有些因素会导致“文章灌水”,以至于实验不可重复。一般的“文章灌水”有三种原因,一种是有倾向性地发表支持猜想的数据,然后是只发表有显著统计学意义的数据,最后是研究样本数量不够。

然而,对于Brian Nosek等给出的这三种原因(实验样品的差异、实验设定的差异以及实验完成的质量差异),Dorothy Bishop并不十分认同前两种原因。对于实验完成的质量的问题,也可能存在这样的情况,即重复实验在数据上和原始实验存在显著性差异,很可能是重复实验时候没有处理好或者操作正确。

然而,对于实验样品和实验设置,在重复100项心理学研究的时候,研究者们在试图重复实验时候,与原始实验的相关人员进行了充分的沟通,原始实验的方法也是相对透明。因此,Bishop教授认为,可能还存在着其他没有被提出过的因素影响了实验,但是这些未知因素的微小差异对于实验结果究竟有多大影响还不可知。

基于Brian Nosek的这项研究,Bishop教授认为,我们的的实验中存在一些问题,如果得到合理解决,那么实验重复性会好很多。比如,可以通过一系列的改进来使得实验更有重复性。例如,方法a,在实验开始之前就公开实验的步骤,明确告知自己的假设和实验预期,并写清楚具体如何操作。方法b,实验中使用有统计学意义的大量样本。或者方法c,发表那些没有结论的研究,只要前期实验设计完整、严谨、有统计学意义,那么这样的实验结果虽然没有明确结论,但是仍然是有意义的。还有比如,方法d,提供实验的详细步骤和具体操作,类似地还有方法e,公开实验中使用的数据、脚本、原始数据等等。

虽然Brian Nosek的研究是针对心理学领域的重复实验,这并不是说心理学领域的实验重复性很差。实际上,所有的科学领域可能都会或多或少存在类似的问题,可以引申心理学领域的重复实验的结论到其他科学领域,毕竟重复性对于所有的科学研究都是重要的。Bishop教授认为针对实验的重复性,为了贡献更严谨的科学,科学基金评审人、期刊编辑以及科学家们都需要行动起来,为未来实验的重复性更好,拿出实际的行动。

(生物谷Bioon.com

【长颈柯基的回答(1票)】:

刚刚问了专业人士。答曰:纯神经的实验重复性达70-80%。社会认知的就很低了。

要做到控制额外变量呀。然而这是一门如此高深的艺术…

【eureka的回答(0票)】:

这个问题其实要归咎于几个面。

1.心理学是属于社会科学的。社会科学和自然科学不同,在于社会科学能够控制的变量不可能与自然科学在实验室中做到的那样。社会科学经常会出现看起来结果相反的实验,不同的人群,不同的文化背景,很难说哪些因素影响到。

2.与自然科学相比,社会科学的发展还比较青涩。心理学对人,社会的了解程度还比较初级。这就导致很多社会科学的经典实验可重复性不高。有些可能是理论错误,有些可能是方法错误。

3.对于重复程度的严格水平。现代的心理学研究讲究定量化,对于很多研究来说古典那一套不再适用,新的研究要接受更严格水平的检验,自然会出现重复率低下这种倾向。

这是我所认识的心理学研究重复率低的解释。

【西瓜太娘的回答(0票)】:

谢邀。社会科学实验不同于自然科学实验,认知心理学现阶段几乎没有可寻规律。研究者需要做的是不懈努力,不断探究,在新科学发展阶段认知心理学实验研究领域寻找新型研发成果。

【温温的回答(0票)】:

挺差。

我曾经当过被试,一分钟一块钱,彼时太穷,这外快来得又快又多,太酸爽!后来,结果就是,我的实验结果跟所有人的相反,导致实验相关性不强,但是只要把我的数据踢掉,相关性显著~( ̄▽ ̄~)~我也不想的……然后,这次实验就失败了,因为我……

后来,老板又搞了个实验,我走了个后门又去当被试……你们也猜到了……结果还是,只要没有我,结果就是完美的~( ̄▽ ̄~)~

从此以后我就失去了挣外快的资格(●—●)

【尚禅水的回答(0票)】:

1、认知心理学实验的可重复性有多差?

关于这个问题,我们来做个类比,回答另外几个问题:

1.1、为什么实验物理的重复性相对高很多?

答:物理以物质为媒介依托,嫁接各种能量和力进行具象化测量

1.2、为什么实验物理的重复性高很多,还是会产生无法重复的实验(实验不做列举)?

答:存在以非目前物理范围内的物质为媒介依托,嫁接各种能量和力产生抽象化改变

1.3、高重复性的物理学实验真的就做到完全重复了吗?

答:就目前物理学的最新推论而言,如果引入量子纠缠,熵原理等物理学理论,这些重复皆摇摇欲坠

回答认知心理学的问题

1.1、认知心理学的重复性有多差?

答:认知心理学以非目前物理范围内的物质为媒介依托,嫁接各种心理能量和力进行具象化测量,而能量和力是我们科学本身做的一次抽象性归纳,在超过人类目前科学认知范围之外,进行一切能量和力的界定,是几乎不可能产生极为精确的公式的

1.2、认知心理学的重复性低,为什么还是会产生可重复的规律和定理?

答:规律和定理相对更为适合目前的科学领域的极限,人类文明对于科学的探索,也就随着了解的深入由现象至规律至定理至公式,循环往复。目前认知心理学只是处在规律与定理的发展阶段而已

1.3、低重复性的心理学实验真的就做到完全没有参考价值了吗?

答:这个问题的答案和元认知的解释原理基本相似

第二个问题就比较有意思了

研究者是如何应对的?

基本的规避混淆变量的方式不做累述,个人谈谈趋势

我们先把问题上升到更宏观的科学上面,所有的非心理学科学在得出伟大结论和推断之前,都会对于该学科目前的认知进行大量的信息累积、思考、和 辨认,在大脑中进行信息知识的关联后,在串联的同时,bing,得出推论,再围绕这个推论进行反复验证和修改,无论变化多大,都不会离开初级推论的影子,这是大部分科学

好,谈谈心理学,我们发现一个很有意思的悖论,我们似乎也是走了这么一条路线,但,问题来了,我们的大脑为什么会允许用我们本身,来思考我们本身呢?我们自以为我们的大脑所做的思考,就是我们本身的思维,是正确的吗?我的答案是,我们只是在用我们的思维,在不断的喂养我们的思维,却并不是在参透其本身,一切的定律也都是在一条至少在我目前看来无尽的前路上行进。心理学极有可能是颠覆和开启下一个物理认知的新时代,这次,是心理学开拓出物理学的眼界,而不是心理学学习物理学的推论,方法。

新闻聚焦
热门推荐
  • 低俗靡乱!喜宴竟充斥惊艳脱衣舞表演

    中新网12月7日电 据台湾《联合报》报道,桃园县内喜宴、庙会、社团、晚会充斥钢管、清凉秀、脱衣舞,县议员舒翠玲以自己参加的场合为证,当场看见辣妹和客人磨蹭,甚至指导单位是“桃园县政府”、“公所”的活动也如......

    01-13 来源:未知

    分享
  • 《我是特种兵之霹雳火》崔华盾扮演者张进个人资料及照

    《我是特种兵之霹雳火》崔华盾扮演者 本篇电视资讯由未必孤独网(www.vbgudu.com)独家整理,如有转载请注明出处。 曾经同是“特警小虎队”一员的李飞和张进这次将重新在《霹雳火》中集结,并且再度并肩作战。 由李......

    01-13 来源:未知

    分享
  • 郎永淳老婆吴萍患肿瘤赴美疗养 郎永淳近况

    郎永淳温馨全家福 央视新闻主播郎永淳虽然在电视上天天与观众见面,因播报新闻成了公众人物,并拥有了很多的粉丝。但生活中的郎永淳却十分很低调,不仅从未谈及过自己的私生活,就连他的另一半及孩子也未被曝光过。......

    01-13 来源:未知

    分享
  • 《我是特种兵之霹雳火》王星扮演者李飞个人资料及照片

    《我是特种兵之霹雳火》王星扮演者李飞 本篇电视资讯由未必孤独网(www.vbgudu.com)独家整理,如有转载请注明出处。 《我是特种兵之霹雳火》作为刘猛导演特种兵系列的第四部作品,自筹划以来就备受网友关注。承继着......

    01-13 来源:未知

    分享
  • 梦鸽:为孩子做什么都不为过 李案会造成世界影响

    梦鸽(资料图) 李某某等涉嫌强奸案从2月份发酵至今,持续半年,热度不减。作为被告李某某的监护人,梦鸽放下红色明星、部队歌唱家的尊严,发布声明、反诉、上访,走进长枪短炮的包围圈,代替独子站在第一线。 为了......

    01-13 来源:未知

    分享
  • 雷!彪悍美女竟在大街上做超不雅动作

    ......

    01-13 来源:未知

    分享
  • 孙俪微博拍卖老公邓超的爱裤,邓超与孙俪感情好不好

    今天我们来盘点一下娱乐圈的模范夫妻。孙俪和邓超是娱乐圈有名的模范夫妻,两人相爱至今都没有穿过其他的绯闻,而在邓超走向逗比之路的过程中,娘娘孙俪也开始受到影响,近日邓超在网上晒了一张与孙俪的另类合影,网......

    01-12 来源:

    分享
  • 巩俐与孙红雷谈过恋爱吗?巩俐孙红雷主演的电影是哪部

    从绯闻女友巩俐、左小青,到王骏迪,孙红雷绯闻伴随走红。在《窈窕绅士》发布会上,孙红雷大晒幸福,并直言,“我现在还不会和女友公开亮相,以免被人说我在炒作。”被问及是否有意结婚,他说,“谈婚论嫁对我来说不......

    01-12 来源:

    分享
  • 曝盛一伦喜欢骂人成瘾,盛一伦同性恋是真的吗?

    子妃升职记不仅火啦张天爱,也让男主盛一伦踏进拉娱乐圈。盛一伦被曝骂人成瘾 骂人聊天记录图片,近日,盛一伦将东家乐漾影视诉至法院,索片酬1051.5万元,朝阳法院已受理此案。12月12日,盛一伦发长文回应解约风波称......

    01-12 来源:

    分享
  • 北京学生卡坐地铁打折吗?北京现在有几条地铁?

    北京的物价使出拉名的贵,许多北漂为啦省钱想尽办法。近日,在北京部分地铁站周边,出现贩卖“”的卡贩子,100元就能办一张大,还送学生证。新京报记者探访发现,从卡贩子手中购得的,能顺利充值并可享受2.5折优惠。......

    01-12 来源:

    分享
返回列表