自然场地实验可能涉及研究购物者对店内变化的反应，例如商品展示位置的变动。图源：Robert Nickelsberg/Getty 公众政策充满了未能如预期那样奏效的倡议。以“Scared Straight”项目为例，该项目在1978年至2015年间由美国30多个州运行，旨在通过让有风险的青少年面对面接触被关押在最高安全监狱的人，来劝阻他们成为铁石心肠的罪犯。这一项目在一次试点项目后得到了扩展，该项目是1978年一部纪录片的主题，发现80-90%的青少年参与者没有再犯过罪。但在扩大规模后，这一干预措施并未奏效。在一些地方，青少年的犯罪行为甚至上升。类似地，许多在一个地方证明有效的儿童发展干预措施在其他地方却未能取得可比的结果。例如，在学校驱虫显著减少了肯尼亚的缺勤率，但在其他环境中效果参差不齐或较弱。在布基纳法索，学校餐饮项目提高了学生出勤率，但对其他国家的结果影响有限。科学为何存在可信度问题——以及如何解决这一问题 这一普遍性问题的产生，部分是因为人类行为在不同人群和情况下有所差异。人们生活在复杂的社会环境中，标签、利益和监督塑造着每一个决定。但这些背景常常被忽视。传统上，研究参与者来自西方、受过教育、工业化、富裕和民主的（WEIRD）人群，这些人群在从视觉感知到道德推理和合作等测量标准上与其他群体不具代表性。对于他们有效的方法可能不适用于其他人群。在我看来，解决这一问题的一种方案是使用更多的自然场地实验。在这样的研究中，参与者在日常活动中 unaware地被研究者观察，同时他们环境中的一些特征被改变。通过研究人们在自然环境中的行为，假设遵循严格的伦理规范，研究者可以更加自信地认为他们的发现对该群体是相关的。有三个发展使科学家更有能力利用这种方法。首先，学术界对复制危机的关注与对结果通常无法超出实验室研究中尽职招募的狭窄人群进行推广的认识日益增强相一致。其次，科技行业正在进行数千个自然场地实验，以获取关于其客户的可靠信息，建立了学术界可以借用的基础设施和方法。第三，日益增长的关于普遍性的研究为预测结果何时以及为何不能跨人群和环境适用提供了框架。在这里，我概述了学者如何将自然场地实验嵌入到他们的工作中。 三阶段问题 复制研究的困难在各个科学领域都得到了认可，从社会科学到生物医学 。改革研究方法有助于研究者生成更可靠的结果并更容易重复他人的工作。这包括假设和方法的预注册、更大的样本、开放数据和透明报告。但在与人类行为相关的领域中，复制仅要求研究者在相同设定中以相同类型的人获取相同的结果，而不是测试其是否适用于其他人。普遍性问题在实验设计的三个阶段中出现。第一阶段：人群选择。在进行任何实验之前，研究者必须选择一个人群作为研究参与者的来源。心理学家可能会招募本科生，而医学研究者可能会选择来自学术医院的人。当用于研究的人群与最终将受到结果影响的人群不同，结果可能无法转化。在历史上，临床试验主要招募中年白人男性，而这些结果随后被应用于女性及其他治疗效果可能有重大差异的群体。 第二阶段：参与者选择。在标准行为实验中，参与要求得到同意，而同意则需要意识。一旦潜在志愿者了解了一项研究，有些同意，有些拒绝，而这一决定很少是随机的。考虑一个实验室实验，支付志愿者20美元以参加。响应的人可能有灵活的时间表，感到舒适于学术环境，并且重视参与的报酬。这种自我选择可能会扭曲参与者池。在“Scared Straight”中，这表现为两种方式。首先，志愿者是既希望改变又愿意被拍摄的青少年。其次，结果数据被...