当最佳决定是无决策:随机化在资助申请中的崛起
一些研究人员认为,随机化资助决策的部分过程可以增加多样性并降低成本。图片来源:Andrew Angelov/Alamy。瑞士国家科学基金会(SNSF)数据团队的生物统计学家Rachel Heyard的工作是从噪声中找到信号,但问题在于,她常常发现没有信号。作为瑞士主要公共研究资助方的成员,Heyard面临一个棘手的问题。审查员和评审小组成员根据科学相关性、可行性和申请人的履历等标准对每个资助申请进行评分,以A到D的等级评定提案。她团队的任务是测试这些分数的可信度:确定哪些申请在争夺有限资助的竞争中真正优于其他申请。最强和最弱的提案分得比较容易。但其余的提案则堆积在混乱的中间——她称之为“B类提案的云团”——由于评分过于接近,评审小组难以区分它们。为了迫使排名,他们用加号和减号来尖锐化评分,在可能并不存在的细节上进行区分。2021年,SNSF的资助额度约为每年10亿美元,分配给各个学科的项目。因此,资助提案与被拒绝提案的分界线每年都穿过拥挤的中间区域。一份提案的落点可能会影响一个实验室的未来或年轻研究人员的职业生涯。Heyard帮助建立了一个统计框架来衡量评审员评分的实际价值。这个框架将每个提案的地位视为一个范围,而不是固定排名,以此反映评审小组判断的不可确定性。模型不假装一个提案确切排在第23位,另一个确切排在第27位,而是询问这些明显的排名是否真的可以区分。在资助线附近,它们通常无法区分。当一份提案可能的排名跨越了被资助与被拒绝的阈值,它便进入了灰色区域,虽然足够好以保持竞争力,但距离邻近提案太近,无法合理地进行精确排序。运气眷顾可以资助的项目。从2022年开始,SNSF停止将这些排名视为精确,并实施了一种新方法。一个数学模型识别出那些太接近而无法区分的提案,并将它们送入随机抽签——这是该基金会之前试过的一个打破平局的方法。同行评审仍然设定了资格的门槛,但在资助门槛附近的提案中,有时一个获得资助的项目和一个被拒绝的项目现在将由随机方式来划分。Heyard现在是苏黎世大学可重现科学与研究综合中心的一名研究人员,她说:“我们不再问‘我们是否应该在科学过程中引入随机性?’,而是重新构建这个问题为‘我们对我们的决策是否足够精确充满信心?’而这个问题的答案通常是否定的。”研究支持了Heyard的观点。在2018年的一项研究中,43名审稿人对同样的25份申请进行评判时,他们几乎没有达成一致。“我们已经知道这些奖项是一场彩票,”英国谢菲尔德大学的认知科学家Tom Stafford说道。他目前正在伦敦的研究研究所实习,该研究所研究科学是如何获得资助的。“我们应该把它变成一种正式的抽奖,而不是一种非正式的。”在判断达到极限后,把决定交给机会可能听起来像是投降,但这是公正治理最古老的工具之一。古雅典通过抽签填补许多公共职务和陪审团,从符合条件的公民中抽取候选人,使用一种称为kleroterion的石板。这些资助者提议的做法可能并不是与传统的决裂,而是其回归。研究研究所保存了此类试验的目录,并记录下超过十个使用或测试部分彩票的资助者,自2022年以来已有11个目录条目。总体而言,这一做法依然不常见,但不再是假设,覆盖国家机构、慈善机构(如伦敦的威康基金会和丹麦Hellerup的诺和诺德基金会)以及大学等组织。单个奖项的金额范围从几千美元到超过100万美元不等。Stafford和该领域的其他人手中没有关于通过这些抽签发放多少资金的可用全球数据,但进行这种尝试的资助者数量不断增长。这些实施方式也各不相同。最轻量的抽签是SNSF的模型,其中机会仅在评审员确实无法排名的提案之间作出决定。更大胆的版本则在所有符合质量标准的提案之间进行随机化。这是新西兰健康研究委员会自2013年以来为其探索型资助(Explorer Grants)采取的路线,这些资助目前价值NZ$150,000(约US$87,000)。一些随机化系统采用了更激进的方式。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡