想从人工智能中获得更多收益吗?将每个提示视为实验
在2024年底,人工智能在科学推理基准测试中达到了博士水平的表现,而到2025年,它在某一项测试中接近了测量上限。对此,我开发了一个人工智能模块,并将其教授给田纳西州纳什维尔的范德堡大学的新入学生物医学博士生,我在那里负责跨学科研究生路径的人工智能倡议。作为课程的一部分,我对学生进行了调查,发现81%的人使用过人工智能工具进行科学研究。然而,只有5%的人在撰写人工智能提示方面达到了基本水平;而在完成模块后,有48%的人达到了这一水平。此后,我教授了关于人工智能辅助撰写资助申请的课程,使人工智能成为我实验室科学培训的核心部分,并分享了关于科学人工智能使用和教学方法的预印本,供他人适应和重用。所有这些让我明白,使用AI并不需要计算机背景 — 我的研究重点是DNA复制和修复的生物化学。人工智能是一种工具:要充分利用它,你需要应用你已经掌握的科学训练。我开发的最有用的策略是将每个提示视为实验,并将输出视为结果。以下是我学到的有效运行这些实验的十个小贴士。连接工具在提示之前,人工智能语言模型只能推理它可以接触的内容。网络搜索是最低限度;对于生物医学工作,通过使用PubMed或通过像Scite和Elicit这样的文献工具让模型接触文献,可以将输出与已发表的工作联系起来。这可以通过使用一个名为模型上下文协议(MCP)的开放标准来实现,该标准提供了一种将应用程序连接到外部系统的标准化方式。在Claude中,它以“连接器”的形式出现,在ChatGPT中以“应用程序”的形式出现,在其他工具中以MCP服务器的形式出现。设置正确的工具是设计实验的一部分,这样你可以通过为模型提供尽可能多的信息来增加实验成功的机会。为输入添加结构模型处理非结构化文本的能力不如处理结构化文本,因此有时以结构化格式撰写提示会有所帮助。例如,Markdown格式在所有主要模型中都能正常使用,通常足以用来提示;XML帮助构造更复杂的输入(尤其在Claude中非常有效);JSON在你需要时增加了更多的严格性。正如科学家使用格式约定来导航复杂文本,模型也是如此。我建立了一个工具来帮助教人们如何做到这一点,使用是免费的。让模型为你撰写提示在运行新的检测时,你从制造商的协议开始。人工智能系统的等效部分内置于模型本身:你可以用简单的语言描述你想要的内容,并要求模型撰写实现这一目标的提示,然后在新的对话中运行该提示。这被称为元提示(meta-prompting),因为模型知道如何构建有效提示,这是让模型高效工作的最快方法。例如,要概括一篇论文,你可以要求模型:“生成一个针对[你的人工智能工具]优化的提示,要求它概括用户提供的科学手稿。该提示应指示人工智能工具分别概括引言、结果和讨论,识别作者承认的局限性,并批判性地评估手稿的结论是否得到了证据的支持。”另外,你可以使用通用的元提示,或使用一个为你撰写元提示的交互工具。使用经过验证的提示正如研究人员依赖已发表的协议而不是重新发明每个方法,你可以从其他人已经验证过的提示开始。有效的提示类型因模型而异,并随着时间变化,所以一个经过审查的起始点可以防止你重新发现已经有效的内容。我在Zenodo——一个通用的研究存储库和一个免费的在线图书馆中维护一组常见学术任务(文献摘要、手稿批评和写作反馈)的提示集。保持对话简短就像任何实验系统一样,这个系统也有值得注意的限制。会话接口的存在是因为它适合人类,但模型在对话增长时可靠性会降低,且无法忘记已经说过的任何事情。一个有用的策略是跨越对话开发任务,然后让模型将结果浓缩成一个新的提示,然后在新的对话中运行该提示。返回到最后一个工作版本对话也可能在主题中退化,例如,模型似乎忽略指令,或者你可能不得不重复纠正同一个错误。这发生是因为模型优先考虑对话的开头和结尾而忽略中间部分。将此视为调试协议。从出现错误之前的某个点开始,编辑早些时候的消息。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡