我之前写过关于我们的人工智能工程技能地图，最高级别的技能包括：（i）构建和部署人工智能应用，（ii）软件工程基础，（iii）使用编码代理，以及（iv）塑造构建。在本文中，我将详细阐述其中的第一个。擅长构建和部署人工智能应用意味着需要了解以下内容： 大语言模型基础。 用数据为模型提供基础。 构建自主系统。 以评估为驱动的开发。 在生产中运行。 这个技能地图是通过分析大量职位发布、结构化专家访谈和调查反馈形成的。人工智能应用与非人工智能软件的关键区别在于，前者的输出更难以预测。你无法提前知道大语言模型会输出什么，或者一个监督学习算法会做出什么预测。由于这种不确定性，构建人工智能系统的过程比构建传统软件要迭代得多——提前规划的过程更难。熟练的人工智能工程师反复构建一段软件，检查它，并决定下一步该尝试什么，采取的步骤在很大程度上受到中间结果的影响。能够熟练地决定下一步做什么，能让你基于不可靠的人工智能组件创建可靠的软件系统。这需要知道： 大语言模型基础。理解大型语言模型如何对输入进行分词并生成输出，使你能够理解何时依赖它们以及何时它们可能会失败。它还使你能够理解何时使用多模态模型，如何在上下文窗口中包含什么进行权衡，以及在何时考虑缓存命中、知识截止、推理努力水平、采样参数，和何时使用诸如工具调用等特殊功能。理解这些基础知识帮助你选择合适的模型或模型组合，并在需要时应用专门技术，如微调或自托管模型。 用数据为模型提供基础。大语言模型需要良好的输入上下文才能生成有用的输出。使用向量搜索的RAG是早期尝试为大语言模型提供相关上下文，但为模型提供数据基础的技术集合显著增加。例如，你需要决定在提示中包含什么，以及让大语言模型按需检索使用工具的内容，以及哪个表示适合数据和搜索查询：向量索引、知识图谱，或结构化数据（如客户记录）上的语义层。你还可以将文档（文本、PDF、HTML、图像）转换为大语言模型准备的输入，工程化管道，以保持数据的整洁和新鲜。当你理解获取数据的可用技术菜单时，你就能更好地为大语言模型提供相关上下文。 构建自主系统。自主系统的范围从执行预定义的语言模型调用序列的工作流，到基于一个能让大型语言模型反复决定其下一步的代理架构。你需要选择体系结构 — 链接哪些步骤，哪些步骤并行化，何时使用代码，何时使用大语言模型 — 并工程化工作流或架构，带有后备措施。在设计代理循环时，你还需决定模型可以调用哪些工具（包括MCP、CLI和沙盒执行环境），使用何种内存结构，如何在长会话中管理上下文，以及何时需要多代理协调而非单一代理架构。你还想将有潜力的原型转化为可靠、安全的生产代理；这需要理解防护措施、对抗性输入、识别并规避关键风险（如数据外泄），以及治理。自主工作流正在迅速发展，你也会受益于了解与你应用领域相关的任何前沿技术，例如语音代理、计算机使用代理或生成用户界面。 以评估为驱动的开发。在我的经验中，区分擅长构建人工智能系统的人的最重要特质是你能否推动一个严格的评估/错误分析循环以推动开发。这使你能够反复将精力集中在更有可能取得成果的方向上。我发现这是一项难以掌握的技能，因为正确的方法因项目而异，甚至因项目的阶段而异。构建良好的评估是一项深厚的技术技能。你可能会查看系统的跟踪和输出，进行探索性数据分析，并将其与产品和业务洞察结合，以决定要测量的内容。你还应了解评估的选项菜单，例如何时使用确定性（基于代码）评估，何时使用大语言模型作为评审者，何时让人参与其中，以及如何评估你的评估，以便不断改进这些评估。这些评估随后进入一个迭代过程，推动进一步开发，使进展变得系统化而非随机化。 在生产中运行。