什么是分析AI？在2022年底，“ChatGPT时刻”发生了。大众开始理解基础模型的一般能力，开发人员立即着手将其融入一系列新产品。同时，一个较少讨论的使用模式也出现了：数据、研究、运营和产品团队开始使用基础模型处理非结构化数据并做出大规模的操作决策。简单地说：如果AI的工作是做出某个决策，而不是创造某个东西，那么它就是分析AI。分析AI为何重要？尽管这种区分似乎微妙，但出于分析目的的最佳实践常常与其他生成用例有所不同。这主要有几个原因：任务通常是可衡量的。您可以使用专家注释创建一个真实的数据集，以便验证其正确性。其他生成AI输出通常不可直接衡量，因此您需要构建评估（分析AI的特例）来测量它们。任务通常是具体和判别的，而不是一般和突发的。您使用LLM的自回归推理和遵循指令的能力来做出决策，但为了保持一致性而减少“创造力”。因此，任务通常可以在已对任务准确性进行评估的最小模型上运行，而不需要选择最大、最智能的模型。由于分析AI通常不涉及与用户的交易，因此可以容忍更高的延迟，因此批处理和其他灵活的工作负载处理模型是可接受的，通常可以显著节省成本和总体处理时间。这类似于OLTP与OLAP/MapReduce风格的数据处理。属性 其他生成AI 分析AI 示例 写文本/代码，生成图像/视频，与用户对话 分类、提取、判断、规范化、匹配、打分 操作范式 多种用户任务 单一任务，多次 交互模式 面向用户，交易性 通常是内部数据处理和工作流程 模型需求 最高的智能和规模受限于成本 完成任务所需的最低智能和规模 服务与延迟 低延迟，实时/在线 高吞吐量，批量/离线 决定性预期 多样化的响应，突现行为 一致性，接近确定性行为 用户角色 消费者，杂项专业人士 数据科学家/工程师，运营，评估，产品分析 任务监督 有监督的，交互式 无监督 类比 OLTP数据库，网络应用 OLAP数据库，数据管道 这个指南适合谁？使用LLM将非结构化数据集转换为结构化数据的数据、ML和分析团队；构建评估并尝试改善其AI产品可靠性的AI工程师和产品经理；希望通过可靠的AI决策模型扩展其领域专家专业知识的运营团队；构建评审员和其他可验证奖励功能的研究团队。它也是为我们这些对扩大数据可能性的范围和增加开发人员杠杆充满热情的数据、基础设施和开发工具极客而写的。我们为什么写这个指南？Sutro构建产品以支持分析AI，我们认为这是一个早期但新兴的领域。我们的许多客户刚开始构建许多这些系统，尤其是现在更多AI产品上线并生成需要分析处理的非结构化数据。我们在客户那里花了很多时间，帮助他们架构、设计、改进和思考如何构建这些系统。可以将其视为一个不断发展的常见问题解答，因我们与客户的学习而逐渐演变。这个指南的目标是为正在构建分析AI产品的开发人员提供一个生动的参考材料，无论他们选择什么工具（尽管我们希望您能来和我们谈谈）。如何使用本手册：Primitives涵盖核心分析AI工作负载类型。Patterns讨论实现这些原语的最佳实践。Architectures是构建端到端系统的更高层次的指南。Deployment涵盖生产使用的操作考虑。每一页都应独立有用，我们建议从最适合您当前需求的页面开始。如果您只是出于好奇而阅读，我们建议从Primitives部分开始。