AI工程师笔记 - 免费、无框架的RAG/代理/evals在Colab上
学习应用LLM堆栈,以你实际将被面试的方式——无框架的,基于免费的API,从提示到服务,微调,以及红队基准。适用于AI工程师/前端部署工程师(FDE)技能集的可运行Colab笔记:在基础模型之上构建工作系统——模型API,RAG,评估,代理,适应,服务——使用原始API,而不是框架。这有什么不同故意无框架。你首先从原始API调用中编写代理循环、RAG和评估——因此你了解LangChain/LlamaIndex实际做了什么,再去使用它们(并且能够判断何时不该使用)。模式是持久的;包装器则是多变的。评估是脊柱。"在调优之前测量"的习惯很早就被灌输,并且在每个部分都会回来——这与仅构建演示的工程师区分开来。完全免费运行,端到端。一切都在免费的Groq API上运行(不需要信用卡)。Groq无法托管的两个主题——LoRA微调(06)和自托管服务(09)——是概念优先的,并且有可选的、限制的Colab-GPU附录,在真实的Colab T4上验证。真实案例研究,不是玩具演示。三个端到端的案例研究在真实的约束下展示了结合的技能——一个在生产中调试的支持助手,一个管道与代理的成本对比,以及一个红队的稳健性基准。与OpenAI兼容,因此每种模式都可以直接转移到OpenAI,并且(经过小的调整)转移到Anthropic——接缝是可互换的,技能则不是。作为《计划:向前部署工程师/AI工程师转型》的动手伴侣构建。计划解释了学习的内容及其理由;这些笔记是你运行它的地方。适合人群后台或全栈工程师转型为AI工程师、FDE、应用AI或解决方案工程师(AI)角色——不同的标题,基本上相似的工作。你可以发布生产代码;你想在上面有应用模型层。学习顺序从上到下。每个笔记都是自包含的(安装自己的依赖项,从Colab秘密中读取API密钥),并以练习结束。00 — 设置笔记你将学习环境与成本卫生通过Colab秘密获取API密钥,花费警报,模型选择01 — 模型API笔记你将学习提示基础清晰的指示、少样本、输出格式规范、逐步推理——最便宜的杠杆,每种都展示了移动数字的过程结构化输出从模型中获取可靠的JSON,以及它何时出错工具调用功能/工具调用,从头到尾,包括错误路径流式流从流式响应中获取UI需要的内容上下文与缓存上下文窗口预算,提示缓存,批处理与实时定价02 — 评估I:测量输出笔记你将学习测量输出关于部分01任务的黄金集和指标——在构建需要调优的任何东西之前,养成"在调优之前测量"的习惯。评估是脊柱;在此之后的每个部分都会返回03 — RAG笔记你将学习什么是RAG?检索→增强→生成循环,为什么RAG比普通LLM更优秀,以及为什么RAG与嵌入不是同一个概念——带有15行运行演示嵌入与检索嵌入选择,向量搜索,相似性陷阱——首先让检索工作混合与重新排序关键词+向量混合检索,重新排序者,各自的成本何时值得Chunking在真实的混乱语料库上的分块策略——最后回顾,一旦你能根据检索来评判它们为什么RAG失败诊断错误答案:检索质量,而不是生成,通常是瓶颈04 — 评估II:分化者笔记你将学习黄金集为部分03的RAG系统构建黄金集LLM作为评判者评判提示,与人类的一致性,以及评判者自身的失败模式回归评估评估作为CI:在更改提示或模型时捕获质量回归05 — 代理笔记你将学习从零开始的代理循环通过原始API调用的工作代理循环——无框架工具设计设计模型实际上可以很好使用的工具保护与预算停止条件,成本/延迟预算,何时管道优于代理MCP与工具生态系统概念:模型上下文协议标准化的内容,它如何映射到原始工具循环,以及何时去使用它技能与渐进披露概念:打包可重用的知识,以便代理按需加载——SKILL.md模式,上下文预算收益,以及工具/MCP/技能作为一个故事工程构建综合:围绕调用的支架——上下文组装与压缩,工具结果塑形,以及验证循环。命名该部分逐步教授的学科06 — 调整模型笔记你将学习微调与RAG与提示何时更改模型的权重与输入;LoRA/QLoRA的定义及其成本;你将要在会议中展开的论证——额外提供一个免费的LoRA微调选项07 — 安全笔记你将学习提示注入与信任边界直接与间接
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡