今天，我们很高兴地宣布 LFM3 ，这是我们为专业智能构建的新一代液态基础模型（LFMs）。LFM3 模型家族天生是多模态的，将文本、视觉、音频、全方位和决策模型集成到一个新的共享基础架构中。LFM3 家族的首次发布覆盖了 2B 参数范围的模型。基于新的混合架构和 22T 令牌的预训练，LFM3 在保持效率的同时，表现得比 LFM2 更加丰富。在一个小而快速的模型中，额外的容量使 LFM3 成为其类别中专业智能的理想起点：这是因为它可以在本地进行微调，它可以在任何设备上运行，并且足够强大，可以成为某个专业任务的可靠专家。基础和后训练模型是开放权重的，今天可以在 Hugging Face 、我们的 Playground 和 Liquid AI API 上获取。查看我们的文档，了解如何在本地运行和微调它们。下载权重 尝试 Liquid API 尝试 Playground 在 Pipette 中基准测试 新架构以获得更高的表现力 LFM2 展示了短卷积和注意力的混合可以快速运行于设备上，而不牺牲质量。它的设计源于我们的自动化硬件循环架构搜索。对于 LFM3，我们使用这一搜索重新设计了该架构，以适应需要每参数更多能力和在长上下文中快速推断的智能使用案例。我们还扩展了硬件循环，从 LFM2 中一个手机和一个笔记本电脑的 CPU，扩展到 LFM3 中 14 种设备和后端组合：手机（Samsung Galaxy S26 Ultra 和 OnePlus 15）、树莓派 5、笔记本电脑（Apple M4 Max 和 AMD Ryzen AI），以及 Arm 和 x86 云 CPU，外加 GPU 和 Qualcomm Hexagon NPU。门控短卷积仍然占超过一半的层。为了在不减慢长上下文的情况下增加能力，我们尝试用其他序列块替换其中的一些，而滑动窗口注意力（SWA）提供了最佳的质量与速度的权衡。我们保留了下面描述的其他更改，仅在它们没有显著速度成本的情况下改善质量。收益在长上下文中显现。按参数计算，LFM3-1.7B 在边缘设备上对短提示的表现与 LFM2-1.2B 相匹配，并且在上下文中使用 8K 令牌时速度约快 25%。三元混合层。LFM3 结合了三种操作：门控短卷积、滑动窗口注意力（SWA）和全局注意力。在其 24 层中，13 层为卷积，5 层为具有 256 令牌窗口的 SWA，6 层为全局注意力。卷积还使用了 7 的内核大小，上调自 LFM2 的 3。头级门控注意力。一个 sigmoid 门控缩放每个头的输出，使得头可以在没有贡献时关闭。这有助于抑制会损害量化的激活异常值，并改善训练稳定性。部分 RoPE。全局注意力层仅旋转每个头的最高频率一半，并将低频率一半不旋转，因此这些维度在内容上无论距离如何都能匹配。SWA 层保持完整 RoPE。三明治归一化。每个块对其输入和输出进行归一化，这有助于保持激活的良好规模。LFM3 使用与 LFM2.5-8B-A1B 相同的 128K 词汇量，旨在更有效地对非拉丁字符集进行编码。训练。LFM3-1.7B-Base 在 22T 令牌上进行了预训练。与 LFM2 相比，此组合增加了更多的科学论文、代码库级别的代码、更广泛的知识来源以及显著更多的数学。最后的 3.5T 令牌是在策划的高质量数据上的中期训练阶段，有更大比例的智能踪迹和多样化的工具调用，为模型的智能后训练做准备。此阶段还将上下文窗口扩展到 256K 令牌。适用于各种需求的多模态家族 LFM3 的第一次发布包括六个模型，全部来源于相同的 LFM3-1.7B-Base 基础，且参数约 2B。其中四个覆盖不同的输入模式（文本、视觉、音频和全方位），最后两个是专注于视觉和全方位模型的决策模型。无需运行一个大型通用模型，您可以选择适合您用例的模型，自定义它，并在设备上运行。要深入了解这些模型背后的性能和推断结果，请参考各自的模型卡。随着 AI 越来越多地从云端转向客户端，开发人员需要能够有效部署的模型，以适应广泛的 AI PC。Liquid AI 的 LFM3 家族结合了强大的多模态能力，并具有紧凑的占用空间，非常适合设备上的 AI 体验。AMD 与 Liquid AI 在多个世代模型上紧密合作，我们期待看到 LFM3 扩大在具有 AMD Ryzen™ AI 处理器的本地系统上运行的专业 AI 应用的可能性。