持久状态机:采用 INT4 内存单元的大型语言模型注意力
发布于 2026 年 8 月 2 日 | 版本 v8 1. 宇宙行政文书办公室与独立研究员 描述 持久状态机:完整的数学证明和 Vivado 实现综合(版本 8.0) 摘要 我们通过持久状态机(PSMs)提出了一个用于大型语言模型中注意力操作的形式离散框架。计算被广播到静态内存单元,这些单元评估局部确定性状态转换。我们提供了量化误差界限的完整数学证明、在显式有界 logits 假设下的具体多阶段离散 Softmax 构造、具有空间分解的确定性有限自动机等价性,以及在 DSPACE(O(n)) 中的成员资格。我们通过两个不同的评估流程验证了该架构在当代可编程逻辑结构上的实现可行性:低功耗评估(Zynq-7000 xc7z020):一个完整的 1024 单元阵列(d=128)在上下文外 (OOC) 块设计实现中。通过用从后路功能仿真中获得的切换活动交换格式 (SAIF) 文件标注后路网表,我们证明了硬件级自激活门限限制了活动动态切换到稀疏单元。核心逻辑的动态功耗估计低于 1.0 mW,产生的归一化动态能量为 3.81 × 10^-5 pJ/op。系统级芯片 PCIe 集成(UltraScale+ xcvu9p):为了验证系统级兼容性,一个 256 单元子阵列(代表一个集成的 1 头注意力系统)集成在一个完整的 SoC 中。这包括 AMBA AXI4 互连和 AMD Xilinx PCIe Gen3 x1 桥(XDMA v4.2)。完整的 SoC 成功在 AWS 云 FPGA 开发环境下以统一的系统时钟 62.5 MHz 关闭时序(最坏负松弛 WNS = +1.854 ns)。SoC 仅占用设备逻辑切片的 0.67% 和 DSP 块的 0.00%,显示出较高的扩展潜力。功能仿真与超过一千个随机向量的比特精确一致,确认与固定点软件参考的一致性。所有能量数据均为合成逻辑的仿真工具估算;未进行物理 FPGA 板测量,系统级外部存储器能量严格排除。日本专利申请号 2026-177318(专利待审) 文件 029_Zenodo_ASMA_Paper_v8_0_FullProofMaster.pdf 文件(17.7 kB) 名称 大小 下载所有 029_Zenodo_ASMA_Paper_v8_0_FullProofMaster.pdf md5:dc7e3ec0a80faaa38e45073a61660739 17.7 kB 预览 下载
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡