← 我的写作 编译 权重 一个库存 Qwen 3.5 4B，其中嵌入了一个RISC-V CPU，其权重运行在自己的Gated DeltaNet层上作为RAM。我简直不敢相信这不是硅 Qwenputer是一个相当有趣的实验模型。它是一个库存 Qwen 3.5 4B，增加了一个RISC-V CPU，该CPU嵌入在权重中，并使用模型自己的Gated DeltaNet注意层作为RAM。（要了解GDN的工作原理，请查看此方便的指南。）这个'CPU'完全在模型的前向传递中运行，能够在没有任何外部运行时或工具使用的情况下运行算术运算、C和MicroPython代码。为了非常明确，它不是插件、工具或沙盒。这个博客将确切解释这个模型是如何工作的，以及该模型如何利用GDN层作为RAM，以及我如何插入了一个实验性的模型内文件存储。我还写了两个基于Qwenputer的后续文章：如何混合模型能学习在其RNN状态中隐藏其推理并逃避CoT监控，以及像这样的编译权重如何作为内置监控工具，模型本身无法篡改。 Qwen将乘法交给其权重内部的RISC-V CPU；CPU的RAM是Gated DeltaNet状态 你可以从Hugging Face或ModelScope获取Qwenputer，代码在GitHub上。 Qwen3.5内部的RNN可以是精确的RAM Qwen3-Next和Qwen 3.5（Qwenputer构建的模型）使用了一个相当不错的技巧。模型中的4个注意层中有3个使用Gated DeltaNet，一个线性RNN，作为注意机制（这里更多）。每个头部保持一个状态矩阵，delta规则保持其更新。现在，我们的有趣实验开始了。我发现通过将门设置为1，1 1 每个Gated DeltaNet头保持一个状态矩阵，即其记忆。在每个符号之前，写入任何新内容之前，它会将整个状态乘以门，一个在0到1之间的数字。这就是RNN忘记的方式：0.9的门会在每个符号上稍微淡化存储的内容，而1的门意味着什么都不会淡化。写入强度（beta）为1，2 2 在门之后，头部将状态的一个方向推向一个新值，写入强度beta设置了距离。在这个方向上的旧值会被完全替换，而不是混合。使用一热键编码，3 3 一热键是一个只有一个1的零向量，因此它指向状态的确切一行，就像内存地址指向一个单元格一样。我们执行的每次写入将完全覆盖一行，而每个一热查询可以检索一个确切的值。这意味着GDN层本身可以像RAM一样工作，其成本远低于使用普通注意作为RAM，因为GDN头的状态无论对话多长时间保持相同大小，这与注意的KV缓存不同。 使用Gated DeltaNet状态作为RAM：一热键覆盖一行，一热查询读取它，CPU在这些行中保留其寄存器、内存和程序计数器。 delta规则作为内存的想法并不新鲜：Schlag等人（2021）表明，带delta规则的线性注意作为关联记忆，或