帝国时代 II 中的感知机
在游戏中构建 NAND 门和感知机(前向传播和训练),如在《如果大语言模型具有类人属性,那么《帝国时代 II》也一样》中所描述的。我们首先证明《帝国时代 II》在功能和图灵上是完全的。然后我们在游戏中构建一个感知机和一个训练电路。基于此,我们论证了改变大语言模型的基底(表示)也会改变它们属性的感知。接着我们展示了在研究大语言模型的类人属性时,不能假设这些属性在系统中存在(或不存在);即使你希望得出它们不存在的结论,这种假设仍然可能存在,甚至在你没有明确提出它时。它还表明,有办法进行良好的、合理的研究,而不需要做出这种假设。如果您在寻找实际的工件(代码等等),请查看这里。所有产品、公司名称、品牌名称、商标和图像均为其各自所有者的财产。这些图像根据公正使用原则用于教育目的。阅读论文《帝国时代 II 中的一个操作 NAND 门》,该门是使用游戏的场景编辑器构建的。这一部分也可以在两人设置中在游戏内构建,但纯粹编写代码要简单得多。这个设计旨在展示其内部工作原理,并且可以实现更简单的版本。每个比特由两条轨道表示(草代表 0,桥代表 1)。一次只有一条轨道处于活跃状态,山羊作为信号载体。当门被触发时,比特山羊被移除(它们死了),并在其相应的输出轨道中放置一个新的比特山羊。为了避免竞争条件,设置了 '门就绪' 轨道(冰),并且靠近门的轨道上的信号山羊表示可以开始计算。在上面:为了使与门处于激活状态,最左侧和最底部的比特山羊需要靠近圈(朝地图内部)。这表明门已经准备好,但并不表示上游门已经准备好。为此,位于中间冰块的山羊需要靠近与门。启动时,山羊被遣送“离开”,朝向它们的上游/下游门以表示就绪。读取门:最左侧的草/桥轨道:与门的左输入 0/1;最右侧的草/桥轨道:与门的右输入。中间轨道:与门的输出,非门的输入。在 GIF 中,它计算 AND(0, 1),将一只山羊放在中间草轨道(0)上,并在桥上放置一个非门(1)。您的浏览器不支持视频标签。在《帝国时代 II》中,一个操作 NAND 门,考虑到冰轨道的竞争条件。在《帝国时代 II》中,一个操作感知机,使用与上述 NAND 门相同的逻辑(即相同的核心概念)。这是一种非常简单的感知机,因此是一个双极 1 位实现。它由两个 XNOR 门构成,大部分内积的计算都是通过这两个门完成的,还有一个与门作为阈值(它用于学习与门,但这不影响这个实现)。这个特定的实现省略了偏置项,并简单地在步进函数中硬编码,但也可以添加一个偏置加法器。请注意,对于最右侧电路的每个比特,最左侧都有两个比特山羊。这更复杂,但允许并发控制,因为否则门会做奇怪的事情。读取感知机时:对于输入 [x_1, x_2]^T,带有权重 [w_1, w_2]^T 的感知机在最上面的 XNOR 输入为 x_1, w_1(蓝绿色斑块和岩石斑块),底部 XNOR 输入相同。山羊作为比特和准备信号。XNOR 门的输出可以在中间部分看到,有三条轨道,作为与门的输入。在 GIF 中,它计算 x = [1, 1]^T 对于 w = [1, 1]^T,并且显然预测为 1,因为这个权重分配是正确答案。在《帝国时代 II》中,一个操作感知机,山羊作为信号载体。在《帝国时代 II》中一个基于 ansatz 的训练电路。ansatz 算法只是一个普通的感知机电路以及一些 XNOR/与/或门来决定新的权重。请查阅论文获取实际电路的细节。这部分相当复杂,所以请耐心听我解释。输入为(自上而下在水面斑块中):真实标签 t 和输入 x 及当前权重 w 向量。感知机位于左侧的前两层,其余电路计算误差并返回新的权重。为简化输入的分支,当权重/输入/标签被 '激活' 时,山羊被传送到各自的门,但它们被暂时搁置,直到其余计算完成(通过冰山羊)。这些门利用环境进行编码。竹子用于 XNOR,常规森林用于与门,猴面包树用于或门,深水用于非门,以及您熟悉的常规轨道。注意:我在 verilog 中测试过这个并且可行,现在我正在努力将其脚本化。这很麻烦,况且我并不是有无限的资源。
本站免费、广告极少。如果觉得有帮助,可以请我们喝杯咖啡 —— 任何金额都对持续运营有实际帮助。
☕请我喝杯咖啡