持久状态机：利用INT4内存单元实现LLM注意力机制

论文提出一种名为“持久状态机”（Persistent State Machines, PSM）的正式离散框架，用于大语言模型中的注意力算子。其核心思路是将计算广播到固定的存内单元，每个单元执行局部的确定性状态转换，从而避免传统架构中频繁的数据搬运。

该框架提供了完整的数学证明，包括量化误差界、在显式有界logits假设下的多阶段离散Softmax构造、确定性有限自动机等价性以及空间复杂度DSPACE(O(n))的归属。这些证明旨在从理论上保证架构的可行性和数值稳定性。

在低功耗评估中，研究者在Xilinx Zynq-7000 xc7z020上实现了完整的1024单元阵列（d=128），采用out-of-context（OOC）块设计。通过后布线功能仿真生成SAIF文件，并注释到网表上，以估计硬件级自激活门控的效果。

结果显示，核心逻辑的动态功耗估计低于1.0 mW，归一化动态能量为3.81×10^-5 pJ/op。这一数字表明，通过稀疏激活，只有少量单元产生动态切换，从而大幅降低功耗。但需注意，这些数据来自仿真工具，并非物理测量。

为了验证系统级兼容性，研究者将256单元子阵列（代表集成单头注意力系统）集成到完整的SoC中，包括AMBA AXI4互连和AMD Xilinx PCIe Gen3 x1桥（XDMA v4.2）。整个SoC在AWS Cloud FPGA开发环境下成功收敛时序，统一系统时钟为62.5 MHz，最差负裕量（WNS）为+1.854 ns。

该SoC仅占用设备逻辑片的0.67%和DSP块的0.00%，表明架构具有很高的扩展潜力。这一结果说明，即使在资源受限的FPGA上，PSM架构也能以极小的面积开销实现系统集成。

功能仿真使用超过一千个随机向量，与定点软件参考实现进行对比，结果达到位精确一致。这为架构的正确性提供了有力证据，但仅限于仿真层面。

论文明确声明，所有能量数据均为基于仿真工具对综合后逻辑的估计，未进行物理FPGA板级测量，且系统级外部内存能量被严格排除。因此，实际功耗可能高于估计值，尤其是在考虑内存访问和I/O开销时。

该论文以预印本形式发布在Zenodo上，版本为v8，作者为独立研究者Esaka, Yusuke，隶属于Cosmos Administrative Scrivener Office。论文还提及一项日本专利申请（No. 2026-177318），状态为“专利待审”。

需要注意的是，该研究尚未经过同行评审，且来源为Hacker News的AI过滤转发，属于二手报道。因此，论文中的结论应视为作者声明，而非已确认的事实。