ZX 图的深度强化学习优化

ZX 演算把线路化简变成图重写，但"该用哪条规则、用在图上哪个位置"一直靠人工启发式——把这套重写动作交给图神经网络驱动的强化学习智能体，节点数、门数甚至两比特门数都可以直接写进奖励函数。

问题背景

ZX 图的重写系统是完备的：任何量子线路的正确化简都能由有限的局部规则序列完成（见ZX 演算与PyZX 图论化简）。但规则的调度是硬问题。PyZX 的 full_reduce 按固定顺序套用规则，为电路优化设计的规则子集并不完整，做”最少节点”化简时表现不佳；贪心策略（每步选即时奖励最高的动作）会被”先变差才能变好”的序列困住。事实上，最优节点数化简包含了”该图是否等价于恒等操作”这一 QMA 完全问题作为特例——所以任何多项式时间策略都只能是启发式，问题在于启发式从哪来 Nägele 2024。

强化学习提供了一个自然的答案：把 ZX 图当环境、重写规则当动作，让智能体在试错中学出调度策略。两条代表性工作分别解决了”学什么奖励”的两端：Nägele 与 Marquardt（2024）以图节点数为目标——它计算便宜、与具体提取算法无关；Riu 等（2025）以提取后线路的门数（尤其是两比特门数）为目标——它直接对应硬件代价，但要求在训练回路里反复做电路提取（见电路提取与 Pauli Flow） Nägele 2024 Riu 2025。

两条工作还有一层互补关系：前者在”图空间内部”优化，指标干净但离硬件隔着一层提取；后者把提取闭环进训练，指标直接可用，却要让 RL 承担提取噪声——它们的张力恰好刻画了”图重写 RL”这个方向的设计空间，也预示了奖励函数向硬件原生指标（门型保真度加权）演进的路线。

理论模型

动作空间：局部重写规则

Nägele 等把局部变换编码为”每个节点 6 种动作 + 每条边 6 种动作 + 全局停止” Nägele 2024：

• 节点动作：着色改变（color change，插入 Hadamard 改变 spider 颜色）、Hadamard 融合、Hadamard 拆分、Euler 变换（单比特旋转的 Euler 分解重写）、start-Unfuse、stop-Unfuse；
• 边动作：Mark edge（标记一条边）、融合（fuse）、$\pi$ 复制（pi）、复制（copy，$\alpha \in \{0,1\}$ 的生成元复制）、双代数左/右（bialgebra）；
• 全局 Stop：智能体判断无法继续优化时终止轨迹。

设计上有两处巧思。其一，Unfuse（把一个 spider 拆成两个、任意分配其相连边与相位）动作数原则上无界，于是被拆成三步：start-Unfuse 标记一个 spider，接着只能做 Mark edge 或 stop-Unfuse，终止时被标记的边全部移交给新生成的 spider。其二，非法动作（局部环境不匹配的规则）被掩码置零，每步之后自动清理恒等 spider、冗余边与悬空子图 Nägele 2024。

局部重写规则的图编码：各变换作用前后的 spider 图示（bialgebra、color change、fuse、pi、copy、Euler、Hadamard 操作等）（图源：Nägele 2024 Fig. 2）

Riu 等的 rl-zx 沿同一路线但刻意收窄动作空间：只保留保持 gFlow 的规则（见电路提取的因果流理论），保证化简后的图总能高效提取回线路；“免费”的额外动作只有提取流程内置的基础优化（basic-opt）与 teleport reduce Riu 2025。

状态表示与网络结构

ZX 图编码为无向图：节点特征 12 维——颜色 one-hot（$Z$/ $X$ spider、Hadamard、输入、输出，5 维）、相位（占位角 $\alpha$、$\pi /2$ 的整数倍、非 spider，6 维）、Unfuse 标记位（1 维）；边特征 1 维（是否被标记）。$\pi /2$ 的整数倍相位必须显式区分，因为重写规则的适用性判据依赖它 Nägele 2024。

策略网络是 6 层消息传递的图神经网络（GNN），逐层更新节点与边特征：

$$x_n^{i+1}={\varphi }^i(x_n^i,\sum _{m\in \mathcal{N}(n)}{\psi }^i(x_n^i,x_m^i,e_{(n,m)}^i)),e_{(n,m)}^{i+1}={\theta }^i(e_{(n,m)}^i,x_n^i,x_m^i),$$

末端对每个节点/边各接一个 MLP 输出 6 个动作的未归一化对数概率，全图归一化后采样；唯一的例外是全局 Stop 动作——它依赖图的广延性质而非局部结构，故由全局池化（节点/边特征的均值 + 各类节点计数向量）单独给出。选 GNN 出自”理想策略只依赖图的局部结构”这一假设：与稠密网络相比它训练效率更高、对未见过的图泛化更好，且天然不受输入尺寸限制——这个附加红利使在小图上训练的策略可以直接推断大图。rl-zx 则用带注意力机制的 GATv2 层实现演员–评论家，动作作为图中的”动作节点”参与消息传递，Stop 同样单列 Nägele 2024 Riu 2025。

奖励设计

• 节点数奖励（NA129）：每步奖励为动作前后节点数之差，累积奖励即整条轨迹的净节点削减——足够简单以稳定训练，又因非贪心序列的存在而需要真正的策略 Nägele 2024；
• 门数奖励（NA133）：每步把动作后的图提取回线路、数门数，奖励取提取前后门数之差再按期望压缩因子归一（取期望初始两比特门数的 30%）；提供两种训练目标——总门数与仅两比特门数。此外在 episode 末尾附加一次与 cflow-zx 基线差距成正比的单发奖励：没有它，智能体会迅速收敛到”什么都不做”的退化策略 Riu 2025。

两种奖励的对比恰好勾勒出设计空间：节点数奖励廉价且算法无关，但不保证提取后的线路更好；门数奖励直击硬件代价，还能按门型保真度加权、纳入相干时间与深度约束——这正是它对硬件原生编译（如中性原子里德堡门）的意义所在 Riu 2025。

RL 优化 ZX 图的回路：ZX 图 → GNN 给出各节点/边动作概率 → 采样重写动作 → 节点数/门数奖励回馈（图源：Nägele 2024 Fig. 1）

方法与实现

Nägele 等在随机采样的 10–15 个 spider 的 ZX 图上训练，共 $36\times 10^6$ 次动作（约 $9\times 10^6$ 步即达最优性能），耗时约 41 小时（32 CPU + 2 GPU，采样与训练并行）。评测时对 1000 张新图各优化 200 步；再把尺寸扩大一个量级（100–150 个 spider）直接推断，检验泛化 Nägele 2024。

rl-zx 在 5 比特、60–70 个门的随机 Clifford+T 线路上训练（PPO，GATv2 演员–评论家），评测覆盖 5/10/20/40/80 比特的随机线路，每个尺寸每任务统计 1000 次执行；测试时保留 episode 中出现过的最优线路而非仅取末态——因为提取步骤在训练回路里是黑盒，智能体对结果不承担责任，保留全程最优可以部分对冲这一不对齐。此外测试单发确定性模式（取概率最大的动作）与结构化线路（加法器、Toffoli 链、QFT 等）上的表现，后者允许每个线路最多 1000 次尝试取最优 Riu 2025。

rl-zx 的实现讨论中有一条对后续工作很有启发：最难学的动作是 Stop。策略是概率性的，随图增大可选动作数增长，正确选中 Stop 的概率迅速下降；而高维图上一处”选错 pivoting”就可能让两比特门数剧变。加上每步都要提取线路才能算奖励、提取本身可能反向增加门数，作者才引入基础优化的前置/后置处理与对 cflow-zx 的末段奖励作为稳定器——这些工程细节本质上都是在给”延迟、带噪、黑盒”的奖励信号降噪 Riu 2025。

实验结果与对比

任务	RL 智能体	基线	结果	来源
随机 ZX 图节点数化简（10–15 spider）	GNN 策略	贪心 / 模拟退火 / PyZX full_reduce 及组合	RL 平均剩余节点数全场最低	Nägele 2024
同任务，步数效率	RL	模拟退火	达到同等奖励所需步数少约一个数量级	Nägele 2024
外推：100–150 spider（大 10 倍）	同一训练好的策略	各基线	大幅削减节点数，保持领先	Nägele 2024
随机 Clifford+T 线路两比特门数（80 比特 / 2100 门）	rl-zx	cflow-zx / gflow-zx / full-reduce / basic-opt	最大规模线路中 80% 以上案例改进基线	Riu 2025
同任务改进幅度	rl-zx vs cflow-zx	—	两比特门平均降为基线的 $1/5$–$1/12$（随尺寸增大）	Riu 2025
结构化线路两比特门数	rl-zx + cflow-zx	NRSCM（门型 SOTA）/ cflow-zx / 随机策略	多个基准改进 SOTA；确定性模式在 33 条中 13 条改进 cflow-zx	Riu 2025

两个诚实的负面结果同样重要。其一，rl-zx 在随机线路上对 cflow-zx 的改进伴随计算开销：未优化实现慢约一个数量级（标度仍为次指数）。其二，节点数直觉会误导——训练在 5 比特浅电路上的智能体对 5 比特深电路反而不如 gflow 启发式，作者归因于”无风险策略”与 GNN 缺少图的广延信息（总节点/边数） Riu 2025。NA129 的非贪心动作分析则给出正面机制：智能体学会先用 $\pi$ 复制等暂时增加节点的动作，再用连续融合把图压得更低——没有这种延迟回报能力，贪心永远到不了那里 Nägele 2024。

基线的选择本身也有讲究。NA129 把 PyZX 的 full_reduce 与贪心、模拟退火组合成五种对照（full_reduce 单独、+贪心、+RL 等）：由于 full_reduce 面向电路优化、规则子集不完整，它在”最少节点”任务上单独表现不佳，作为预处理与贪心或 RL 串联才够看；模拟退火的超参数（初温与降温调度）在两张示例图上手工调优后固定用于全部测试，RL 仍在两种尺寸上都领先。NA133 的对比则揭示出更微妙的图景：gflow 与 cflow 两个环节串联后，“最优结果几乎总是存在于搜索空间中”——无论动作选择是否智能；但把它变成现实收益并不平凡，最先进的 gflow 启发式与 cflow-zx 直接组合在多数案例中并无改进，rl-zx 才是对 cflow-zx 的稳定增强。纯随机选动作虽然对若干实例也能撞出最优解，找到概率随规模迅速衰减，最大的几条线路甚至在 72 小时内跑不完 Nägele 2024 Riu 2025。

面向中性原子的衔接

对中性原子平台，这套框架的价值在三点。其一，奖励可以按硬件重新加权：NA133 明确指出奖励函数可按每个门型的保真度加权、纳入相干时间与线路深度——里德堡平台的双比特门（阻塞 CZ 门）与单比特门误差结构、以及原生多比特门（多比特阻塞门）的可用性，都与超导平台不同，权重自然不同。其二，保流约束与提取：保持 gFlow/Pauli flow 的动作空间保证化简后的图可被高效提取，这与电路提取的复杂度理论直接挂钩；NA129 展望的下一步正是把全部保流规则纳入动作集、奖励改用提取后的总门数/两比特门数/T 门数。其三， ZX 语言的原生门综合：多控相位门在中性原子上的 ZX 综合见多控相位门综合，学习式调度有望在其规则库上直接套用 Nägele 2024 Riu 2025。

与其他概念的关系

• 化简的语言基础是ZX 演算；工程实现与规则库见PyZX 与图论化简，化简质量最终要经电路提取与 Pauli Flow回到线路来兑现。
• gFlow/保流约束把”能提取”写进了动作空间，这与多控相位门综合在中性原子上的 ZX 应用共享同一套图语言；T 门等非 Clifford 资源的化简见T 计数与非 Clifford 约简。
• 与RL 线路优化、Quarl同属”学调度”家族：那里动作是电路变换，这里是图重写；GNN 编译的中性原子原生框架见ARGON：GNN 编译框架，把编译当作博弈的另一种形式化见电路即博弈。
• 中性原子视角：奖励可按平台定制——对里德堡平台按门保真度加权（原生 阻塞 CZ 门 vs 单比特门）或纳入原子搬运开销，是 NA133 明确指出的方向；编译质量的公平比较见编译器公平评测与可视化。
• 学习式化简并不替代验证：重写序列的等价性由 ZX 演算的语法保证，而提取后的线路核验、化简前后的功能等价检查与电路等价性验证共享同一套语义基础；对学习结果做保守性诊断是部署前的必要一环。

参考文献

• M. Nägele, F. Marquardt, “Optimizing ZX-diagrams with deep reinforcement learning”, Machine Learning: Science and Technology (2024). NA129 · DOI 10.1088/2632-2153/ad76f7 · arXiv:2311.18588
• J. Riu, J. Nogué, G. Vilaplana, A. Garcia-Saez, M. P. Estarellas, “Reinforcement Learning Based Quantum Circuit Optimization via ZX-Calculus”, Quantum (2025). NA133 · DOI 10.22331/q-2025-05-28-1758