中科大MIRA Lab团队在NeurIPS 2024有哪些录用工作和创新成果？

AI

中科大MIRA Lab团队在今年NIPS会议上有论文被录用，快来了解一下他们的研究成果吧！我们有4项研究被NeurIPS 2024录用，涉及AI4Science、电子设计自动化（EDA）和离线强化学习等领域。核心贡献：采用块状结构分解技术，生成多尺度高质量运筹优化数据，大幅提升下游求解任务性能。作者包括刘昊洋、王杰*、张皖博、耿子介、匡宇飞、李希君、李斌、张勇东和吴枫。

混合整数线性规划（MILP）是一种重要的数学建模工具，在生产与工业领域具有广泛的应用价值。为了提高MILP求解器的效率，研究者通常会借助机器学习方法对其进行优化。然而，这种方法往往需要大量的高质量训练数据，而获取此类数据在实际中面临诸多挑战。为了解决这一问题，研究人员开始探索利用生成技术来创建额外的MILP实例。尽管现有方法取得了一定进展，但它们在生成过程中普遍忽视了约束系数矩阵中的特定块状结构。这种块状结构是问题建模的核心特征之一，其破坏会导致生成的实例失去原有的计算难度或变得不可解。针对这一关键问题，我们提出了一种全新的MILP实例生成框架——块结构分解（MILP-StuDio）。该框架通过保留块状结构的完整性，确保生成实例的质量和有效性。MILP-StuDio的核心思想在于识别并分解出约束系数矩阵中的块状结构，并将其作为构建新实例的基础单元。在此基础上，我们设计了三类生成算子：删除、替换和添加。这些算子能够灵活操作原始实例中的块单元，从而构造出不同规模的新实例。这一方法不仅能够保持生成实例的可解性和计算复杂度，还显著提升了基于机器学习的求解器性能。实验结果表明，MILP-StuDio生成的实例在标准测试集中表现出色，有效增强了求解器的能力。这一研究成果为MILP实例生成提供了新的思路，也为机器学习驱动的优化方法奠定了坚实基础。核心贡献：提出子空间预测优化的Krylov迭代法，显著加快大规模稀疏线性系统求解速度。作者包括罗健、王杰*、王泓、董桓硕、耿子介、陈瀚铸和匡宇飞。

求解大规模稀疏线性系统是数学、科学及工程领域中的核心问题之一。然而，传统数值求解器通常基于 Krylov 子空间迭代算法，其效率往往受限于复杂的迭代过程。为应对这一挑战，我们提出了一种名为 Neural Krylov Iteration（NeurKItt）的全新方法，用于显著加速线性系统的求解。NeurKItt 的核心思想是利用神经算子预测线性系统的不变子空间，并通过该子空间优化迭代过程。具体而言，神经算子输出的结果经过 QR 分解以提高子空间预测的精度，同时引入投影损失函数对模型进行训练。通过这种方式，NeurKItt 能够有效引导迭代方向，从而大幅减少所需的迭代次数。我们在理论和实验层面进行了深入分析，验证了 NeurKItt 的高效性和实用性。实验结果表明，NeurKItt 在多种求解场景和数据集上表现出色，能够将计算时间缩短最高达 5.5 倍，迭代次数减少最高达 16.1 倍。这些成果证明了 NeurKItt 在提升线性系统求解效率方面的巨大潜力，为相关领域的研究和应用提供了新的思路与工具。提出一种可扩展至数千节点的电路图架构搜索框架，具备高可解释性，为新一代芯片电路综合工具研发开辟新路径。作者包括王治海、王杰*、杨庆越、白寅岐、李钘、陈磊、郝建业、袁明轩、李斌、张勇东和吴枫。

专家

逻辑综合（Logic Synthesis, LS）是芯片设计流程中的核心环节，其目标是生成满足功能需求的最优逻辑电路。这一过程本质上是一个极具挑战性的组合优化问题。传统方法主要依赖专家经验设计启发式算法来求解逻辑综合问题。然而，近年来机器学习技术的发展为新一代逻辑综合提供了创新性的解决方案。本文提出了一种能够扩展到上千节点规模的神经电路生成与优化框架，为下一代逻辑综合技术奠定了坚实基础。具体而言，我们首先研究了可微神经网络架构搜索（Differential Network Architecture Search, DNAS）在电路生成中的应用，并发现现有DNAS方法在大规模电路生成中存在显著局限性。经过深入分析，我们总结出三个关键难点：1）DNAS倾向于生成大量跨层连接，这限制了网络的表达能力；2）神经网络架构与电路固有的结构特征存在较大偏差，从而大幅降低了DNAS的搜索效率；3）不同输入输出示例的学习难度差异明显，而现有方法难以有效处理复杂或困难的输入输出对。针对上述挑战，我们提出了一种基于正则化三角形结构的电路网络生成框架，成功实现了精确且高效的电路生成，同时具备良好的可扩展性。此外，为了进一步提升电路优化的效果，我们引入了一种结合强化学习的演化算法，该算法能够在保证效率的同时显著提高优化质量。通过在四个标准电路评测数据集上的实验验证，我们的方法不仅能够准确生成多达1200个节点的大规模电路，而且在性能上超越了国际逻辑综合竞赛IWLS 2022和2023中排名前二的方案。这一成果表明，我们的方法在逻辑综合领域具有重要的理论价值和实际应用潜力。核心贡献：首次破解离线强化学习中大规模、多样化数据的损坏难题，显著增强机器人控制与自动驾驶等决策任务的算法稳定性。作者：杨睿、王杰*、吴国平和李斌

在现实世界中，离线数据集（例如机器人控制、自动驾驶等领域）常常面临数据损坏的问题，这些问题可能由传感器故障或恶意攻击引发，表现为数据噪声或对抗性攻击。尽管当前的离线强化学习（RL）方法已经在鲁棒性方面取得了一定进展，但它们仍难以应对因状态、动作、奖励和转移动态等各类损坏数据导致的高度不确定性。这种不确定性会显著削弱智能体在无损环境中的性能表现。为解决这一问题，我们提出了一种新的算法——鲁棒变分贝叶斯离线强化学习算法（TRACER）。该算法将数据损坏视为行动价值函数中的不确定性来源，并利用所有类别的离线数据作为观测值，以此推导出行动价值函数的后验分布。通过这种方式，TRACER能够有效增强智能体对各种数据损坏情况的鲁棒性。同时，考虑到受损数据通常伴随更高的不确定性和熵，TRACER引入了一种基于熵的不确定性度量方法。这种方法可以有效区分干净数据与受损数据，从而帮助智能体更好地适应复杂的环境。在此基础上，TRACER通过调整与受损数据相关的损失函数权重，降低了受损数据对模型训练的影响，进一步提升了智能体在无损环境中的性能和鲁棒性。实验结果表明，在面对包含所有类型数据损坏的情况下，TRACER可实现高达21%的决策性能提升。此外，在24组仅存在单一类型数据损坏的测试中，TRACER在20组实验中表现最优，展现出其卓越的鲁棒性和适应能力。这些成果表明，TRACER为处理离线数据中的不确定性提供了一种高效且可靠的解决方案。