ComAct - 上海AI Lab等提出软件自动化操作的研究范式

ComAct是什么

ComAct（COM-as-Action）是重新定义专业软件自动化操作的研究范式，由Jiaxin Ai等人提出。范式将Windows的Component Object Model（COM）识别为统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制转变为确定性的程序合成，解决GUI-based智能体在长程任务中的错误累积问题，以及API-based方法受限于异构协议和闭源接口的困境。

ComAct的主要功能

• COM-as-Action 范式转换：将专业软件交互从脆弱的顺序性视觉控制（GUI）转变为确定性的程序合成，利用 Windows COM 接口作为统一的可执行抽象，直接调用软件内部结构化编程接口。
• ComCADBench 基准测试：构建首个评估智能体操作真实工业 CAD 软件的基准，包含 1,000 个任务，覆盖 SolidWorks、Inventor、AutoCAD 三大平台及 3D 建模、2D 草图、装配、工程图等七项工程活动。
• ComActor 自校正智能体：采用三阶段渐进式训练框架——文本到代码监督微调（SFT）、基于多轮交互轨迹的智能体 SFT、以及基于连续几何奖励的 GRPO 强化学习，使智能体能够生成 COM 脚本、读取终端反馈、诊断并重写失败步骤。
• ComForge 可扩展训练平台：支持并发托管 1,000+ 个 Docker 化 Windows 环境，预装真实 CAD 软件，提供 code_execute（COM 脚本）、gui_action（鼠标/键盘）和 reset 三种动作类型，实现大规模并行训练与评估。
• 跨应用工作流整合：COM 作为统一的语义化编程接口，天然支持跨多种专业软件（Microsoft Office、Adobe 套件、工业 CAD 等）的协同操作与复杂工作流编排。
• 长程任务鲁棒执行：通过生成单一确定性脚本替代数百个易出错的顺序 GUI 操作，消除长程错误累积，在长程多任务管道中保持 80% 以上的端到端成功率，显著优于传统 GUI-based 智能体。

ComAct的技术原理

• COM-as-Action 范式转换：将 Windows Component Object Model（COM）识别为一种统一的可执行抽象，把专业软件交互从脆弱的顺序性视觉控制（GUI）重新定义为确定性的程序合成，直接通过结构化编程接口调用软件内部功能。
• 验证过的指令-代码对数据构建：通过专门的数据构建流程合成经过验证的指令-COM 代码语料库，确保训练数据在语法和语义层面的正确性，为监督微调提供高质量基础。
• 三阶段渐进式训练框架：
  • 阶段一（文本到代码 SFT）：在验证语料库上进行监督微调，使模型学习生成语法有效的 COM 脚本；
  • 阶段二（Agentic SFT）：基于多轮交互轨迹和屏幕截图/终端反馈进行迭代调试训练，使智能体具备从执行失败中自我恢复的能力；
  • 阶段三（GRPO 强化学习）：采用组相对策略优化（Group Relative Policy Optimization），结合基于 Chamfer Distance 的连续几何奖励，直接优化任务级几何保真度，弥合”语法正确但几何不符”的差距。
• 自校正执行循环：智能体生成 COM 脚本后执行，读取终端返回的 traceback 或执行结果，自主诊断错误原因并重写失败步骤，形成”生成-执行-反馈-修正”的闭环。
• ComForge 可扩展基础设施：基于 Docker 化 Windows 容器构建训练平台，并发托管 1,000+ 个预装真实 CAD 软件的环境，支持 code_execute（COM 脚本）、gui_action（鼠标/键盘）和 reset 三种动作类型，实现大规模并行训练与评估。
• 跨应用统一动作空间：利用 COM 在语义对象层面运行的特性，将不同专业软件（SolidWorks、AutoCAD、Inventor、Microsoft Office 等）的异构接口统一为标准化的可执行动作空间，天然支持跨应用工作流编排。

如何使用ComAct

• 环境准备（ComForge）：部署 Docker 化 Windows 容器环境，预装目标专业软件（如 SolidWorks、AutoCAD、Inventor），ComForge 支持并发托管 1,000+ 个并行实例用于训练或评估。
• 任务指令输入：向 ComActor 智能体输入自然语言指令（如”创建一个带圆角的立方体并生成工程图”），智能体将其解析为对应的 COM 操作目标。
• COM 脚本生成：ComActor 基于三阶段训练能力，自动生成语法有效的 COM 脚本（如 Python 调用 COM 接口），直接操控软件内部对象模型，而非模拟鼠标点击。
• 执行与反馈循环：脚本在 ComForge 环境中执行，智能体读取终端返回的执行结果或错误 traceback（traceback），自主诊断问题并重写失败步骤，形成自校正闭环。
• 结果验证与输出：任务完成后，智能体输出最终生成的文件（如 3D 模型、工程图纸），并通过连续几何奖励机制（Chamfer Distance）验证几何保真度。
• 跨应用工作流编排：利用 COM 统一接口，串联多个专业软件完成复杂管道任务（如在 CAD 中建模 → 导出 → 在 Excel 中生成 BOM 表）。

ComAct的官网地址

• 项目官网：https://knowledgexlab.github.io/ComAct/
• GitHub仓库：https://github.com/KnowledgeXLab/ComAct
• arViv技术论文：https://arxiv.org/pdf/2606.13239

ComAct的核心优势

• 确定性程序合成替代脆弱视觉控制：将专业软件交互从依赖像素定位的顺序性 GUI 操作转变为生成单一确定性 COM 脚本，从根本上消除长程错误累积，避免传统 GUI-based 智能体”一步错、步步错”的级联失效。
• 统一可执行抽象跨越异构接口：利用 Windows COM 作为统一的语义化编程接口，整合 SolidWorks、AutoCAD、Inventor、Microsoft Office 等多种专业软件的异构协议，天然支持跨应用复杂工作流编排。
• 破解闭源软件工具匮乏难题：COM 接口在语义对象层面暴露应用程序内部功能，即使面对源代码不公开的商业软件，也能提供高保真的本地 API 级访问能力，突破 API-based 方法受限于不可访问商业接口的瓶颈。
• 长程任务鲁棒性显著领先：在长程多任务管道中保持 80% 以上的端到端成功率，而传统 GUI-based 基线模型在 ComCADBench 上任务成功率接近 0%，展现出极强的长程规划与执行韧性。
• 自校正与迭代调试能力：通过 Agentic SFT 训练，智能体具备”生成-执行-读取 traceback-诊断-重写”的闭环能力，能够从 COM 脚本执行失败中自主恢复，无需人工干预。
• 直接优化几何保真度：第三阶段 GRPO 强化学习引入基于 Chamfer Distance 的连续几何奖励，直接优化任务级几何精度，弥合”语法正确但几何不符”的执行差距。

ComAct的应用场景

• 工业 CAD 自动化设计：在 SolidWorks、AutoCAD、Inventor 等真实工业 CAD 软件中，将自然语言需求自动转换为 COM 脚本执行，覆盖 3D 建模、2D 草图、装配体设计、工程图生成、质量属性分析、干涉检测等全流程工程活动。
• 长程多任务管道编排：串联复杂设计管道任务，例如从概念建模 → 详细零件设计 → 装配验证 → 工程图输出 → BOM 表生成，通过单一确定性脚本替代数百个易出错的顺序 GUI 操作，保持端到端高成功率。
• 跨应用协同工作流：用 COM 统一接口整合 Microsoft Office（Excel、Word）、Adobe 套件与工业 CAD 软件，实现如”CAD 模型变更后自动更新 Excel 物料清单并生成 Word 技术报告”的跨应用自动化。
• 设计验证与质量检测：自动执行干涉检测、几何尺寸验证、质量属性计算等分析任务，通过连续几何奖励机制确保输出结果的几何保真度，辅助工程师快速排查设计冲突。
• 参数化批量建模：根据输入参数批量生成或修改标准化零件/装配体，适用于需要大量重复性建模任务的场景（如标准件库生成、系列产品变型设计），显著提升设计效率。