突破数据瓶颈！交大研发电脑智能体，让 AI 替你熬夜做 PPT

上海交通大学gair实验室研发pc agent：让ai帮你完成深夜ppt制作

成品ppt在线生成，百种模板可供选择☜☜☜☜☜点击使用；

深夜需要准备第二天论文分享的PPT？有了上海交通大学GAIR实验室研发的PC Agent，你只需告诉它要点和保存位置，第二天就能看到一份制作精良的PPT。这项研究由三位研究者完成，共同第一作者为上海交通大学ACM班三年级本科生何彦衡和金嘉禾，指导老师为刘鹏飞副教授。GAIR实验室主要研究方向包括大模型复杂推理、数据工程、多模态大模型和智能体。实验室主页：https://www.php.cn/link/543817ed62fa34e371bb229d4f7b603f

PC Agent通过认知迁移方法，高效收集人类认知轨迹进行训练（而非API调用），实现了像人类一样操作电脑：阅读屏幕、控制键盘鼠标，完成数十步跨软件的复杂任务。这标志着AI真正开始为人类减负！

PC Agent能轻松完成大量重复性工作，例如为多位图灵奖得主制作海报：

它还能像Claude 3.5 Sonnet一样，完成“AI调用AI”的任务，例如自行创建网站：

论文信息：

• 论文标题：PC Agent: While You Sleep, AI Works - A Cognitive Journey into Digital World
• 论文地址：https://www.php.cn/link/190b12368f262b0aa584cd9101ecc07c
• 代码地址：https://www.php.cn/link/a4e56c27a3e2a2fc8ccd7d91a2945f90

挑战与突破：深度电脑理解与精准视觉定位

当前智能体电脑使用能力远逊于人类，主要挑战在于深度电脑理解认知和精准视觉定位能力。

1. 视觉定位：GUI交互的基础是精准定位屏幕元素（如按钮）。现有模型，包括GPT-4o，缺乏此能力。

2. 认知理解：模型缺乏对电脑使用的认知理解，包括细粒度的电脑操作知识（例如，在PowerPoint中添加标题需要先点击文本框再输入）和智能体导向的训练（长程任务中的上下文关注、决策和策略调整）。

认知迁移：AI从对话窗口到数字世界的关键

团队提出人类认知迁移方法，包括高效采集人机交互数据的轻量级工具PC Tracker，以及从原始交互数据重建人类认知的完整流水线。PC Tracker开源，旨在加速社区研究。

该方法首先采集人类电脑操作轨迹，然后用大模型重建人类认知，最终得到包含人类认知的交互轨迹（Cognitive trajectory）。通过模仿学习，AI不仅模仿动作，还学习背后的认知理解。

仅在133条认知轨迹上训练，PC Agent就能执行50步复杂任务，展现了方法的高效性。

PC Tracker：高效采集人机交互数据

PC Tracker轻量级运行，仅在用户动作发生时记录，不会影响用户体验，并支持大规模数据采集。它具备以下特性：

• 轻量级数据采集
• 无损用户体验
• 大规模数据采集
• 统一动作空间
• 双采集模式（任务导向和无任务导向）
• 数据透明与隐私保护

认知轨迹重建：动作语义重建和思考过程重建

原始点击动作缺乏语义信息，需要重建。大模型通过上下文信息和动作语义，重建每步动作背后的思考过程。

PC Agent：基于开源模型的多智能体协作

PC Agent采用多智能体架构：规划智能体负责决策，视觉定位智能体负责执行点击动作。它利用Molmo模型进行视觉定位，并通过自我验证提高精度。

未来展望

团队未来将关注大规模泛化实验、长程规划与鲁棒性、无任务数据的利用、动作空间优化和复杂任务的评估。

以上就是突破数据瓶颈！交大研发电脑智能体，让 AI 替你熬夜做 PPT的详细内容，更多请关注php中文网其它相关文章！