Mano— 明略科技推出的GUI智能操作模型

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

百川大模型

百川智能公司推出的一系列大型语言模型产品

62

查看详情

Mano是什么

mano 是由明略科技研发的专用大模型，专注于图形用户界面（gui）的智能化操作。该模型建立在多模态基础架构之上，融合了在线强化学习与自动化训练数据采集等前沿技术，在 mind2web 和 osworld 两项权威基准测试中均达到了业界领先水平（sota）。mano 能够精准识别并操作网页和桌面环境中的各类 gui 元素，完成诸如表单填写、账号登录等复杂任务，为自动化操作提供高效、智能的解决方案，推动 gui 智能体技术的发展进程。

Mano的主要功能

• 网页自动化操作：可自动执行网页上的多种交互行为，如填写表单、点击按钮、输入文本、提交内容等，广泛适用于自动化数据抓取、网页测试等场景。
• 桌面应用控制：支持对本地桌面软件的操作，包括启动程序、菜单导航、文本输入及按钮点击等功能。
• 跨平台兼容性：适配主流操作系统与浏览器环境，实现多平台统一的自动化流程，满足多样化的部署需求。
• 数据提取与初步分析：能够从网页或客户端应用中自动提取所需信息，并进行基础的数据处理与分析，辅助后续决策流程。
• 异常检测与自我修复：具备运行时错误识别能力，能够在操作失败时尝试自动纠正，提升整体流程的稳定性与成功率。

Mano的技术原理

• 多模态建模能力：依托多模态神经网络架构，Mano 可同时理解视觉信号（如屏幕截图）和语义信息（如用户指令、页面文字），实现对 GUI 环境的全面感知。
• 在线强化学习机制：通过与真实环境持续交互，模型利用在线强化学习不断优化策略，增强在动态变化场景下的适应能力。
• 自动数据采集系统：内置自动化数据生成与收集模块，可高效获取高质量人机交互样本，用于模型迭代训练，显著降低人工标注成本。
• 监督式微调（SFT）：第一阶段采用监督学习方式，使用标注数据对模型进行精细调整，使其更准确地理解和执行具体 GUI 操作。
• 离线强化学习优化：第二阶段利用历史交互数据进行离线强化学习，进一步提升模型在多步骤任务中的决策质量。
• 在线强化学习精调：第三阶段在模拟或真实环境中开展在线学习，使模型获得更强的泛化能力和实时响应性能。
• 操作验证机制：配备专门的验证组件，用于检查每一步操作结果的正确性，及时发现偏差并修正，确保整个流程的高准确性与可靠性。

Mano的项目地址

• 技术白皮书：https://www.php.cn/link/5830e88a77c3b198718278402df5f82b

Mano的应用场景

• 智能数据采集：自动从网页或桌面系统中抓取结构化或非结构化数据，大幅提升数据获取效率，减少人工干预。
• 网页功能测试自动化：替代人工完成表单提交、按钮点击等操作，用于回归测试、兼容性测试等环节，提高测试覆盖率与执行速度。
• 企业办公流程自动化：集成于办公系统中，实现报表自动生成、邮件批量发送等日常事务的自动化处理，提升组织运营效率。
• 桌面软件测试：应用于客户端软件的功能验证，自动执行打开应用、菜单选择、参数设置等操作，帮助开发团队快速定位缺陷。
• 智能客服助手：协助处理常见客户请求，如订单查询、FAQ应答等，实现部分服务流程无人化，减轻人工客服压力。

以上就是Mano— 明略科技推出的GUI智能操作模型的详细内容，更多请关注php中文网其它相关文章！