Skip to content

Browser Use 与 Computer Use ​

Memoh 可以在 Bot workspace 容器里启动一个可见桌面和有头浏览器。这和跑 headless Playwright 脚本不是一条路径:Bot 操作的是客户端 桌面 面板里也能看到的那套图形浏览器。

概念区别 ​

能力适合工作方式
Headless browser 命令快速脚本化网页自动化在 workspace 里正常运行 Playwright 或其它浏览器工具。
Browser Use网页、表单、导航、截图、可访问性树检查通过 CDP 操作 workspace 里的有头 Chrome/Chromium。
Computer Use原生弹窗、浏览器状态坏掉、非浏览器 GUI读取桌面无障碍树(AT-SPI)拿到 ref,无法解析时回退到坐标与截图。

网页内操作优先用 Browser Use。只有遇到 CDP 够不到的 GUI 状态时,再用 Computer Use。

Workspace display 与 VNC ​

Workspace display 是 Bot workspace 容器里的桌面环境。VNC/RFB 是这套桌面的显示和输入传输基础;客户端的桌面会话使用 WebRTC 承载画面。

重点不是“有 VNC”本身,而是 workspace 能跑有头 Chrome/Chromium。很多登录、验证码、复杂前端状态或只支持真实图形会话的网站,headless 模式不一定可靠。

准备 Bot 桌面 ​

  1. 打开 Bot 详情页。
  2. 进入 Desktop tab。
  3. 准备或启用 workspace display runtime。
  4. 从 Bot 设置页或聊天 workspace 打开 display session。

Display runtime 会安装或使用桌面、VNC server、浏览器和字体等组件。具体可用性取决于 workspace backend 和镜像。

Agent 工具 ​

workspace desktop 启用后,agent 可以使用浏览器和电脑操作工具:

  • browser_observe 检查当前浏览器页面(snapshot、get_content、screenshot、evaluate 等)。
  • browser_action 在有头浏览器里点击、填表、输入、按键、导航。
  • browser_remote_session 暴露浏览器 CDP endpoint,给代码驱动的会话使用。
  • computer_observe 返回桌面无障碍树快照(ref 如 e3)或者一张落盘截图的路径。
  • computer_action 操作桌面:优先使用快照里的 ref;当 ref 不可用或无障碍调用失败时回退到 (x, y) 坐标。

截图不再自动注入对话 ​

browser_observe 与 computer_observe 的截图会落盘到 workspace 路径(如 /data/computer-screenshots/1716200000.jpg),工具结果只返回这个路径,不会自动塞到对话里。需要查看图像时显式调用文件读取工具读这个路径,可以让观察成本变低,也把“是否值得花 token 读图”交回模型决定。

无障碍辅助二进制 ​

Computer Use 依赖容器内 /opt/memoh/toolkit/display/bin/a11y-cli 以及 workspace 的 at-spi2-core 包。Display runtime probe 会返回 a11y_available,便于客户端显示无障碍路径是否健康。AT-SPI 不可用时,computer_action 仍可用坐标驱动,computer_observe screenshot 仍然可用。

这些是 workspace runtime 能力,不是用来自动化 Electron 桌面 App 本身的。

相关页面 ​

Published under AGPLv3