Browser Use и Computer Use

Memoh может дать Bot видимый рабочий стол и браузер с графическим интерфейсом (headed) внутри контейнера его рабочего пространства. Это не то же самое, что запуск headless-скрипта Playwright: Bot изучает и оперирует тем же графическим браузером, который вы видите в панели Desktop приложения.

Понятия

Возможность	Для чего подходит	Как работает
Headless-команды браузера	Быстрая скриптовая автоматизация внутри рабочего пространства	Запуск Playwright и других браузерных инструментов как обычных команд рабочего пространства.
Browser Use	Веб-страницы, формы, навигация, скриншоты, проверка дерева доступности	Оперирует headed-экземпляром Chrome/Chromium рабочего пространства через CDP.
Computer Use	Нативные диалоги, сломанное состояние браузера, GUI вне браузера	Читает дерево доступности рабочего стола (AT-SPI) и получает ref-ссылки; когда механизм доступности недоступен, переходит на координаты и скриншоты.

Для веб-страниц предпочитайте Browser Use. Берите Computer Use, когда задача зависит от состояния GUI, до которого CDP не дотягивается.

Дисплей рабочего пространства и VNC

Дисплей рабочего пространства — это окружение рабочего стола внутри контейнера рабочего пространства Bot. VNC/RFB — транспорт изображения и ввода, стоящий за этим рабочим столом, а сеанс рабочего стола в приложении использует WebRTC.

Главная ценность не в VNC как таковом. Важно то, что рабочее пространство может запускать headed Chrome/Chromium для сайтов и процедур входа, которые плохо работают в headless-режиме.

Подготовка рабочего стола Bot

1. Откройте страницу Bot.
2. Перейдите на вкладку Desktop.
3. Подготовьте или включите среду выполнения дисплея рабочего пространства.
4. Откройте сеанс дисплея со страницы настроек Bot или из чат-пространства.

Среда выполнения дисплея устанавливает или использует рабочий стол, VNC-сервер, браузер и шрифты, нужные для видимого сеанса. Доступность зависит от бэкенда рабочего пространства и образа.

Инструменты агента

Когда рабочий стол рабочего пространства включён, агент может пользоваться браузерными и «компьютерными» инструментами:

• browser_observe изучает текущую страницу браузера (snapshot, get_content, screenshot, evaluate и так далее).
• browser_action щёлкает, заполняет поля, печатает, нажимает клавиши и выполняет переходы в headed-браузере.
• browser_remote_session открывает CDP-эндпоинт браузера для сессий, управляемых кодом.
• computer_observe возвращает снимок дерева доступности рабочего стола (ref-ссылки вроде e3) или путь к сохранённому скриншоту.
• computer_action управляет рабочим столом. Он предпочитает ref из снимка и переходит на координаты (x, y), когда ref недоступен или действие через доступность не удалось.

Скриншоты не прикладываются автоматически

И browser_observe, и computer_observe сохраняют скриншоты по пути в рабочем пространстве, например /data/computer-screenshots/1716200000.jpg, и возвращают этот путь в результате инструмента. Изображение не попадает в разговор автоматически. Когда картинка действительно нужна, прочитайте путь инструментом чтения файлов рабочего пространства: так наблюдение остаётся дешёвым, а решение, стоит ли изображение своих токенов, остаётся за моделью.

Помощник доступности

Computer Use зависит от бинарника a11y-cli, установленного в /opt/memoh/toolkit/display/bin/a11y-cli, и пакета at-spi2-core рабочего пространства. Проверка среды выполнения дисплея сообщает a11y_available, чтобы приложение могло показать, работоспособен ли путь доступности. Когда AT-SPI недоступен, computer_action продолжает работать по «сырым» координатам, а computer_observe screenshot остаётся пригодным.

Эти инструменты — возможности среды выполнения рабочего пространства. Они не автоматизируют само настольное приложение на Electron.

Связанное

• Управление рабочим пространством Bot
• Бэкенды рабочих пространств