Компания OpenAI представила масштабное обновление функции Computer Use для настольного приложения Codex на базе macOS. Теперь интеллектуальный агент способен выполнять задачи и взаимодействовать с программами, даже если компьютер заблокирован или его экран выключен.
Дистанционное выполнение задач со смартфона
Согласно официальному сообщению разработчиков, пользователи получили возможность отправлять инструкции Codex прямо со своих мобильных устройств. ИИ-агент может самостоятельно запускать процессы на Mac, находясь в режиме ожидания. При активации функции на заблокированном экране компьютера появляется специальный оверлей с уведомлением о том, что система используется Codex. Для возврата к ручному управлению достаточно нажать любую клавишу или кликнуть мышью.
Для активации новых возможностей пользователю необходимо установить плагин Computer Use и предоставить приложению доступ к записи экрана и функциям универсального доступа (Accessibility). После настройки Codex получает права на имитацию кликов, ввод текста, навигацию по меню и взаимодействие с буфером обмена в тех программах, доступ к которым был явно разрешен владельцем.
Сфера применения и технические ограничения
В обзоре функционала отмечается, что инструмент особенно полезен для автоматизации действий, недоступных через стандартную командную строку. По словам экспертов, Codex упрощает выполнение следующих задач:
- воспроизведение и отладка ошибок, возникающих только в графическом интерфейсе (GUI);
- дистанционное изменение глубоких настроек приложений;
- запуск сложных рабочих процессов внутри десктопного ПО в процессе разработки.
По соображениям безопасности ИИ запрашивает разрешение перед началом работы с каждым новым приложением. Для упрощения работы предусмотрена опция «Разрешать всегда» для конкретного софта. На текущем этапе функция остается недоступной для пользователей в Великобритании, Швейцарии и странах Европейской экономической зоны. Кроме того, наложены строгие ограничения: Codex не может управлять Терминалом, собственной оболочкой и системными запросами администратора.
Дополнительные инструменты для разработчиков
Помимо автономного режима, в Codex интегрирована функция Appshots. С помощью горячих клавиш она позволяет мгновенно переносить скриншот и текстовое содержимое активного окна Mac в диалог с нейросетью. Также был представлен режим /goal, предназначенный для длительных проектов: он позволяет ИИ-агенту продолжать работу над поставленной целью в течение нескольких часов или суток, сохраняя контекст задачи.
