По мере того как корпоративные ИИ-агенты активно внедряются в производственные процессы, организации сталкиваются с растущей проблемой их надежности. Многие команды обнаруживают, что успех агентов в реальных условиях определяется не только производительностью больших языковых моделей (LLM — Large Language Models), лежащих в их основе. Долгосрочные рабочие процессы ИИ должны быть устойчивы к сбоям, сохранять свое состояние, восстанавливаться после отказов, эффективно управлять расходами на вывод (инференс) и координировать работу различных программных интерфейсов (API), инструментов и корпоративных систем.
Содержание
Переосмысление архитектуры ИИ-агентов
После первой волны, сосредоточенной на быстром развертывании, организациям теперь необходимо пересмотреть свои ранние реализации. Как отметила Прити Сомал, старший вице-президент по инженерии Temporal Technologies, на недавнем мероприятии AI Impact Series в Нью-Йорке, требуется переработка архитектур первых поколений с акцентом на оркестрацию рабочих процессов, наблюдаемость, управление и восстановление.
По словам Сомал, многие клиенты обращаются к компании, уже разрабатывая вторую версию своих ИИ-агентов. Они были вынуждены действовать очень быстро, не уделяя должного внимания базовой инфраструктуре. В результате системы дают сбои и требуют полной перестройки на надежном фундаменте. Для компании Temporal, специализирующейся на оркестрации рабочих процессов и чья инфраструктура существовала до нынешней волны агентского ИИ, этот сдвиг отражает более широкое осознание в корпоративной среде: производственные ИИ-системы нуждаются в надежном исполнении, управлении состоянием, прозрачности рабочих процессов и механизмах восстановления при отказе моделей или зависимых систем.
ИИ-агенты усиливают знакомые инженерные вызовы
Как подчеркнула Сомал, эти проблемы не являются принципиально новыми, но ИИ лишь значительно их усугубляет. Агентские системы добавляют дополнительную сложность, поскольку часто включают длительные многоэтапные процессы, охватывающие несколько сервисов, моделей, API и инструментов. Один рабочий процесс может вызывать несколько больших языковых моделей, обращаться к поисковым системам, запускать внешние приложения и управлять состоянием в течение многих часов или даже дней. Инженерные вопросы, по словам Сомал, часто возникают только после развертывания.
Эксперт пояснила, что разработчики создают агентов, но не задумываются о том, что произойдет, если агент даст сбой. Возникнет вопрос, потребуется ли запускать весь процесс заново. Для предприятий, работающих в условиях строгих бюджетных ограничений, этот ответ имеет критическое значение. Перезапуск рабочих процессов после сбоев может значительно увеличить расходы на инференс, повысить задержки и ухудшить пользовательский опыт.
Сомал сравнила текущий момент с ранним этапом внедрения облачных технологий в корпорациях, когда организации сразу переносили рабочие нагрузки, не учитывая необходимости перепроектирования базовых архитектур для их долгосрочной устойчивости. По её словам, этот «порыв к внедрению ИИ в мире, где приложения ещё не модернизированы», напоминает о том времени, когда компании просто переносили системы в облако, а затем осознавали, что тратят больше денег без получения ожидаемой ценности.
Почему долгосрочные агенты требуют новой архитектуры
Корпоративные рабочие процессы всё чаще задействуют агентов, выполняющихся в течение длительных периодов, иногда на протяжении многих часов, взаимодействуя с различными инструментами и системами. Проблемы надежности усугубляются, когда рабочие процессы сохраняются во времени, влияя как на состояние, так и на память — два понятия, которые в дискуссиях об ИИ часто трактуются как взаимозаменяемые.
Состояние относится к исполнению рабочего процесса: на каком шаге находится агент, какие действия уже выполнены и с какой точки должно возобновиться восстановление после сбоя. Память или контекст же фиксирует информацию, которую агент переносит между взаимодействиями или задачами.
Сомал объяснила, что «состояние агента связано с тем, какой шаг и какие действия были выполнены, и если что-то дает сбой, откуда следует восстанавливаться, в отличие от контекста и памяти». Это различие становится всё более важным, когда предприятия начинают выходить за рамки простых чат-ботов и переходят к более длительным бизнес-процессам. В качестве примера Сомал привела здравоохранение, где в Abridge* рабочие процессы обрабатывают визиты к врачу на нескольких этапах, включая обработку аудио, суммаризацию, вызовы моделей и генерацию итогового отчета после посещения.
По её словам, этот процесс не является монолитным. Оркестрируется множество шагов: запись и нарезка видео, создание резюме, вызов больших языковых моделей и генерация итогового отчета. Для предприятий это означает, что успешность агентов всё больше зависит от систем, способных выдерживать прерывания, координировать работу между сервисами и поддерживать непрерывность во времени.
Рост детерминированного стержня
Как заявила Сомал, полезной основой для проектирования корпоративного ИИ является концепция «детерминированного стержня», которая отражает роль Temporal. По её словам, он определяет желаемый путь выполнения, вызывая основной «мозг» системы и повторно обращаясь к нему, если ответа нет. Если «мозг» отвечает, но следующий шаг может завершиться неудачей, система возобновит работу с того момента, где произошел сбой.
В этой концепции языковая модель выступает как вероятностная система, производящая переменные результаты, в то время как программное обеспечение для оркестрации поддерживает надежность выполнения вокруг неё. И эта концепция важна, поскольку корпоративные системы всё чаще требуют согласованности, даже когда модели остаются недетерминированными. Рабочий процесс закупок, медицинское резюме, эскалация запроса в службу поддержки или процесс соответствия нормативным требованиям не могут просто незаметно завершиться сбоем из-за таймаута вызова модели или отказа внешней зависимости.
Как подчеркнула Сомал, самое важное — это обеспечить возможность восстановления и избежать избыточных затрат на токены в случае проблем.
Экономика расходов на токены и надежность
По мере того как руководители предприятий оценивают окупаемость инвестиций в ИИ, прозрачность затрат становится растущей проблемой. Долгосрочные агенты часто делают множество вызовов моделей в рамках сложных рабочих процессов, что может создавать непрозрачные схемы расходов. Сомал описала одно из операционных преимуществ оркестрации как прозрачность в отношении того, где накапливаются затраты. Поскольку рабочие процессы можно наблюдать шаг за шагом, команды могут видеть, где потребляются токены в процессе работы агента.
По словам эксперта, обеспечивается полная видимость всего процесса на единой панели управления. Это позволяет видеть, где именно расходуются токены в многоступенчатом агенте, вызывающем различные системы.
Восстановление рабочих процессов также влияет на экономическую эффективность. Без надежной оркестрации сбой на поздней стадии может вынудить организации перезапускать весь процесс с самого начала, включая все предыдущие вызовы моделей. Сомал отметила, что системы, разработанные с учетом восстановления, могут возобновлять выполнение с точки прерывания. Она добавила, что это позволяет избежать повторного запуска агента с первого шага, экономя затраты.
Потребность в стандартизации и экспертизе партнеров
Проблемы управления — ещё одна нарастающая тенденция по мере распространения агентского ИИ. Вместо того чтобы полностью внедрять готовые системы агентов, предприятия, по словам Сомал, всё чаще ищут стандартизированные внутренние фреймворки, которые обеспечивают защитные механизмы, сохраняя при этом гибкость. Такие фреймворки должны включать необходимые функции, такие как управление доступом, политики выбора моделей, системы идентификации, управление затратами и наблюдаемость.
Сомал отметила, что предприятия стремятся создавать такие «проторенные пути», поскольку готовые решения могут не подходить из-за множества других требований. По мере того как организации пересматривают развертывания первого поколения, подобные вызовы всё больше напоминают не проблему модели, а проблему системной инженерии. Компания Temporal готова помочь предприятиям сделать этот следующий шаг, отчасти потому, что для многих организаций её решения уже были частью более широких программ модернизации до того, как ИИ стал стратегическим приоритетом.
Сомал заключила, что Temporal уже присутствует в корпоративной среде, и расширение её применения на ИИ и агентские платформы выглядит очень естественным.
* — деятельность компании запрещена на территории РФ
