Перейти к основному содержимому

AgentOps — операции с ИИ-агентами

ОБЯЗАТЕЛЬНО
Инженеру Разработчику Архитектору

AgentOps — практики и инструменты для развёртывания, наблюдаемости, безопасности и сопровождения LLM-агентов в реальной эксплуатации. Если DevOps отвечает за путь кода от коммита до прода, AgentOps — за путь автономных решений модели от промпта до side effect — вызов API, коммит в Git, деплой, изменение инфраструктуры.

Агент — составная система — планировщик, контекст, tools, память, guardrails. Классический мониторинг "CPU и HTTP 500" не показывает, почему агент выбрал terraform destroy или трижды дернул платный enrichment API. AgentOps делает видимыми шаги рассуждения, цепочки tool calls и стоимость каждого run.

Смежные материалы

Архитектура агента — Агенты ИИ, три слоя RAG/MCP/агент — RAG, MCP и агенты — три слоя архитектуры. DevOps-база — CI/CD, IaC, мониторинг. AI-угол — MLOps, L1–3, AgentOps, L4–7.

Эволюция Ops-ландшафта​

ЭпохаПодходЧто автоматизировали
До 2010-хРазрозненные Ops-командыРучное администрирование, медленные релизы
Конец 2000-х — сейчасDevOpsCI/CD, IaC, collaboration dev + ops
2016–2024MLOpsВерсии моделей, датасеты, inference-пайплайны
2010-е — сейчасAIOpsML на логах и метриках IT: аномалии, корреляция инцидентов
2024–сейчасAgentOpsЖизненный цикл агентных систем: tracing, eval, guardrails, multi-agent

DevOps и MLOps закрывают детерминированный артеfact: код и веса модели. AIOps помогает людям быстрее разбирать инциденты в классической инфраструктуре. AgentOps нужен там, где сам исполнитель — вероятностная модель с tools — поддержка, codegen, trading, internal automation.

Суть AgentOps​

AgentOps покрывает весь жизненный цикл агента — от одного tool call до мультиагентного workflow.

Чем отличается от соседних дисциплин

ДисциплинаФокусТипичный артеfact
DevOpsСборка, тесты, деплой приложенияDocker-образ, Helm chart, pipeline YAML
MLOpsОбучение и inference моделиCheckpoint, feature store, batch job
AIOpsАнализ телеметрии IT-системAlert, root-cause hint для SRE
AgentOpsПоведение агента в runtimeTrace шагов, eval метрик, approval gate

ИИ-часть добавляет к DevOps-pipeline:

  • недетерминизм — один промпт, разные планы и коммиты;
  • стоимость по токенам и API — runaway loop может сжечь бюджет за часы;
  • autonomy — агент сам выбирает tools и порядок шагов;
  • shared accountability — владелец агента, провайдер LLM, автор MCP-сервера.

Инфраструктура, CI/CD и IaC остаются: агенты коммитят в тот же Git, проходят те же GitHub Actions, деплоят через те же стратегии выката. AgentOps надстраивается — observability агентских run, политики полномочий, eval перед merge.

Теоретическая рамка​

Ops как эволюция абстракций​

Каждая волна Ops инкапсулирует новый класс сложности:

DevOps решил проблему handoff между dev и ops через automation и shared ownership. MLOps — проблему non-code artifacts (data, weights). AIOps — volume телеметрии IT, непонятной человеку без ML-assisted RCA. AgentOps — agency: система сама выбирает действия в открытом мире API.

Подробно по слоям LLM-стека: MLOps L1–3, AgentOps L4–7.

Compound AI systems​

Современный агент — compound system (Andrew Ng, industry term): LLM + retriever + tools + policies + human. Отказ любого компонента — отказ системы. AgentOps трассирует dependency graph run'а, аналог distributed tracing в microservices (Service Mesh).

Accountability chain​

При инциденте "агент удалил данные" расследование проходит цепочку:

  1. Какой prompt version и rules?
  2. Какой tool и permission grant?
  3. Какой MCP server version?
  4. Какой model и provider policy?
  5. Был ли human approval?

Shared accountability означает: владелец продукта, platform team и vendor LLM совместно несут ответственность за границы системы — но operational owner один, с runbook.

Pipeline автоматизации AgentOps​

Непрерывный цикл из шести стадий (по AIMultiple — AgentOps):

СтадияЗадачаПример
ObserveЗапись LLM calls, tools, DB queries, межагентных сообщенийTrace в Langfuse
Collect metricsSuccess rate, latency, cost, qualityDashboard "$ за PR"
Detect issuesTimeout, guardrail violation, loopAlert на 50 tool calls подряд
Root causeСвязать с промптом, контекстом, координацией"Reviewer-агент не получил diff"
OptimizeУточнить prompt, workflow, model routingПереключить coder на более дешёвую модель
AutomateSelf-healing: retry, fallback promptAuto-rollback деплоя по метрикам SLO

Этот цикл дополняет, а не заменяет классический CI/CD: pipeline по-прежнему гоняет lint и тесты; AgentOps отвечает за качество и безопасность решений, которые агент принял до push.

Операционные вызовы​

Сложные артеfact'ы. Агент порождает и статику (workflow, goals в репозитории), и runtime (планы, промежуточные рассуждения). Нужна трассировка через все компоненты — см. Инструменты AgentOps.

Высокая автономия. Агент выбирает внешние API динамически. Без allow-list и MCP возможен вызов небезопасного endpoint.

Неконтролируемое потребление API. Lead-gen агент, который в цикле дергает enrichment API, за сутки может набить счёт на тысячи долларов. Обязательны budget caps, rate limits, max_iterations.

Недетерминизм. Два run с одним промптом — разные PR. Версионирование промптов, rules и skills, eval suite в CI.

Непрерывная эволюция. Агент "учится" на feedback. Нужны regression eval и human-in-the-loop на деструктивных операциях — см. Опасные скрипты.

Эпистемологический разрыв​

Оператор видит outputs (коммит, API response), модель оперирует statistical patterns. Post-mortem без trace сводится к guesswork. AgentOps — попытка построить operational epistemology: какие evidence достаточны, чтобы считать run "понятным" и "безопасным для повтора".

Как начать​

  1. Зафиксировать контекст — AGENTS.md, rules, skills в репозитории.
  2. Подключить tracing — хотя бы один run log на сессию (Инструменты AgentOps).
  3. Ограничить полномочия — sandbox shell, git_write только на feature-ветках, deploy только через CI после merge.
  4. Встроить eval в pipeline — smoke-тесты на golden tasks перед auto-merge.
  5. Human-in-the-loop на prod, секретах, force push, IaC apply.

Дальше по главе: мультиагентные команды · контекст и среда · инструменты.

См. также​

Содержание