AgentOps — операции с ИИ-агентами

ОБЯЗАТЕЛЬНО

Инженеру Разработчику Архитектору

AgentOps — практики и инструменты для развёртывания, наблюдаемости, безопасности и сопровождения LLM-агентов в реальной эксплуатации. Если DevOps отвечает за путь кода от коммита до прода, AgentOps — за путь автономных решений модели от промпта до side effect: вызов API, коммит в Git, деплой, изменение инфраструктуры.

Агент — составная система: планировщик, контекст, tools, память, guardrails. Классический мониторинг «CPU и HTTP 500» не показывает, почему агент выбрал terraform destroy или трижды дернул платный enrichment API. AgentOps делает видимыми шаги рассуждения, цепочки tool calls и стоимость каждого run.

Смежные материалы

Архитектура агента — Агенты ИИ, три слоя RAG/MCP/агент — 121. DevOps-база — CI/CD, IaC, мониторинг. AI-угол — MLOps, L1–3, AgentOps, L4–7.

---

Эволюция Ops-ландшафта

Эпоха	Подход	Что автоматизировали
До 2010-х	Разрозненные Ops-команды	Ручное администрирование, медленные релизы
Конец 2000-х — сейчас	DevOps	CI/CD, IaC, collaboration dev + ops
2016–2024	MLOps	Версии моделей, датасеты, inference-пайплайны
2010-е — сейчас	AIOps	ML на логах и метриках IT: аномалии, корреляция инцидентов
2024–сейчас	AgentOps	Жизненный цикл агентных систем: tracing, eval, guardrails, multi-agent

DevOps и MLOps закрывают детерминированный артеfact: код и веса модели. AIOps помогает людям быстрее разбирать инциденты в классической инфраструктуре. AgentOps нужен там, где сам исполнитель — вероятностная модель с tools: поддержка, codegen, trading, internal automation.

---

Суть AgentOps

AgentOps покрывает весь жизненный цикл агента — от одного tool call до мультиагентного workflow.

Чем отличается от соседних дисциплин

Дисциплина	Фокус	Типичный артеfact
DevOps	Сборка, тесты, деплой приложения	Docker-образ, Helm chart, pipeline YAML
MLOps	Обучение и inference модели	Checkpoint, feature store, batch job
AIOps	Анализ телеметрии IT-систем	Alert, root-cause hint для SRE
AgentOps	Поведение агента в runtime	Trace шагов, eval метрик, approval gate

ИИ-часть добавляет к DevOps-pipeline:

• недетерминизм — один промпт, разные планы и коммиты;
• стоимость по токенам и API — runaway loop может сжечь бюджет за часы;
• autonomy — агент сам выбирает tools и порядок шагов;
• shared accountability — владелец агента, провайдер LLM, автор MCP-сервера.

Инфраструктура, CI/CD и IaC остаются: агенты коммитят в тот же Git, проходят те же GitHub Actions, деплоят через те же стратегии выката. AgentOps надстраивается — observability агентских run, политики полномочий, eval перед merge.

---

Теоретическая рамка

Ops как эволюция абстракций

Каждая волна Ops инкапсулирует новый класс сложности:

DevOps решил проблему handoff между dev и ops через automation и shared ownership. MLOps — проблему non-code artifacts (data, weights). AIOps — volume телеметрии IT, непонятной человеку без ML-assisted RCA. AgentOps — agency: система сама выбирает действия в открытом мире API.

Подробно по слоям LLM-стека: MLOps L1–3, AgentOps L4–7.

Compound AI systems

Современный агент — compound system (Andrew Ng, industry term): LLM + retriever + tools + policies + human. Отказ любого компонента — отказ системы. AgentOps трассирует dependency graph run'а, аналог distributed tracing в microservices (Service Mesh).

Accountability chain

При инциденте «агент удалил данные» расследование проходит цепочку:

1. Какой prompt version и rules?
2. Какой tool и permission grant?
3. Какой MCP server version?
4. Какой model и provider policy?
5. Был ли human approval?

Shared accountability означает: владелец продукта, platform team и vendor LLM совместно несут ответственность за границы системы — но operational owner один, с runbook.

---

Pipeline автоматизации AgentOps

Непрерывный цикл из шести стадий (по AIMultiple — AgentOps):

Стадия	Задача	Пример
Observe	Запись LLM calls, tools, DB queries, межагентных сообщений	Trace в Langfuse
Collect metrics	Success rate, latency, cost, quality	Dashboard «$ за PR»
Detect issues	Timeout, guardrail violation, loop	Alert на 50 tool calls подряд
Root cause	Связать с промптом, контекстом, координацией	«Reviewer-агент не получил diff»
Optimize	Уточнить prompt, workflow, model routing	Переключить coder на более дешёвую модель
Automate	Self-healing: retry, fallback prompt	Auto-rollback деплоя по метрикам SLO

Этот цикл дополняет, а не заменяет классический CI/CD: pipeline по-прежнему гоняет lint и тесты; AgentOps отвечает за качество и безопасность решений, которые агент принял до push.

---

Операционные вызовы

Сложные артеfact'ы. Агент порождает и статику (workflow, goals в репозитории), и runtime (планы, промежуточные рассуждения). Нужна трассировка через все компоненты — см. Инструменты AgentOps.

Высокая автономия. Агент выбирает внешние API динамически. Без allow-list и MCP возможен вызов небезопасного endpoint.

Неконтролируемое потребление API. Lead-gen агент, который в цикле дергает enrichment API, за сутки может набить счёт на тысячи долларов. Обязательны budget caps, rate limits, max_iterations.

Недетерминизм. Два run с одним промптом — разные PR. Версионирование промптов, rules и skills, eval suite в CI.

Непрерывная эволюция. Агент «учится» на feedback. Нужны regression eval и human-in-the-loop на деструктивных операциях — см. Опасные скрипты.

Эпистемологический разрыв

Оператор видит outputs (коммит, API response), модель оперирует statistical patterns. Post-mortem без trace сводится к guesswork. AgentOps — попытка построить operational epistemology: какие evidence достаточны, чтобы считать run «понятным» и «безопасным для повтора».

---

Как начать

1. Зафиксировать контекст — AGENTS.md, rules, skills в репозитории.
2. Подключить tracing — хотя бы один run log на сессию (2154).
3. Ограничить полномочия — sandbox shell, git_write только на feature-ветках, deploy только через CI после merge.
4. Встроить eval в pipeline — smoke-тесты на golden tasks перед auto-merge.
5. Human-in-the-loop на prod, секретах, force push, IaC apply.

Дальше по главе: мультиагентные команды · контекст и среда · инструменты.

---

См. также

• MLOps и LLM-стек — слои 1–3
• AgentOps и LLM-стек — слои 4–7
• Вайб-кодинг — риски merge без review
• Семь слоёв LLM-стека — архитектурная карта
• AIMultiple — Top AgentOps Tools