Инструменты AgentOps

ОБЯЗАТЕЛЬНО

Инженеру Разработчику

AgentOps-tools — платформы для tracing, monitoring, evaluation, prompt management и guardrails агентных систем. Многие выросли из LLMOps (LangSmith, Weights & Biases) и добавили session replay, multi-agent graphs, tool telemetry.

Сводка по AIMultiple — Top AgentOps Tools (2026); детали продуктов меняются — проверяйте docs вендора перед выбором.

Обзор дисциплины — AgentOps.

---

Ключевые возможности

Capability	Зачем агенту
Tracing	Полный путь: prompt → LLM → tool → observation → next step
Monitoring	Latency, error rate, cost per run, tokens
Evaluation	Regression на golden tasks; оценка цепочки, не только финального текста
Prompt management	Версии, A/B, защита от injection и утечки секретов
Feedback	Explicit (👍/👎) и implicit (accept/reject diff)
Guardrails	Blocklist tools, PII filter, budget caps
Data integration	Codebase, logs, metrics в одном view для RCA

Tracing отличается от классического APM: нужны LLM spans (model, tokens), tool spans (args, result), agent-to-agent edges.

---

Core AgentOps-платформы

Платформы «agent-first» — lifecycle агента от dev до prod.

Инструмент	Фокус	Лицензия / хостинг
AgentOps	Session replay, timeline LLM+tools, multi-agent dashboard	SaaS, SDK Python/TS
Langfuse	Open-source tracing, evals, prompt mgmt, self-host	OSS + cloud
LangSmith	LangChain ecosystem, datasets, eval, monitoring	Commercial
Arize Phoenix	LLM eval, embeddings drift, OpenTelemetry	OSS + enterprise
Helicone	LLM proxy, cost tracking, logging	SaaS
Braintrust	Eval + logging + scoring в CI	SaaS
RagaAI Catalyst	Multi-agent trace, prompt library, analytics	OSS SDK + dashboard
AgentNeo	Agent debugging, workflow viz	OSS

---

LLMOps-платформы с AgentOps-функциями

Изначально для LLM inference; добавили workflow trace и limited agent monitoring.

Инструмент	Заметки
Weights & Biases Weave	Traces, scorers, production monitoring
MLflow Tracing	Unified trace store для GenAI
Azure AI Foundry	Agent Service, eval, content safety
OpenTelemetry GenAI	Стандарт семантики spans — основа vendor-neutral стека

---

Специализированные и вспомогательные

Инструмент	Назначение
Portkey	Gateway, routing, fallbacks между моделями
LiteLLM	Unified API + logging hooks
PromptLayer	Prompt versioning, request logging
Humanloop	Eval, human review workflows
Patronus AI	Automated eval, hallucination detection
Guardrails AI	Validators на output

Для корреляции с классическим стеком — экспорт traces в Tempo, Prometheus, Практикум Prometheus и Grafana, Практикум Zabbix, ELK.

---

Как выбрать

Критерий	Вопрос
Self-host vs SaaS	Данные промптов выходят в облако вендора?
Framework lock-in	Только LangChain или OpenTelemetry-native?
Multi-agent	Нужен graph нескольких агентов на одном trace?
CI integration	Eval gate в GitHub Actions?
Cost model	Per seat, per trace, per token proxy?

Минимальный старт для команды в Cursor

1. Langfuse self-host или AgentOps SaaS — tracing IDE/cloud agents.
2. Golden-file eval в CI (3–5 задач из реальных багов).
3. Rules и AGENTS.md как «config as code» для поведения.

---

Минимальная интеграция (Python)

import agentops

agentops.init(api_key="...", tags=["repo:my-app", "env:ci"])

# дальше — ваш LangChain / OpenAI Agents SDK / custom loop
# SDK автоматически пишет spans в dashboard

Langfuse (OpenTelemetry-совместимый):

from langfuse import Langfuse

langfuse = Langfuse()
trace = langfuse.trace(name="fix-login-bug")
span = trace.span(name="tool:grep", input={"pattern": "AuthError"})
# ...
span.end(output={"files": 3})

Привязывайте trace_id к commit и PR в описании merge — связка AgentOps ↔ DevOps.

---

Guardrails и human-in-the-loop

Инструменты guardrails задают policy engine поверх агента:

• block tool shell если команда matches rm -rf;
• redact PII перед отправкой в external LLM;
• pause workflow до approve в UI.

Production ops без human-in-the-loop на state-changing actions — антипаттерн (Skyflo — HITL).

---

См. также

• AgentOps — обзор
• Контекст агента
• Наблюдаемость и автоматизация
• AIMultiple — AgentOps