О разделе
ИИ ускоряет разработку, анализ данных и поддержку пользователей — но добавляет новый класс угроз: утечки через чаты и API, промпт-инъекции, агенты с доступом к терминалу, отравленные модели на Hugging Face и обход ИИ-сканеров в репозиториях пакетов.
Раздел собирает практику безопасности для разработчиков, инженеров и команд ИБ. Базовые понятия CIA, OWASP и жизненный цикл атаки — в информационной безопасности; здесь фокус на LLM, агентах и ML-инфраструктуре.
Рекомендуемый порядок
- Безопасность при работе с ИИ — обзор угроз и чек-лист.
- OWASP LLM Top 10 — каркас рисков 2025.
- Безопасность RAG и MCP — индекс, tools, malicious MCP.
- Песочница и права агента — Docker, least privilege, HITL.
- Политика данных и провайдер — ZDR, классификация, enterprise.
- Red team и тестирование — golden set атак, CI.
- Slopsquatting и supply chain — пакеты, модели, PyPI.
- Дипфейки и биометрия — KYC, vishing, recovery.
- ИИ в SOC — triage, логи, границы автономии.
- Итоги и чек-лист.
Краткие правила для сотрудника — Ответственное использование ИИ. Риски "кода по наитию" — вайб-кодинг. Эксплуатация агентов в prod — AgentOps.
Безопасность при работе с ИИ
Утечки через чаты и API, промпт-инъекции, секреты в промптах, агенты с root, хакеры с ИИ, Dark LLM, supply chain ML и чек-лист защиты.
OWASP LLM Top 10 для разработчика
Десять критических рисков OWASP для LLM-приложений (2025) — что означает каждый пункт и какие контрмеры закладывать в архитектуру и код.
Безопасность RAG и MCP
Угрозы retrieval и Model Context Protocol — отравление индекса, косвенные промпт-инъекции, malicious MCP-серверы и контрмеры для разработчика.
Песочница и права ИИ-агента
Как запускать Cursor Agent, Claude Code и OpenInterpreter без root на хосте — Docker, VM, least privilege, подтверждение деструктивных команд.
Политика данных и выбор LLM-провайдера
Классификация данных для LLM, Zero Data Retention, free vs enterprise, обучение на промптах и матрица «тип данных — допустимый сервис».
Red team и тестирование LLM-приложений
Как тестировать чат-ботов и агентов на промпт-инъекции, jailbreak, утечку system prompt и регрессию в CI — наборы атак и eval.
Slopsquatting и supply chain для ИИ
Галлюцинации имён пакетов, отравленные модели на Hugging Face, Pickle vs safetensors и обход ИИ-сканеров в PyPI.
Дипфейки, голос и биометрия
Подделка лица и голоса для KYC, vishing и обхода liveness — угрозы для auth и восстановления аккаунта и меры защиты.
ИИ в SOC и на стороне защитника
LLM для triage алертов, суммаризации логов и фишинг-детекта — польза, риски утечки SIEM-данных и границы автономии.
Безопасность при работе с ИИ — итоги
Краткие итоги раздела 6.10 — угрозы LLM, OWASP, RAG, MCP, агенты, supply chain и практика для разработчика и ИБ.
Безопасность при работе с ИИ — чек-лист
Вопросы для самопроверки по разделу 6.10 — OWASP LLM, RAG, MCP, агенты, supply chain и политика данных.
Безопасность при работе с ИИ — о разделе
Утечки данных, промпт-инъекции, агенты с правами root, атаки на цепочку поставок ML и практические правила для разработчиков и команд ИБ.
В подборках
Статья входит в тематические подборки и блок «С чего начать?» на главной. Соседние шаги того же маршрута:
ИИ для разработчика — Вайб-кодинг, AgentOps и MLOps — о разделе, Информационная безопасность — о разделе, Ответственное использование ИИ и Copilot.