Безопасность при работе с ИИ
Утечки через чаты и API, промпт-инъекции, секреты в промптах, агенты с root, хакеры с ИИ, Dark LLM, supply chain ML и чек-лист защиты.
OWASP LLM Top 10 для разработчика
Десять критических рисков OWASP для LLM-приложений (2025) — что означает каждый пункт и какие контрмеры закладывать в архитектуру и код.
Безопасность RAG и MCP
Угрозы retrieval и Model Context Protocol — отравление индекса, косвенные промпт-инъекции, malicious MCP-серверы и контрмеры для разработчика.
Песочница и права ИИ-агента
Как запускать Cursor Agent, Claude Code и OpenInterpreter без root на хосте — Docker, VM, least privilege, подтверждение деструктивных команд.
Политика данных и выбор LLM-провайдера
Классификация данных для LLM, Zero Data Retention, free vs enterprise, обучение на промптах и матрица «тип данных — допустимый сервис».
Red team и тестирование LLM-приложений
Как тестировать чат-ботов и агентов на промпт-инъекции, jailbreak, утечку system prompt и регрессию в CI — наборы атак и eval.
Slopsquatting и supply chain для ИИ
Галлюцинации имён пакетов, отравленные модели на Hugging Face, Pickle vs safetensors и обход ИИ-сканеров в PyPI.
Дипфейки, голос и биометрия
Подделка лица и голоса для KYC, vishing и обхода liveness — угрозы для auth и восстановления аккаунта и меры защиты.
ИИ в SOC и на стороне защитника
LLM для triage алертов, суммаризации логов и фишинг-детекта — польза, риски утечки SIEM-данных и границы автономии.
Безопасность при работе с ИИ — итоги
Краткие итоги раздела 6.10 — угрозы LLM, OWASP, RAG, MCP, агенты, supply chain и практика для разработчика и ИБ.
Безопасность при работе с ИИ — чек-лист
Вопросы для самопроверки по разделу 6.10 — OWASP LLM, RAG, MCP, агенты, supply chain и политика данных.
Безопасность при работе с ИИ — о разделе
Утечки данных, промпт-инъекции, агенты с правами root, атаки на цепочку поставок ML и практические правила для разработчиков и команд ИБ.