Безопасность при работе с ИИ — итоги
Кратко — что унести из раздела "Безопасность при работе с ИИ". Если пункт кажется туманным, откройте соответствующую главу или оглавление.
Главные тезисы
- ИИ не различает доверенные и враждебные инструкции в одном контексте — ответственность на человеке и организации.
- Free-чат — публичный канал; секреты и ПДн — только enterprise/ZDR или on-prem — Политика данных и выбор LLM-провайдера.
- Промпт-инъекция бывает прямой и косвенной через RAG, почту, веб — Безопасность при работе с ИИ, Безопасность RAG и MCP.
- Агент с root — катастрофа в один tool call; sandbox и HITL обязательны — Песочница и права ИИ-агента.
- OWASP LLM Top 10 2025 — каркас для ТЗ, ревью и тестов — OWASP LLM Top 10 для разработчика.
- Slopsquatting и отравленные модели — реальный supply chain для ИИ-разработки — Slopsquatting и supply chain для ИИ.
- Дипфейк бьёт по KYC и recovery, не только по паролям — Дипфейки, голос и биометрия, кейс 133.
- SOC + LLM — польза при private модели и без автономного block без аналитика — ИИ в SOC и на стороне защитника.
- Red team — регрессионный набор атак в CI, не разовая демо — Red team и тестирование LLM-приложений.
FAQ
Вопрос. Можно ли вставить фрагмент prod-кода в ChatGPT "только на минуту"?
Ответ. Только если код не содержит секретов и политика компании разрешает consumer-сервис. Иначе — корпоративный LLM или санитизация. Подробнее — Политика данных и выбор LLM-провайдера, Безопасность при работе с ИИ.
Вопрос. RAG по внутренней wiki — разве это не безопасно?
Ответ. Wiki может содержать injection и утечку через слабый ACL. Нужны фильтры, ACL на чанки, тесты — Безопасность RAG и MCP.
Вопрос. Cursor Agent удалил файлы — кто виноват?
Ответ. Оператор, выдавший агенту широкие права без sandbox. См. Песочница и права ИИ-агента.
Вопрос. Copilot предложил несуществующий npm-пакет — что делать?
Ответ. Не устанавливать вслепую; проверить репозиторий. Риск slopsquatting — Slopsquatting и supply chain для ИИ.
Вопрос. Как проверить бота перед релизом?
Ответ. Golden set атак, OWASP LLM, red team — Red team и тестирование LLM-приложений, OWASP LLM Top 10 для разработчика.
Куда дальше
| Тема | Раздел |
|---|---|
| Эксплуатация агентов | AgentOps |
| Классический инфобез | 8.07 |
| Ответственное ИИ для сотрудника | 6.06 / 3 |
| Вайб-кодинг и качество | 6.07 |
Самопроверка — чек-лист.