Трансформеры и NLP — итоги

НЕ ОБЯЗАТЕЛЬНОДЛЯ НОВИЧКОВ

Инженеру

Кратко — что стоит унести из раздела "Трансформеры и NLP". Если пункт кажется туманным, откройте соответствующую главу или оглавление.

---

FAQ — Часто задаваемые вопросы

Типичные трудности при первом fine-tuning, запуске Hub-моделей и переносе NLP в прод. Ниже — практические кейсы и запросы из поиска (трансформер, BERT, Hugging Face, fine-tuning). Краткий ответ и ссылка в главу; определения — в чек-листе.

Вопрос. При fine-tuning BERT вылетает CUDA out of memory на ноутбуке с 8 GB.

Ответ. Уменьшите batch size, включите gradient accumulation, короче max_length, попробуйте smaller checkpoint (DistilBERT) или LoRA вместо full fine-tune. Подробнее здесь — глава 4.

Вопрос. Загрузил модель с Hub — tokenizer выдаёт [UNK] на русских словах.

Ответ. Tokenizer и weights должны быть из одного чекпоинта; для русского берите ru/multilingual модель, не англ-only BERT-base. Подробнее здесь — глава 6, глава 1.

Вопрос. Классификатор на русских отзывах отвечает по-английски или смешивает языки.

Ответ. Проверьте чекпоинт и обучающую выборку; decoder-only без instruction-tuning тянет к доминирующему языку pretrain. Для классификации чаще encoder + head. Подробнее здесь — глава 5, глава 6.

Вопрос. pipeline("sentiment-analysis") на CPU обрабатывает одну строку секунду — в прод не влезаем.

Ответ. Смотрите ONNX, batching, smaller model, GPU inference и кэш эмбеддингов; pipeline удобен для прототипа, не для высокого QPS. Подробнее здесь — глава 6.

Вопрос. После двух эпох accuracy 99% на train, на val — 60%.

Ответ. Классическое переобучение: ранняя остановка, dropout, больше данных, меньше эпох, проверьте утечку меток train→val. Подробнее здесь — глава 4.

Вопрос. Метрика высокая, но модель всегда предсказывает один класс (всё "негатив").

Ответ. Дисбаланс классов: смотрите F1, confusion matrix, веса классов, не accuracy. Подробнее здесь — глава 1, глава 4.

Вопрос. Документ на 50 страниц "обрезался", модель ответила по первому абзацу.

Ответ. Сработал max_length токенизатора; для длинных текстов — чанкинг, Longformer/иерархия, RAG вместо одного forward. Подробнее здесь — глава 2, глава 5.

Вопрос. Для NER взяли GPT — сущности не выделяются стабильно.

Ответ. Для token-level задач логичнее encoder + token classification head (BERT-подобные), не decoder-only без дообучения. Подробнее здесь — глава 4, глава 5.

Вопрос. from_pretrained падает с SSL или timeout за корпоративным прокси.

Ответ. Скачайте чекпоинт офлайн (mirror, HF_HUB_OFFLINE, локальный cache), согласуйте с ИБ политику egress. Подробнее здесь — глава 6.

Вопрос. Loss не падает, grad None — модель "заморожена".

Ответ. Проверьте, что голова и нужные слои с requires_grad=True, learning rate не нулевой, labels совпадают с выходом. Подробнее здесь — глава 4.

Вопрос. Сохранили LoRA-адаптер, при загрузке в inference веса не подхватились.

Ответ. Загружайте base + adapter через PEFT API, те же target_modules, что при обучении. Подробнее здесь — глава 4.

Вопрос. BLEU высокий, перевод для носителя нечитаемый.

Ответ. Автоматическая метрика не равна качеству; добавьте human eval и domain-specific тесты. Подробнее здесь — глава 1.

Вопрос. Поиск по ключевому слову не находит слово в другой словоформе — BM25 vs embeddings?

Ответ. Subword и эмбеддинги ловят семантику; для точных юридических формулировок иногда нужен гибрид с лексическим поиском. Подробнее здесь — глава 1, глава 6.

Вопрос. Учебный код трансформера без positional encoding — loss не сходится.

Ответ. Без позиции self-attention перестановочно инвариантен — порядок токенов теряется. Добавьте sinusoidal или learned PE. Подробнее здесь — глава 2, глава 3.

Вопрос. При обучении decoder ошибка про размерность mask — "размер тензоров не совпадает".

Ответ. Проверьте causal mask и длину последовательности; типичная ошибка новичка — применить bidirectional mask к GPT-like блоку. Подробнее здесь — глава 2, глава 3.

Вопрос. Mixed precision (fp16) — loss стал NaN.

Ответ. Используйте GradScaler, снизьте lr, проверьте overflow в attention; иногда стабильнее bf16 на поддерживаемом GPU. Подробнее здесь — глава 3, PyTorch.

Вопрос. Лицензия модели на Hub разрешает research only — можно в коммерческий чат-бот?

Ответ. Прочитайте LICENSE чекпоинта; при сомнении юрист или открытая commercial-friendly модель. Подробнее здесь — глава 6.

Вопрос. spaCy transformer pipeline падает после обновления пакета.

Ответ. Зафиксируйте версии spacy, transformers, torch в одном venv; пересоберите wheel под модель. Подробнее здесь — глава 6.

Вопрос. Semantic search по FAQ возвращает нерелевантные русские ответы.

Ответ. Проверьте модель эмбеддингов (multilingual/ru), качество чанков, порог similarity; возможно нужен reranker. Подробнее здесь — глава 6.

Вопрос. Whisper на тишине "галлюцинирует" фразы.

Ответ. VAD/порог энергии, no_speech_threshold, не кормите пустые сегменты; постобработка длины. Подробнее здесь — глава 8.

Вопрос. ViT на фото 4000×3000 без ресайза — ошибка или мусор на выходе.

Ответ. ViT ожидает фиксированный размер патчей (часто 224); ресайз/center crop в препроцессинге обязателен. Подробнее здесь — глава 8.

Вопрос. Туториал зовёт в GPT-3 completion API — endpoint уже deprecated.

Ответ. Сверяйтесь с актуальной документацией провайдера; в курсе смотрите LLM и тренды. Подробнее здесь — глава 7.

Вопрос. Реализовал attention "как в статье", но размерности Q·Kᵀ не сходятся.

Ответ. Проверьте транспонирование, d_k, batch и число голов; в multi-head проекции делаются до split. Подробнее здесь — глава 3.

Вопрос. DistilBERT быстрый, но точность на домене медицины просела неприемлемо.

Ответ. Дистилляция жертвует ёмкостью; для узкого домена — domain-adaptive pretrain или полная модель + LoRA. Подробнее здесь — глава 5.

Вопрос. Multilingual модель хуже, чем ru-only на поддержке на русском.

Ответ. Для одного языка часто выигрывает специализированный чекпоинт; multilingual — компромисс под много языков. Подробнее здесь — глава 6.

Вопрос. Вывели модель в прод без latency-теста — под нагрузкой очередь растёт.

Ответ. Пройдите чек-лист перед продом из статьи 6: batch, квантизация, лимиты длины, мониторинг. Подробнее здесь — глава 6.

Вопрос. Смешали train и test из одного корпуса — метрики "слишком хорошие".

Ответ. Утечка данных между split; дубликаты и близкие документы нужно разносить по fold. Подробнее здесь — глава 1, глава 4.

Вопрос. Хотим summarization — коллега тянет BERT, вы — GPT. Кто прав?

Ответ. Для генерации текста — encoder-decoder (T5/BART) или decoder; BERT не генерирует последовательность "с нуля". Подробнее здесь — глава 5.

Вопрос. После GLUE "всё решено" — зачем нам свой fine-tune на внутренних тикетах?

Ответ. Бенчмарки — общий ориентир; домен, сленг поддержки и метки вашей компании требуют своего train/eval. Подробнее здесь — глава 7.

Вопрос. Что такое трансформер (Transformer) в нейросетях?

Ответ. Архитектура на self-attention, параллельно обрабатывающая последовательность; основа BERT, GPT и современных LLM. Подробнее здесь — глава 2.

Вопрос. Attention mechanism — объяснение простыми словами.

Ответ. Механизм весов "на что смотреть" в тексте при обработке каждого токена; в трансформере — scaled dot-product attention и несколько голов. Подробнее здесь — глава 2, глава 3.

Вопрос. BERT и GPT — в чём разница?

Ответ. BERT — encoder, двунаправленный контекст, классификация и NER; GPT — decoder, генерация текста слева направо. Подробнее здесь — глава 5.

Вопрос. Что такое NLP (обработка естественного языка)?

Ответ. Задачи над текстом: классификация, NER, перевод, суммаризация, поиск, диалог — от корпусов и метрик до моделей. Подробнее здесь — глава 1.

Вопрос. Как дообучить BERT на своих данных?

Ответ. Подготовьте размеченный датасет, добавьте classification head, запустите fine-tuning (Trainer или свой цикл), валидируйте на hold-out. Подробнее здесь — глава 4.

Вопрос. Hugging Face Transformers — с чего начать?

Ответ. Установите transformers, выберите чекпоинт на Hub, попробуйте pipeline или AutoModel + tokenizer; для русского — ru/multilingual модели. Подробнее здесь — глава 6.

Вопрос. Fine-tuning нейросети — что это значит?

Ответ. Дообучение предобученных весов на вашей задаче вместо обучения с нуля. Подробнее здесь — глава 4, transfer learning.

Вопрос. LoRA — что это и зачем при дообучении LLM?

Ответ. Parameter-efficient fine-tuning: обучается маленький адаптер, базовые веса заморожены — меньше VRAM и быстрее итерации. Подробнее здесь — глава 4.

Вопрос. Токенизация BPE / WordPiece — зачем subword?

Ответ. Редкие и новые слова разбиваются на части — меньше UNK, один словарь для многих языков. Подробнее здесь — глава 1.

Вопрос. Encoder и decoder в трансформере — в чём разница?

Ответ. Encoder смотрит на всю последовательность; decoder генерирует с causal mask, не подглядывая в будущее. Seq2seq (T5) объединяет оба. Подробнее здесь — глава 2.

Вопрос. Какую модель выбрать для классификации текста?

Ответ. Обычно encoder-only (BERT, RuBERT, DistilBERT) + head; для генерации меток текстом — T5 или GPT с дообучением. Подробнее здесь — глава 5, глава 6.

Вопрос. Русская BERT модель на Hugging Face — какие есть?

Ответ. В статье 6 перечислены ru/multilingual чекпоинты (cointegrated/rubert-tiny2, DeepPavlov и др.) под классификацию и эмбеддинги. Подробнее здесь — глава 6.

Вопрос. Как написать трансформер на PyTorch с нуля для обучения?

Ответ. Реализуйте attention, FFN, residual, LayerNorm и encoder block — пошагово в статье 3 с минимальной моделью на PyTorch. Подробнее здесь — глава 3, PyTorch.

Вопрос. T5 и GPT — когда что использовать?

Ответ. T5 (encoder-decoder) — text-to-text (перевод, суммаризация, QA в одном формате); GPT — автрегрессивная генерация и чат после instruction-tuning. Подробнее здесь — глава 5.

Вопрос. Positional encoding в трансформере — зачем?

Ответ. Attention сам по себе не знает порядок токенов; PE добавляет информацию о позиции. Подробнее здесь — глава 2.

Вопрос. Self-attention и cross-attention — отличие.

Ответ. Self — Q, K, V из одной последовательности; cross — Q из decoder, K/V из encoder (перевод). Подробнее здесь — глава 2.

Вопрос. RNN LSTM или трансформер — что лучше для текста в 2025?

Ответ. Для большинства NLP-задач и длинных зависимостей — трансформеры; RNN остаются в узких legacy и ресурсных крайних случаях. Подробнее здесь — глава 1, глава 2.

Вопрос. In-context learning и GPT-3 — что это?

Ответ. Модель решает задачу по примерам в промпте без обновления весов; масштаб параметров усилил эффект. Подробнее здесь — глава 7, LLM.

Вопрос. OpenAI Whisper — как расшифровать аудио в текст?

Ответ. Encoder аудио + decoder текста; на Hub есть готовые чекпоинты, важны VAD и пороги на тишине. Подробнее здесь — глава 8.

Вопрос. Vision Transformer (ViT) — как нейросеть "видит" картинку?

Ответ. Изображение режут на патчи, патчи — токены для трансформера. Подробнее здесь — глава 8.

Вопрос. Sentence Transformers — семантический поиск по тексту.

Ответ. Модель выдаёт вектор предложения; поиск по cosine similarity — основа FAQ-ботов и RAG. Подробнее здесь — глава 6.

Вопрос. Метрика BLEU для машинного перевода — что показывает?

Ответ. Перекрытие n-грамм с эталоном; удобна для сравнения систем, но не заменяет человеческую оценку качества. Подробнее здесь — глава 1.

Вопрос. GLUE и SuperGLUE — что это за бенчмарки NLP?

Ответ. Наборы задач для сравнения моделей в эпоху BERT; полезны для истории, для продакшена нужен свой eval. Подробнее здесь — глава 7.

Вопрос. Длинный документ не влезает в BERT 512 токенов — что делать?

Ответ. Longformer, sliding window, иерархия, RAG по чанкам — см. обзор long-context. Подробнее здесь — глава 5.

Вопрос. Hugging Face pipeline пример для анализа тональности.

Ответ. pipeline("sentiment-analysis", model="...") на одной строке — старт за минуты; для прода — batching и свой inference. Подробнее здесь — глава 6.

Вопрос. CLIP — как связаны картинка и текст без обучения классификатора?

Ответ. Совместное обучение эмбеддингов в одном пространстве; поиск по текстовому запросу среди изображений. Подробнее здесь — глава 8.

---

Что запомнить

Маршрут раздела

Этап	Содержание	Глава
Задачи NLP	Корпуса, метрики, baseline	1
Transformer	Attention, encoder/decoder, маски	2
Практика	Блоки на PyTorch, causal mask	3
Адаптация	Fine-tuning, LoRA, heads	4
Семейства	BERT, GPT, T5, long-context	5
Hub	Pipelines, русские чекпоинты, прод	6
Контекст	Тренды 2018–2021, мультимодальность	7, 8

Три принципа

1. Архитектура под задачу — encoder для классификации/NER, decoder/seq2seq для генерации.
2. Чекпоинт + tokenizer + препроцессинг — единый контракт, иначе тихие баги.
3. Метрики на val и в проде — offline score не гарантирует пользу пользователю.

---

Куда идти дальше

Цель	Раздел
LLM и чат	Большие языковые модели
RAG и агенты	RAG, MCP и агенты
Эксплуатация	AgentOps и MLOps

Проверьте себя — Чек-лист самопроверки.

---