NLP и работа с текстом
Обработка естественного языка — задачи, корпуса, токенизация, метрики и типичный pipeline от сырого текста до модели.
Что такое трансформер — архитектура и особенности
Transformer — attention, encoder и decoder, positional encoding, multi-head attention и отличия encoder-only, decoder-only и seq2seq.
Устройство трансформеров — теория и практика с нуля
Минимальная реализация Transformer encoder block на PyTorch — attention, FFN, residual, LayerNorm и учебный forward pass.
Дообучение моделей на конкретные задачи NLP
Fine-tuning трансформеров — classification head, token classification, seq2seq, LoRA, PEFT и выбор стратегии под объём данных.
Обзор и разбор трансформерных архитектур
Семейства Transformer — BERT, GPT, T5, RoBERTa, ALBERT, DistilBERT, Longformer и выбор архитектуры под задачу NLP.
Практика работы с предобученными моделями
Hugging Face pipelines, выбор русскоязычных чекпоинтов, инференс, ONNX и типичный production-путь для NLP.
Современные тренды в NLP (2018–2021)
Хронология NLP от ELMo и ULMFiT до GPT-3 — pre-training, transfer learning, бенчмарки GLUE и SuperGLUE, scaling laws.
Трансформеры в разных модальностях — текст, зрение, звук
ViT, DETR, Whisper, CLIP и Audio Spectrogram Transformer — как attention переносится с текста на изображения и аудио.
Трансформеры и NLP — итоги
Краткие итоги раздела "Трансформеры и NLP" — задачи NLP, attention, архитектуры, fine-tuning и практика с предобученными моделями.
Трансформеры и NLP — чек-лист
Чек-лист самопроверки по разделу Трансформеры и NLP — вопросы для закрепления материала.
Трансформеры и NLP — о разделе
Подборка материалов по обработке естественного языка и архитектуре Transformer — от задач NLP до практики с предобученными моделями и мультимодальности.