Практикум — проекты по ИИ

ДЛЯ НОВИЧКОВ

Разработчику

Энциклопедия даёт теорию, архитектуру и паттерны; длинный код — в lab и на code.spirzen.ru. Для закрепления "руками" удобен внешний сборник Hands-On-AI-Engineering — ~40 проектов с README, requirements.txt и .env.example — RAG, агенты, OCR, мультимодальность. Лицензия MIT; язык инструкций — английский.

Ниже — карта обучения — сначала прочитайте главу энциклопедии, затем клонируйте проект и запустите по README. Не обязательно проходить всё подряд — выберите ветку под свою цель.

Для классического глубокого обучения (CNN, LSTM, обучение своих весов) начните с ветки DL в Colab; для LLM, RAG и агентов — с этапа 0 и веток 1–4.

Что не копируем

Туториалы из репозитория не дублируются в энциклопедии. Здесь — только маршрут и связь "навык ↔ проект". Конкретные имена моделей в репо меняются быстрее, чем паттерны — ориентируйтесь на архитектуру, а не на чекпоинт.

---

Как пользоваться картой

1. Пройдите базовый маршрут из раздела "ИИ" хотя бы до RAG, MCP и агентов.
2. Выберите ветку (RAG, агенты, OCR, мультимодальность).
3. Клонируйте репозиторий: git clone https://github.com/Sumanth077/Hands-On-AI-Engineering.git
4. Перейдите в папку проекта, скопируйте .env.example → .env, заполните API-ключи.
5. После запуска сравните код с теорией в указанной главе и зафиксируйте, что изменили бы для prod (AgentOps).

Базовый URL проекта: https://github.com/Sumanth077/Hands-On-AI-Engineering/tree/main/<путь>.

---

Ветка DL — глубокое обучение в Colab

Среда: Google Colab (Runtime → GPU). Теория и код Keras/TensorBoard — Keras и TensorFlow; выбор Dense/CNN/LSTM — Архитектуры. Подготовка данных (нормализация, split, аугментация) — Data Science.

Сначала в энциклопедии	Навык	Практика в Colab / локально
Keras и TensorFlow — нейросети — MNIST, CNN	Conv2D, compile, fit, callbacks	Ноутбук: MNIST или CIFAR-10 на Keras; кривые loss/accuracy через matplotlib или TensorBoard
Практикум — распознавание цифр на PyTorch — практикум PyTorch	CNN end-to-end, сохранение весов	Локальный TestPyTorch или порт архитектуры в Colab
Архитектуры нейронных сетей — CNN + Распознавание лиц, объектов и текста — лица	Классификация изображений, метрики	Датасет FER2013 или CK+: grayscale 48×48, 7 классов эмоций; CNN + ImageDataGenerator только на train
Архитектуры нейронных сетей — LSTM + ML — пример 2	Последовательности, char-level RNN	Корпус текста (например "Война и мир" с Project Gutenberg): посимвольная LSTM, генерация по seed-строке
Разбиение данных и кросс-валидация — разбиение выборки + Смещение, дисперсия и переобучение — переобучение	train/val/test, EarlyStopping	В каждом ноутбуке: hold-out test не трогать до финала; validation — для callbacks

Аугментация и утечка

Повороты, отражения и сдвиги яркости применяйте только к train, после разбиения выборки. Иначе test "видит" варианты тех же кадров — метрики завышены. Подробнее — распознавание лиц и объектов.

Минимальный шаблон аугментации в Keras:

from tensorflow.keras.preprocessing.image import ImageDataGenerator

train_datagen = ImageDataGenerator(
    rescale=1.0 / 255,
    rotation_range=15,
    horizontal_flip=True,
    validation_split=0.2,
)
train_flow = train_datagen.flow_from_directory(
    "data/train", target_size=(48, 48), batch_size=32, subset="training"
)
val_flow = train_datagen.flow_from_directory(
    "data/train", target_size=(48, 48), batch_size=32, subset="validation"
)

---

Этап 0 — первый вызов API

Сначала в энциклопедии	Навык	Проект в репо
OpenAI / API — готовые промпты	Chat Completions, system/user, ключи	Любой минимальный RAG или агент с одним LLM-вызовом, например Rock Music RAG

---

Ветка 1 — RAG и поиск по знаниям

Сначала в энциклопедии	Навык	Проект
RAG в 113 + векторные БД	Чанкинг, эмбеддинги, ChromaDB	YouTube Transcript RAG
Продвинутый RAG в 113 — HyDE	Гипотетический документ вместо сырого запроса	HyDE RAG
GraphRAG	Граф сущностей + тематические запросы	GraphRAG Knowledge System
Продвинутый RAG в 113 — hybrid	Параллельно vector + knowledge graph	Hybrid RAG System
Оркестрация — Router	Маршрутизация по нескольким индексам	RAG Agent with Database Routing
Продвинутый RAG в 113 — agentic	Retrieve → grade → rewrite → generate	Self-Reflective Agentic RAG
Продвинутый RAG в 113 — web	Скрапинг + RAG	Agentic RAG with Qwen & FireCrawl
Мультимодальность в 8	Индексация изображений и медиа	Vision RAG, Multimodal RAG

---

Ветка 2 — агенты и оркестрация

Сначала в энциклопедии	Навык	Проект
Агенты ИИ	ReAct, tools, цикл агента	Agentic SQL Search
MCP-серверы	Tools через MCP	GitHub Intelligence Agent, Eagle Eye
Память агента в 116	Персистентная память между сессиями	CartMate — AI Customer Support
Оркестрация — Sequential	Planner → Coder → Reviewer	Multi-Agent Coding Assistant
Оркестрация — мультиагент	Несколько ролей, отчёт	Multi-Agent Research Assistant (AG2), Research Team
Фреймворки в 121	smolagents, код как tool	Smolagents Code Agent
AgentOps	HITL, approval перед действием	Eagle Eye (review PR после одобления)

Доменные агенты (финансы, отели, маркетинг) полезны как примеры промптов и интеграций, но для обучения архитектуре достаточно 2–3 проектов из таблицы выше.

---

Ветка 3 — OCR и документы

Сначала в энциклопедии	Навык	Проект
OCR в 120	Классическая цепочка OCR	Сравните Tesseract/EasyOCR с проектами ниже
Structured extraction в 120	Картинка → валидированный JSON	Image-to-Structured-Data
Там же	Формулы → LaTeX, локальная VLM	LaTeX Formula OCR
Здравоохранение + OCR	Доменная валидация (RxNorm)	Medical Prescription Digitizer
Structured extraction в 120	Локальный OCR, Markdown из PDF	GLM-OCR Pro
Продвинутый RAG в 113	Layout parsing + clinical RAG	Clinical RAG with ADE

---

Ветка 4 — аудио, видео, мультимодальность

Сначала в энциклопедии	Навык	Проект
Whisper в 8	ASR, транскрипт	YouTube Transcript RAG
Практика — аудио и видео в 8	Чат с аудиофайлом	Music Explorer
Там же	Саммари YouTube, главы	Video Understanding Agent
Мультимодальность в 8	Vision + tool calling	Multimodal Weather App
OCR + RAG	Q&A по страницам PDF	Image Question Answering

---

Рекомендуемые мини-треки

"Чат-бот по своим документам" (3–5 дней)

1. Работа с ИИ-моделями — локальный RAG → Rock Music RAG
2. Продвинутый RAG → HyDE RAG
3. Agentic RAG → Self-Reflective Agentic RAG

"Агент с tools" (3–5 дней)

1. Агенты искусственного интеллекта — агенты → Agentic SQL Search
2. MCP → GitHub Intelligence Agent
3. Оркестрация AI-агентов — оркестрация → Multi-Agent Coding Assistant

"Документы и сканы" (2–4 дня)

1. Распознавание лиц, объектов и текста — OCR → Image-to-Structured-Data
2. Clinical RAG — если интересна медицина или сложная вёрстка

"Глубокое обучение с нуля" (5–7 дней, Colab)

1. Keras и TensorFlow — нейросети — Keras, callbacks, TensorBoard → MNIST/CIFAR в Colab
2. Практикум — распознавание цифр на PyTorch — CNN локально или тот же пайплайн в PyTorch в Colab
3. Ветка DL → char-RNN (генерация текста) или FER2013 (эмоции на лицах)

---

После практикума

• Зафиксируйте eval — 10–20 эталонных вопросов и ожидаемых ответов — AgentOps.
• Проверьте безопасность tools и секретов — Опасные скрипты.
• Для монетизации навыка — Монетизация цифровых продуктов с ИИ.

---

См. также

• Работа с ИИ-моделями — LangChain, ChromaDB, продвинутый RAG
• Оркестрация AI-агентов — паттерны и фреймворки
• Практический AI-стек — Lovable, Supabase, Cursor, n8n
• Исходный репозиторий — github.com/Sumanth077/Hands-On-AI-Engineering

---