Линейная алгебра

ОБЯЗАТЕЛЬНОДЛЯ НОВИЧКОВ

Архитектору Инженеру

Линейная алгебра изучает векторные пространства и линейные отображения. В IT это язык данных: признаки в ML — векторы, преобразования — матрицы, ограничения — системы уравнений.

Векторы

n-мерный вектор — упорядоченный набор чисел (x₁, …, xₙ). Вектор может означать точку, направление, набор признаков пользователя или весов.

Операции:

• сложение — поэлементно;
• умножение на скаляр — растяжение / отражение;
• скалярное произведение u · v = Σ uᵢvᵢ — число, не вектор.

Скалярное произведение связано с углом: u · v = ‖u‖ ‖v‖ cos θ. Если u · v = 0, векторы ортогональны (перпендикулярны). В рекомендациях и классификации это мера «похожести» направлений; в градиентном спуске — проекция направления обновления.

Матрицы

Матрица m × n — таблица чисел. В IT матрица часто кодирует линейное преобразование: поворот, масштаб, слой нейросети, граф смежности (0/1).

Операция	Условие	Смысл
Сложение	одинаковый размер	поэлементно
Умножение на скаляр	любой размер	масштаб всей матрицы
Умножение A × B	столбцы A = строки B	композиция преобразований
Транспонирование Aᵀ	—	строки ↔ столбцы

Элемент C[i][j] при умножении — скалярное произведение i-й строки A и j-го столбца B.

Определитель и обратная матрица

Для квадратной матрицы определитель det(A) отражает «объём» искажения (в 2D — площадь параллелограмма столбцов). det(A) = 0 → матрица вырожденная, преобразование сжимает пространство.

Если det(A) ≠ 0, существует обратная A⁻¹, такая что A·A⁻¹ = I. Обратная матрица теоретически решает Ax = b как x = A⁻¹b, но на практике предпочитают метод Гаусса — устойчивее и дешевле.

Системы линейных уравнений

Набор уравнений вида a₁x₁ + … + aₙxₙ = b. В матричной форме: Ax = b.

Применение: регрессия (МНК), балансировка нагрузки, калибровка, решение сетей. В ML большие системы решают итеративно или через разложения (SVD, QR), а не явным обращением матрицы.

Где встречается в работе

• Машинное обучение: веса, эмбеддинги, attention, PCA.
• Компьютерная графика: модель-вид-камера, аффинные преобразования.
• Обработка сигналов и изображений: фильтры как свёртки (тоже линейная алгебра).
• Оптимизация: градиент — вектор, гессиан — матрица.

Дальше: Вероятность и статистика.

---