Параллельные вычисления

📄️Параллельные вычислительные процессы — введение

Введение в параллельные вычисления — зачем они нужны, чем отличаются от асинхронности, основные проблемы высокопроизводительных вычислений (HPC).

Сети Петри для моделирования параллельных процессов, диаграммы расписания, связь с графом алгоритма.

Практическое параллельное программирование — OpenMP, MPI, типовые паттерны, профилирование и отладка параллельного кода.

Классификация параллельных архитектур — таксономия Флинна, SIMD и MIMD, векторно-конвейерные системы, степень достижимого параллелизма.

Модели памяти в параллельных системах — общая и распределённая память, мультипроцессоры и мультикомпьютеры, кластеры, GRID и метакомпьютинг.

Модели параллельных вычислений — PRAM, message passing, SPMD; сети передачи данных между процессорами; диаграммы расписания.

Граф алгоритма — построение, свойства, матрица следования, выявление логически несовместимых операторов и параллелизма.

Временные характеристики параллельных алгоритмов — информационный граф, ранние и поздние сроки, критический путь, минимальное число процессоров.

Оценка производительности параллельных компьютеров — закон Амдала, закон Густафсона-Барсиса, эффективность, масштабируемость, конвейер.

Построение параллельных алгоритмов — инженерный подход, классификация параллелизма, этапы разработки, декомпозиция данных, рекомендации.

Параллельные алгоритмы умножения матриц — последовательная база, блочная декомпозиция, Cannon, SUMMA, практические рекомендации.

Краткие итоги раздела «Параллельные вычисления».

Вопросы для самопроверки по разделу «Параллельные вычисления».

Подборка материалов раздела «Параллельные вычисления» в энциклопедии Вселенная IT — архитектуры, модели, графы алгоритмов и инженерия HPC.