Параллельные вычисления

Параллельные вычислительные процессы — введение

Введение в параллельные вычисления — зачем они нужны, чем отличаются от асинхронности, основные проблемы высокопроизводительных вычислений (HPC).

Сети Петри и формальные расписания

Сети Петри для моделирования параллельных процессов, диаграммы расписания, связь с графом алгоритма.

Практика — OpenMP, MPI и профилирование

Практика параллельных вычислений — псевдокод на русском, эталонные фрагменты OpenMP и MPI с построчным разбором, профилирование и отладка.

Параллельное решение СЛАУ — метод Гаусса

Параллельный метод Гаусса для систем линейных уравнений — этапы, зависимости, псевдокод, обмены MPI и ограничения масштабирования.

Классификация параллельных архитектур

Классификация параллельных архитектур — таксономия Флинна, SIMD и MIMD, векторно-конвейерные системы, степень достижимого параллелизма.

Память, мультипроцессоры, кластеры и GRID

Модели памяти в параллельных системах — общая и распределённая память, мультипроцессоры и мультикомпьютеры, кластеры, GRID и метакомпьютинг.

Модели параллельных вычислений и топологии

Модели параллельных вычислений — PRAM, message passing, SPMD; сети передачи данных между процессорами; диаграммы расписания.

Граф алгоритма и матрица следования

Граф алгоритма — построение, свойства, матрица следования, выявление логически несовместимых операторов и параллелизма.

Временной анализ параллельных алгоритмов

Временные характеристики параллельных алгоритмов — информационный граф, ранние и поздние сроки, критический путь, минимальное число процессоров.

Законы производительности параллельных систем

Оценка производительности параллельных компьютеров — закон Амдала, закон Густафсона-Барсиса, эффективность, масштабируемость, конвейер.

Инженерия параллельных алгоритмов

Построение параллельных алгоритмов — инженерный подход, псевдокод, классификация параллелизма, декомпозиция данных, эталоны OpenMP и MPI.

Параллельное умножение матриц

Параллельные алгоритмы умножения матриц — псевдокод, блочная декомпозиция, Cannon, SUMMA, разбор эталонов OpenMP и GPU.