Чек-лист самопроверки
Чек-лист самопроверки
-
Чем параллелизм отличается от асинхронности?
-
Назовите основные проблемы HPC (память, коммуникации, балансировка).
-
Что означают SISD, SIMD, MIMD в таксономии Флинна?
-
Чем конвейер CPU отличается от data-parallel на GPU?
-
Чем shared memory отличается от distributed memory?
-
Что такое NUMA и почему это важно для производительности?
-
Чем мультипроцессор отличается от мультикомпьютера?
-
Что такое кластер HPC и зачем нужен планировщик (Slurm)?
-
Чем GRID отличается от локального кластера?
-
Что такое SPMD?
-
Для чего используется модель PRAM?
-
Что такое bisection bandwidth топологии?
-
Что такое граф алгоритма (DAG)?
-
Как построить матрицу следования?
-
Когда два оператора логически совместимы?
-
Что такое EST и LFT оператора?
-
Что такое slack и критический путь?
-
Запишите формулу закона Амдаля и предел S_max.
-
Чем установка Густафсона отличается от Амдаля?
-
Что такое strong и weak scaling?
-
Что такое speedup и efficiency?
-
Чем data parallelism отличается от task parallelism?
-
Что такое halo cells при domain decomposition?
-
Что такое false sharing?
-
Опишите блочное умножение матриц на MPI (идея).
-
Зачем нужны сети Петри?
-
Что показывает диаграмма расписания (Gantt)?
-
Почему «16 ядер» не даёт ускорения 16×?
-
Когда OpenMP, а когда MPI?
-
Как проверить корректность параллельной программы?
-
Что такое operational intensity в модели Roofline?
-
Что такое метрика Karp–Flatt и зачем она нужна?
-
Чем iso-efficiency отличается от обычной efficiency?
-
Что такое distance vector в зависимостях цикла?
-
Опишите по шагам алгоритм Warshall для матрицы следования.
-
Что такое halo exchange и когда он нужен?
-
Чем Cannon отличается от SUMMA при умножении матриц?
-
Что делает
#pragma omp parallel for reduction(+:sum)? -
Зачем
MPI_Isendвместо синхронногоMPI_Send? -
Что такое first-touch на NUMA?
-
Чем SIMT на GPU отличается от SIMD на CPU?
-
Что такое bounded buffer в сети Петри?
-
Как deadlock связан с dining philosophers?
-
Что означают α и β в модели стоимости MPI?
-
Когда параллелизация не стоит делать (overhead)?
См. также
Другие статьи этого же раздела в боковом меню (как на странице «О разделе»). Введение в параллельные вычисления — зачем они нужны, чем отличаются от асинхронности, основные проблемы высокопроизводительных вычислений (HPC). Сети Петри для моделирования параллельных процессов, диаграммы расписания, связь с графом алгоритма. Практическое параллельное программирование — OpenMP, MPI, типовые паттерны, профилирование и отладка параллельного кода. Классификация параллельных архитектур — таксономия Флинна, SIMD и MIMD, векторно-конвейерные системы, степень достижимого параллелизма. Модели памяти в параллельных системах — общая и распределённая память, мультипроцессоры и мультикомпьютеры, кластеры, GRID и метакомпьютинг. Модели параллельных вычислений — PRAM, message passing, SPMD; сети передачи данных между процессорами; диаграммы расписания. Граф алгоритма — построение, свойства, матрица следования, выявление логически несовместимых операторов и параллелизма. Временные характеристики параллельных алгоритмов — информационный граф, ранние и поздние сроки, критический путь, минимальное число процессоров. Оценка производительности параллельных компьютеров — закон Амдала, закон Густафсона-Барсиса, эффективность, масштабируемость, конвейер. Построение параллельных алгоритмов — инженерный подход, классификация параллелизма, этапы разработки, декомпозиция данных, рекомендации. Параллельные алгоритмы умножения матриц — последовательная база, блочная декомпозиция, Cannon, SUMMA, практические рекомендации. Краткие итоги раздела «Параллельные вычисления».Параллельные вычислительные процессы — введение
Сети Петри и формальные расписания
Практика — OpenMP, MPI и профилирование
Классификация параллельных архитектур
Память, мультипроцессоры, кластеры и GRID
Модели параллельных вычислений и топологии
Граф алгоритма и матрица следования
Временной анализ параллельных алгоритмов
Законы производительности параллельных систем
Инженерия параллельных алгоритмов
Параллельное умножение матриц
Итоги