Системы с массовым параллелизмом.

Компьютеры этого типа представляют собой совокупность однородных вычислительных узлов, соединенных при помощи некоторой коммуникационной среды. Каждый узел обладает своей собственной памятью.

Каждый из узлов состоит из процессора, собственной ОП, коммуникационного оборудования и подсистемы ввода/вывода. Процессоры в этих системах имеют прямой доступ только к своей локальной памяти. Доступ к памяти других узлов реализуется при помощи механизма передачи сообщений (MPI). Подобная архитектура устраняет проблему когерентности кэш-памяти и проблему масштабирования, давая возможность неограниченного наращивания процессоров в системе. Для МРР-систем самой актуальной проблемой является эффективность коммуникационной среды. Различные производители использовали разные топологии связи. В Intel Paragon – двумерная прямоугольная сетка. В Cray – топология трехмерного тора. NСube – трехмерный гиперкуб. При обмене данными между процессорами, не являющимися ближайшими соседями, происходит трансляция данных через промежуточные узлы. Поэтому желательно, чтобы в узлах присутствовали аппаратные средства, освобождающие процессор от трансляции данных. В последнее время для этого используется иерархическая система высокоскоростных коммутаторов. Системы с распределенной памятью идеально подходят для выполнения независимых программ, поскольку каждая программа будет исполняться на своем узле. При разработке параллельных программ на МРР приходится учитывать более сложную структуру памяти, а именно трехуровневую. Первый – это кэш-память процессора, второй – локальная ОП данного узла, третий – ОП других узлов. При этом отсутствует доступ к данным, расположенным на других узлах. Обмен данными между узлами происходит значительно медленнее, чем обработка данных в ОП узлов.