Принципы программирования на системах с распределенной памятью.

В системах этого типа на каждом вычислительном узле функционирует своя ОС, под управлением которой выполняются свои независимые программы. Чтобы добиться максимальной производительности, разработчикам приходится учитывать особенности архитектуры. В этом случае получаются эффективные, но ориентированные на платформу решения. Однако имеются независимые реализации механизма передачи сообщений. Одной из них является стандарт Express и коммуникационная библиотека Parallel Virtual Machine. Механизм передачи сообщений был принят в 1994 году. Реализации механизма работают как на классических МРР системах, так и на SMP, и на кластерах, в том числе и гетерогенных.

Механизм передачи сообщений представляет собой библиотеку функций, обеспечивающую взаимодействие параллельных процессов с помощью передачи сообщений. Поддерживаются интерфейсы для языков Си и Фортран. В стандарт MPI введены группы процессоров, которыми можно оперировать как с конечными множествами. Альтернативный подход к системе MPI представляет идея, реализованная в языке HPF. В этой системе программисту требуется задать только распределение данных по процессорам. После чего компилятор автоматически генерирует вызовы функции и передачу сообщений. Язык HPF реализует идею инкрементального распараллеливания и модель общей памяти на системах с распределенной памятью. Программы на этом языке существенно короче программ, использующих прямые вызовы функций обмена сообщений. Область, где механизму MPI нет альтернативы, это обслуживание функционального параллелизма. Если каждый узел выполняет свой собственный алгоритм, существенно отличающийся от того, что делает соседний процессор, и взаимодействие между ними имеет нерегулярный характер, то ничего лучшего, чем MPI, предложить невозможно.