Кластер (практическое руководство)

Программное обеспечение можно скачать здесь: http://linux-cluster.org.ru/download/

Кластер
Практическое руководство по параллельным вычислениям

КОММУНИКАЦИОННЫЕ ОПЕРАЦИИ ТИПА ТОЧКА-ТОЧКА

	Система MPI
Установка системы MPI Конфигурация кластера MPICH Конфигурация кластера LAM/MPI Компиляция и выполнение Общая организация MPI Базовые функции MPI Коммуникационные операции типа точка-точка Коллективные операции

К операциям этого типа относятся две представленные в предыдущем разделе коммуникационные процедуры. В коммуникационных операциях типа точка-точка всегда участвуют не более двух процессов: передающий и принимающий. В MPI имеется множество функций, реализующих такой тип обменов. Многообразие объясняется возможностью организации таких обменов множеством способов. Описанные в предыдущем разделе функции реализуют стандартный режим с блокировкой.

Блокирующие функции подразумевают выход из них только после полного окончания операции, т.е. вызывающий процесс блокируется, пока операция передачи или приема данных не будет завершена.

Неблокирующие функции подразумевают совмещение операций обмена с другими операциями, поэтому неблокирующие функции передачи и приема по сути дела являются функциями инициализации соответствующих операций. Для опроса завершенности операции (и завершения) вводятся дополнительные функции.

Как для блокирующих, так и неблокирующих операций MPI поддерживает четыре режима выполнения. Эти режимы касаются только функций передачи данных, поэтому для блокирующих и неблокирующих операций имеется по четыре функции посылки сообщения. Ниже перечислены имена базовых коммуникационных функций типа точка-точка, имеющихся в библиотеке MPI.

Режимы выполнения	С блокировкой	Без блокировки
Стандартная посылка	MPI_Send	MPI_ISend
Синхронная посылка	MPI_SSend	MPI_ISSend
Буферизованная посылка	MPI_BSend	MPI_IBSend
Согласованная посылка	MPI_RSend	MPI_IRsend
Прием информации	MPI_Recv	MPI_IRecv

Из таблицы хорошо виден принцип формирования имен функций. К именам базовых функций Send/Recv добавляются различные префиксы.

Префикс S (synchronous) -: означает синхронный режим передачи данных. Операция передачи данных заканчивается только тогда, когда заканчивается прием данных. Функция нелокальная.
Префикс B (buffered) -: означает буферизованный режим передачи данных. В адресном пространстве передающего процесса с помощью специальной функции создается буфер обмена, который используется в операциях обмена. Операция посылки заканчивается, когда данные помещены в этот буфер. Функция имеет локальный характер.
Префикс R (ready) -: согласованный или подготовленный режим передачи данных. Операция передачи данных начинается только тогда, когда принимающий процессор выставил признак готовности приема данных, инициировав операцию приема. Функция нелокальная.
Префикс I (immediate) -: относится к неблокирующим операциям.

Все функции передачи и приема сообщений могут использоваться в любой комбинации друг с другом. Функции передачи, находящиеся в одном столбце, имеют совершенно одинаковый синтаксис и отличаются только внутренней реализацией. Поэтому в дальнейшем будем рассматривать только стандартный режим, который в обязательном порядке поддерживают все реализации MPI.

В стандартном режиме выполнение операции обмена включает три этапа:

Передающая сторона формирует пакет сообщения. Этот пакет передается отправителем в системный буфер, и на этом функция посылки сообщения заканчивается.
Сообщение системными средствами передается адресату.
Принимающий процессор извлекает сообщение из системного буфера, когда у него появится потребность в этих данных. Содержательная часть сообщения помещается в адресное пространство принимающего процесса (параметр buf), а служебная - в параметр status.

Приведем пример программы обмена данными, выполняемой на двух процессорах с использование блокирующих функций.

C определяем свой идентификатор процесса
      CALL MPI_COMM_RANK(comm, rank, ierr)
      IF (rank.EQ.0) THEN
C если это первый процесс, то сначала посылаем данные, ждем завершения операции, потом принимаем
          CALL MPI_SEND(sendbuf, count, MPI_REAL, 1, tag, comm, ierr)
          CALL MPI_RECV(recvbuf, count, MPI_REAL, 1, tag, comm, status, ierr)
      ELSE IF (rank.EQ.1) THEN
C если это второй процесс, то сначала принимаем данные, ждем завершения операции, потом отсылаем
          CALL MPI_RECV(recvbuf, count, MPI_REAL, 0, tag, comm, status, ierr)
	  CALL MPI_SEND(sendbuf, count, MPI_REAL, 0, tag, comm, ierr)
      END IF

В ситуациях, когда требуется выполнить взаимный обмен данными между процессами, безопаснее использовать совмещенную операцию MPI_Sendrecv.

    MPI_SENDRECV(SENDBUF, SENDCOUNT, SENDTYPE, DEST, SENDTAG, RECVBUF,
 	         RECVCOUNT, RECVTYPE, SOURCE, RECVTAG, COMM, STATUS, IERROR)
     SENDBUF(*), RECVBUF(*)
    INTEGER SENDCOUNT, SENDTYPE, DEST, SENDTAG, RECVCOUNT, RECVTYPE,
            SOURCE, RECV TAG, COMM, STATUS(MPI_STATUS_SIZE), IERROR

Тип Параметр Описание

IN sendbuf адрес начала расположения посылаемого сообщения

IN sendcount число посылаемых элементов

IN sendtype тип посылаемых элементов

IN dest номер процесса-получателя

IN sendtag идентификатор посылаемого сообщения

OUT recvbuf адрес начала расположения принимаемого сообщения

IN recvcount максимальное число принимаемых элементов

IN recvtype тип элементов принимаемого сообщения

IN source номер процесса-отправителя

IN recvtag идентификатор принимаемого сообщения

IN comm коммуникатор области связи

OUT status атрибуты принятого сообщения

Функция MPI_Sendrecv совмещает выполнение операций передачи и приема. Обе операции используют один и тот же коммуникатор, но идентификаторы сообщений могут различаться. Расположение в адресном пространстве процесса принимаемых и передаваемых данных не должно пересекаться. Пересылаемые данные могут быть различного типа и иметь разную длину.

Неблокирующие коммуникационные операции

Использование неблокирующих коммуникационных операций повышает безопасность с точки зрения возникновения тупиковых ситуаций, а также может увеличить скорость работы программы за счет совмещения выполнения вычислительных и коммуникационных операций. Эти задачи решаются разделением коммуникационных операций на две стадии: инициирование операции и проверку завершения операции.

Функция передачи сообщения без блокировки MPI_Isend

    MPI_ISEND(BUF, COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR)
     BUF(*)
    INTEGER COUNT, DATATYPE, DEST, TAG, COMM, REQUEST, IERROR

Тип Параметр Описание

IN buf адрес начала расположения передаваемых данных

IN count число посылаемых элементов

IN datatype тип посылаемых элементов

IN dest номер процесса-получателя

IN tag идентификатор сообщения

IN comm коммуникатор

OUT request "запрос обмена"

Возврат из подпрограммы происходит немедленно (immediate), без ожидания окончания передачи данных. Этим объясняется префикс I в именах функций. Поэтому переменную buf повторно использовать нельзя до тех пор, пока не будет погашен "запрос обмена". Это можно сделать с помощью подпрограмм MPI_Wait или MPI_Test, передав им параметр request.

Функция приема сообщения без блокировки MPI_Irecv

    MPI_IRECV(BUF, COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERROR)
     BUF(*)
    INTEGER COUNT, DATATYPE, SOURCE, TAG, COMM, REQUEST, IERROR

Тип Параметр Описание

OUT buf адрес для принимаемых данных

IN count максимальное число принимаемых элементов

IN datatype тип элементов принимаемого сообщения

IN source номер процесса-отправителя

IN tag идентификатор сообщения

IN comm коммуникатор

OUT request "запрос обмена"

Возврат из подпрограммы происходит немедленно, без ожидания окончания приема данных. Определить момент окончания приема можно с помощью подпрограмм MPI_Wait или MPI_Test с соответствующим параметром request.

Функция ожидания завершения неблокирующей операции MPI_Wait

    MPI_WAIT(REQUEST, STATUS, IERROR)
    INTEGER REQUEST, STATUS(MPI_STATUS_SIZE), IERROR
	    
    INOUT 	request 	- "запрос обмена";
    OUT 	status 	- атрибуты сообщения.

Это нелокальная блокирующая операция. Возврат происходит после завершения операции, связанной с запросом request. В параметре status возвращается информация о законченной операции.

Функция проверки завершения неблокирующей операции MPI_Test

    MPI_TEST(REQUEST, FLAG, STATUS, IERROR)
    LOGICAL FLAG
    INTEGER REQUEST, STATUS(MPI_STATUS_SIZE), IERROR
			    
    INOUT 	request 	- 	"запрос обмена";
    OUT 	flag 	- 	признак завершенности проверяемой операции;
    OUT 	status 	- 	атрибуты сообщения, если операция завершилась.

Это локальная неблокирующая операция. Если связанная с запросом request операция завершена, возвращается flag = true, а status содержит информацию о завершенной операции. Если проверяемая операция не завершена, возвращается flag = false, а значение status в этом случае не определено.

Рассмотрим пример использования неблокирующих операций и функции MPI_Wait.

			    
      CALL MPI_COMM_RANK(comm, rank, ierr)
      IF (rank.EQ.0) THEN
         CALL MPI_ISEND(a(1), 10, MPI_REAL, 1, tag, comm, request, ierr)
          **** Выполнение вычислений во время передачи сообщения ****
         CALL MPI_WAIT(request, status, ierr)
      ELSE
         CALL MPI_IRECV(a(1), 15, MPI_REAL, 0, tag, comm, request, ierr)
          **** Выполнение вычислений во время приема сообщения ****
	 CALL MPI_WAIT(request, status, ierr)
      END IF

И, напоследок, опишем структуру переменной status.

Назначение полей переменной status:

Поля status Обращение к полю из FORTRANа

Процесс-отправитель status(MPI_SOURCE)

Идентификатор сообщения status(MPI_TAG)

Код ошибки status(MPI_ERROR)

Оглавление

Download

Полезные ссылки