Кластер (практическое руководство)

Программное обеспечение можно скачать здесь: http://linux-cluster.org.ru/download/

Кластер
Практическое руководство по параллельным вычислениям

СТРОИМ КЛАСТЕР
После всего того, что вы здесь прочитали, вы уже, вероятно, имеете представление о том, что такое есть кластерный суперкомпьютер и как его можно собрать из подручных материалов. Осталось только дать несколько практических рекомендаций. Рассмотрим самые простые варианты быстрой и безболезненной установки кластера. Для этого нам потребуется несколько машин (минимум две), связанные в сеть, пропускной способностью не менее 100Мбит.

Вариант первый

Допустим у нас имеются несколько машин, работающих под управлением операционной системы Windows (не ниже NT4). В этом случае для ввода в строй кластера необходимо и достаточно загрузить из интернета windows-вариант системы MPI и установить ее на всех будущих узлах кластера. Аналогичные по смыслу телодвижения потребуются и в том случае, когда у вас есть несколько Linux-машин.

Вариант второй

На машины, которые будут у вас узлами кластера, устанавливается Linux. Для установки используется дистрибутив общего назначения, например ALT Linux. После установки системы и настройки сети, на узлы будущего кластера устанавливается UNIX-вариант системы MPI. Этот вариант хорош еще тем, что избавляет нас от необходимости решать проблему, связанную с переходом на незнакомую операционную систему. Например, если кластер организуется на базе компьютерного класса, используемого в учебном процессе ВУЗа, нет необходимости перестраивать учебные планы с учетом использования Linux в качестве базовой операционной системы. Установка ОС Linux позволяет применять мультизагрузку. То есть имеется возможность не уничтожать ранее установленную на компьютере операционную систему, а использовать обе системы совместно. Linux и кластер может загружаться только в определенное время, например на ночь.

Вариант третий

Одной из ведущих мировых Linux-компаний Mandrake выпускается специализированный дистрибутив CLIC. Этот дистрибутив предназначен для создания высокоэффективного кластерного суперкомпьютера, основанного на сети рабочих станций. После установки дистрибутива все необходимое матобеспечение для работы и мониторинга кластера уже будет установлено в вашей системе. Подробные инструкции по установке и настройке кластера CLIC находятся на диске дистрибутива. Замечу, что кластер CLIC является профессиональным решением, поэтому его установка и настройка наиболее тяжела, по сравнению со всеми другими приводимыми мною вариантами.

Вариант четвертый

Этот вариант самый простой. При подготовке данной публикции, используя этот вариант, я смог установить кластер из трех машин, скомпилировать тестовую параллельную программу и запустить ее на исполнение в течение 10 минут. Изюминка скрыта вот в чем. Некоторое время назад Дапартаментом Компьютерных Наук Университета Северной Айовы (США) был реализован проект BCCD по созданию загрузочного компакт диска с вариантом линукса, предназначенным для построения кластера. В результате мы имеем возможность использовать кластер вообще без установки на винчестер операционной системы и кластерного ПО. Для установки кластера необходимо два и более сетевых компьютера, умеющих загружать ОС непосредственно с CD-ROM. Подробно прочитать о проекте и загрузить образ компакт-диска вы можете на сайте BCCD. Я рекомендую использовать версию диска 2.2.1. Хотя эта версия объявлена как находящаяся в разработке, работает она достаточно стабильно и гораздо более функциональна, чем "стабильная" 2.2.0. Сам я работал конкретно с образом диска bccd-i386-2004-08-21T13-0500.iso.

Вариант пятый

Этот способ установки кластера немного сложнее предыдущего, но позволяет получить полномасштабный выделенный кластер за очень короткое время. Как и в предыдущем варианте, в данном случае используется специализированный дистрибутив: Rocks Cluster Distribution. Для установки кластера потребуются два диска: загрузочный Rocks Base и дополнительный HPC Roll. Эти два диска позволяют установить кластер в минимально необходимой конфигурации. Процедуру установки кластера Rocks мы рассмотрим в следующих разделах. В дополнение к минимальной конфигурации, дистрибутив кластера содержит компакт-диск Intel Roll, позволяющий установить MPI, интегрированный с оптимизирующим компилятором языка FORTRAN 95 от компании Intel. Так же полезным может оказаться дополнение, находящееся на компакт-диске PBS/Maui Roll. Пакет PBS является программным средством для управления очередью заданий, запускаемых на кластере. Управление очередью заданий может оказаться необходимым компонентом кластера в случае, когда он интенсивно используется большим количеством пользователей. Пакет PBS решает вопросы распределения процессорного времени кластера между пользовательскими программами и очередности их выполнения.

Вариант шестой

После того, как мы попробовали несколько вариантов установки, мы можем сформулировать требования, предъявляемые к полномасштабному кластеру, обеспечивающие простоту установки и использования.

Установка кластера должна занимать минимальное время
Кластер должен позволять установку на имеющуюся операционную систему
Кластер должен использовать сетевую файловую систему для обеспечения синхронизации доступа к программам и данным пользователя
Узлы кластера должны загружаться в автоматическом режиме, без участия пользователя
Узлы кластера должны (могут) быть бездисковыми
Для минимизации объема требуемой под систему оперативной памяти узлы кластера должны использовать корневую файловую систему, расшаренную посредством NFS
Подключение к кластеру дополнительных узлов должно происходить без перенастройки системы

Этим условиям удовлетворяет проект ThinCluster. Для организации кластера с помощью этого проекта необходимо на имеющуюся Linux-систему определенным образом установить необходимые пакеты (NFS,DHCP,MPICH,TFTP,gcc). Подробное описание процедуры установки ThinCluster описано на странице проекта. При подготовке к семинару по кластерным технологиям, проведенному в октябре месяце 2004 года в Волгоградском государственном университете, мне пришлось подготовить свой ноутбук для работы в качестве сервера кластера ThinCluster. Для этого мне понадобилось около 40 минут времени.

Резюме

Таким образом, мы видим, что создание кластерного суперкомпьютера технически достаточно простая процедура. В случае применения четвертого варианта, вполне работоспособный кластер может быть создан в течение 10 минут. Четвертый вариант хорош еще тем, что он идеально подходит для первоначального знакомства с кластерными технологиями. Возможно BCCD будет не всегда удобен, вполне вероятно возникнет мысль установить кластер на нормальной системе, но, тем не менее, с его помощью можно молниеносно быстро получить из разрозненных машин полнофункциональный кластер и решать на нем нормальные, не тестовые задачи.

Шестой вариант кластера идеально подходит для случая, когда необходимое оборудование уже имеется. В этом случае, полномасштабный кластер так же может быть развернут в минимальные сроки. Фактически для этого понадобится всего несколько часов.

В связи с этим далее мы подробно рассмотрим процессы установки кластеров BCCD, Rocks и ThinCluster.

Оглавление

Download

Полезные ссылки