PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 13 дек 17 0:41

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 6 ] 
Автор Сообщение
 Заголовок сообщения: OpenMPI + Torque (вопрос новичка)
СообщениеДобавлено: 3 янв 09 22:16 
Не в сети

Зарегистрирован: 3 янв 09 22:00
Сообщения: 2
Доброе время суток.

Задача: собрать учебный кластер из старого железа.
Аппаратная часть: 6 компов класса примерно AMD K6-2, Pentium II, fast ethernet.
Внимательно прочитал неполный и довольно коряво написанный мануал по сборке кластера на сайте Gentoo.

Что я осилил самостоятельно: на каждой машине
1. Поставил и настроил минимальный Gentoo Linux.
2. Связал их в distcc (это к делу не относится, просто факт).
3. Настроил вход ssh на каждую машину по ключам, и общий /home через nfs.
4. Установил на всех компах Torque 2.2.1-r2.
В меру своего понимания настроил Torque: на одной машине pbs_sched+pbs_server, на остальных pbs_mom'ы. Проверить, всё ли сделано так как надо -- не знаю как :( . Во всяком случае, qsub -I даёт шелл на одном из узлов, а echo "command" | qsub приводит к появлению в ~ файлов вывода stdin/stderr с успешной отработкой command на одном из узлов.
5. Установил OpenMPI 1.2.6 на всех машинах.
На этом моя фантазия забуксовала. Сайт OpenMPI утверждает, что и так всё будет работать. Однако, написав "Hello World" с использованием OpenMPI я обнаружил, что mpirun -np 4 ./test запускает 4 копии на отработку только на локальной машине :( . Как ему обьяснить что задачи надо раздавать узлам -- копал-копал, гуглил-гуглил, не нашёл.

Подскажите, пожалуйста.
Заранее спасибо.

_________________
Unlike reality, stupidity is inescapable


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: OpenMPI + Torque (вопрос новичка)
СообщениеДобавлено: 4 янв 09 1:45 
Не в сети

Зарегистрирован: 5 сен 08 3:12
Сообщения: 31
Откуда: НИИ механики МГУ
Barvinok писал(а):
Однако, написав "Hello World" с использованием OpenMPI я обнаружил, что mpirun -np 4 ./test запускает 4 копии на отработку только на локальной машине :( .


Если OpenMPI установлен и настроен нормально, то для запуска процессов на узлах надо прописать в опции к mpirun -nolocal и -machinefile со списком узлов.
man mpirun - там все в деталях написано.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: OpenMPI + Torque (вопрос новичка)
СообщениеДобавлено: 4 янв 09 13:02 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Barvinok писал(а):
3. Настроил вход ssh на каждую машину по ключам

Субъективно конечно, но такую возможность лучше не предоставлять пользователем с точки зрения безопасности. Тем более, что она не требуется для работы Torque.

Для первоначальной проверки PBS запустите pbsnodes и посмотрите, что все узлы присутствуют в списке и на них стоит статус free.

Также ompi должен быть собран с поддержкой pbs'а: ompi_info | grep tm. Это модуль tm. Если поддержка есть, то в выводе команды должны появится строки типа:
Код:
MCA ras: tm (MCA v1.0, API v1.0, Component v1.1.4)
MCA pls: tm (MCA v1.0, API v1.0, Component v1.1.4)


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: OpenMPI + Torque (вопрос новичка)
СообщениеДобавлено: 10 янв 09 22:14 
Не в сети

Зарегистрирован: 4 июн 07 16:06
Сообщения: 19
Откуда: г. Оренбург
OpenMPI использует TM (API Torque для копирования процессов). Соответственно, запускать нужно внутри скрипта вида:
#!/bin/bash
#PBS -l nodes=1:ppn=2,walltime=100:00:00
#PBS -S /bin/bash
#PBS -o out
#PBS -e err
#PBS -N linpack

cd /home/test123/2/openmpi
/share/openmpi/bin/mpirun -n 2 ./xhpl

Иначе нужно настраивать машинный файл или указывать каждый раз при запуске на каких узлах выполнять. В этом случае для копирования будет использоваться ssh/rsh.

Рекомендую установить openmpi не на каждом узле, а на мастере в расшаренную директорию, будет меньше проблем с обновлением.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: OpenMPI + Torque (вопрос новичка)
СообщениеДобавлено: 11 янв 09 16:36 
Не в сети

Зарегистрирован: 3 янв 09 22:00
Сообщения: 2
Beaver писал(а):
Barvinok писал(а):
Однако, написав "Hello World" с использованием OpenMPI я обнаружил, что mpirun -np 4 ./test запускает 4 копии на отработку только на локальной машине :( .

Если OpenMPI установлен и настроен нормально, то для запуска процессов на узлах надо прописать в опции к mpirun -nolocal и -machinefile со списком узлов.
man mpirun - там все в деталях написано.

Вот блин, всё как обычно упирается в ман. Спасибо, это именно то что мне надо :)

Andrew Sapronov, rav_g

Спасибо за советы!
Как выяснилось, PBS мне вобще не нужен, т.к. машинки к инету не подключены, других пользователей там нет и кластер этот демонстрационно-учебный, а ompi вполне работает и так.

_________________
Unlike reality, stupidity is inescapable


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: OpenMPI Torque вопрос новичка
СообщениеДобавлено: 2 июн 09 23:38 
Не в сети

Зарегистрирован: 29 май 09 13:08
Сообщения: 2
Откуда: Россия
Выбор у Вас непростой


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 6 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 3


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB