PARALLEL.RU

Доброе время суток.

Задача: собрать учебный кластер из старого железа.
Аппаратная часть: 6 компов класса примерно AMD K6-2, Pentium II, fast ethernet.
Внимательно прочитал неполный и довольно коряво написанный мануал по сборке кластера на сайте Gentoo.

Что я осилил самостоятельно: на каждой машине
1. Поставил и настроил минимальный Gentoo Linux.
2. Связал их в distcc (это к делу не относится, просто факт).
3. Настроил вход ssh на каждую машину по ключам, и общий /home через nfs.
4. Установил на всех компах Torque 2.2.1-r2.
В меру своего понимания настроил Torque: на одной машине pbs_sched+pbs_server, на остальных pbs_mom'ы. Проверить, всё ли сделано так как надо -- не знаю как . Во всяком случае, qsub -I даёт шелл на одном из узлов, а echo "command" | qsub приводит к появлению в ~ файлов вывода stdin/stderr с успешной отработкой command на одном из узлов.
5. Установил OpenMPI 1.2.6 на всех машинах.
На этом моя фантазия забуксовала. Сайт OpenMPI утверждает, что и так всё будет работать. Однако, написав "Hello World" с использованием OpenMPI я обнаружил, что mpirun -np 4 ./test запускает 4 копии на отработку только на локальной машине . Как ему обьяснить что задачи надо раздавать узлам -- копал-копал, гуглил-гуглил, не нашёл.

Подскажите, пожалуйста.
Заранее спасибо.

_________________
Unlike reality, stupidity is inescapable

Если OpenMPI установлен и настроен нормально, то для запуска процессов на узлах надо прописать в опции к mpirun -nolocal и -machinefile со списком узлов.
man mpirun - там все в деталях написано.

Субъективно конечно, но такую возможность лучше не предоставлять пользователем с точки зрения безопасности. Тем более, что она не требуется для работы Torque.

Для первоначальной проверки PBS запустите pbsnodes и посмотрите, что все узлы присутствуют в списке и на них стоит статус free.

Также ompi должен быть собран с поддержкой pbs'а: ompi_info | grep tm. Это модуль tm. Если поддержка есть, то в выводе команды должны появится строки типа:

OpenMPI использует TM (API Torque для копирования процессов). Соответственно, запускать нужно внутри скрипта вида:
#!/bin/bash
#PBS -l nodes=1:ppn=2,walltime=100:00:00
#PBS -S /bin/bash
#PBS -o out
#PBS -e err
#PBS -N linpack

cd /home/test123/2/openmpi
/share/openmpi/bin/mpirun -n 2 ./xhpl

Иначе нужно настраивать машинный файл или указывать каждый раз при запуске на каких узлах выполнять. В этом случае для копирования будет использоваться ssh/rsh.

Рекомендую установить openmpi не на каждом узле, а на мастере в расшаренную директорию, будет меньше проблем с обновлением.

Вот блин, всё как обычно упирается в ман. Спасибо, это именно то что мне надо

Andrew Sapronov, rav_g

Спасибо за советы!
Как выяснилось, PBS мне вобще не нужен, т.к. машинки к инету не подключены, других пользователей там нет и кластер этот демонстрационно-учебный, а ompi вполне работает и так.

_________________
Unlike reality, stupidity is inescapable

Выбор у Вас непростой