PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 7 дек 19 3:55

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 7 ] 
Автор Сообщение
 Заголовок сообщения: "rcmd: socket: All ports in use" (МВС-1000)
СообщениеДобавлено: 5 сен 05 15:07 
Не в сети

Зарегистрирован: 5 сен 05 14:55
Сообщения: 3
Добрый день!

При попытке запустить через очередь задачу MPI на 256 процессов, выдается ошибка "rcmd: socket: All ports in use". Запускаются процессы на 8-и двухпроцессорных модулях с использованием МВС-овской системы очередей.
Поиск в И-нете дает несколько решений, например,
# echo 1 > /proc/sys/net/ipv4/tcp_tw_recycle
или использование SSH вместо RSH. Поскольку на старом кластере МВС в Московском Суперцентре можно было запускать более 256 процессов, хотелось бы знать, как была решена эта проблема там. У нас сейчас стоит часть этой системы и даже, говорят, сохранилась конфигурация настроек, но 256 MPI-процессов не запускаются. 128 процессов запускать удается.

Антон


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 5 сен 05 17:39 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Проблема в том, что клиентские(!) r-команды (rsh, rcp, rlogin...) используют только порты до 1024. При запуске открываются 3 порта - stdin/stdout/stderr. Отсюда и ограничение.
Наиболее рациональный вариант решения этой проблемы - использовать ssh с авторизацией по ключу (без пароля).


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 7 сен 05 13:05 
Не в сети

Зарегистрирован: 5 сен 05 14:55
Сообщения: 3
Serg_Zhum писал(а):
Проблема в том, что клиентские(!) r-команды (rsh, rcp, rlogin...) используют только порты до 1024. При запуске открываются 3 порта - stdin/stdout/stderr. Отсюда и ограничение.
Наиболее рациональный вариант решения этой проблемы - использовать ssh с авторизацией по ключу (без пароля).


Спасибо!
Вопрос остается в том, как заставить выполняться ssh вместо rsh при старте задачи в системе очередей МВС. Я перекомпилировал MPICH с использованием ssh, но с головного узла все равно выполняется rsh. Не могли бы подсказать, где эта система очередей конфигурируется для использования ssh вместо rsh?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 7 сен 05 18:02 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Как конфигурировать эту систему очередей - загадка :)
Могу предложить просто переименовать rsh в rsh.orig, и сделать ссылку rsh -> ssh (ln -s /usr/bin/ssh /usr/bin/rsh).
Только заранее сгенерируйте ключи для всех пользователей системы и добавьте их в соответствующие .authorized_keys-файлы...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 7 сен 05 18:53 
Не в сети

Зарегистрирован: 5 сен 05 14:55
Сообщения: 3
Да, "против лома нет приема" :D Если не найду более "правильного" решения, так и сделаю. Спасибо за совет!


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 12 сен 06 16:32 
Не в сети

Зарегистрирован: 12 сен 06 16:25
Сообщения: 1
avs писал(а):
Да, "против лома нет приема" :D Если не найду более "правильного" решения, так и сделаю. Спасибо за совет!


Насчет лома - неправда ваша. Хотя все зависит от версии СУПЗ МВС-1000. Если она достаточно свежая - смело лезьте в конфигурационный файл системы /usr/runmvs/.grunmvs
В секции [Run] имеется параметр rsh. Именно то, что Вы поставите в этот параметр, и будет вызываться всеми управляющими процессами в качестве rsh.
Не получится - пишите, отвечу.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 2 окт 06 13:15 
Не в сети

Зарегистрирован: 2 окт 06 12:13
Сообщения: 4
Откуда: Новосибирск
кстати по моему в тему проблема тоже

==============================
Timeout in waiting for processes to exit, 9 left. This may be due to a defective
rsh program (Some versions of Kerberos rsh have been observed to have this
problem).
This is not a problem with P4 or MPICH but a problem with the operating
environment. For many applications, this problem will only slow down
process termination.
==============================

у пользователя появляется при запуске
есть варианты?


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB