PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 26 мар 19 19:55

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 13 ] 
Автор Сообщение
 Заголовок сообщения: Объединение двух кластеров.
СообщениеДобавлено: 27 май 10 16:42 
Не в сети

Зарегистрирован: 27 май 10 16:32
Сообщения: 3
Всем доброго времени суток!
Назрел у меня вопрос: Как объединить 2 вычислительных кластера???
Есть ли другие способы кроме ГРИДа? Просто не очень хочется разворачивать ГРИД ради объединения двух кластеров из учебных классов.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 27 май 10 17:59 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Зависит от цели.
Как легковесное средство могу посоветовать X-Com


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 28 май 10 3:00 
Не в сети

Зарегистрирован: 12 янв 06 11:26
Сообщения: 98
Откуда: Хабаровск, ВЦ ДВО РАН
Еще варианты могут быть такими:
1. Маршрутизирующая PBS очередь.
2. Один pbs_server на два кластера.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 28 май 10 9:56 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
А чуть подробней ТЗ можно? А то если два класса находятся в одном здании, то может проще кинуть кабель и сделать из них просто один кластер?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 28 май 10 10:24 
Не в сети

Зарегистрирован: 27 май 10 16:32
Сообщения: 3
Andrew Sapronov писал(а):
А чуть подробней ТЗ можно? А то если два класса находятся в одном здании, то может проще кинуть кабель и сделать из них просто один кластер?

Увы нужно объединить именно 2 кластера.

ShapovalovTS писал(а):
Еще варианты могут быть такими:
1. Маршрутизирующая PBS очередь.
2. Один pbs_server на два кластера.

А можно поподробней?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 28 май 10 11:34 
Не в сети

Зарегистрирован: 27 май 10 16:32
Сообщения: 3
ShapovalovTS писал(а):
Еще варианты могут быть такими:
1. Маршрутизирующая PBS очередь.
2. Один pbs_server на два кластера.

Просто если идти таким путем, то есть для меня один непонятный момент. На каждом кластере есть своя консоль с диспетчеризатором и планировщиком, их нужно будет както связать с PBS-сервером?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 28 май 10 18:04 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Azariil писал(а):
Andrew Sapronov писал(а):
А чуть подробней ТЗ можно? А то если два класса находятся в одном здании, то может проще кинуть кабель и сделать из них просто один кластер?

Увы нужно объединить именно 2 кластера.


В каком смысле объединить-то? Запускать одну большую MPI-задачу? Или запускать много маленьких MPI-задач, чтобы распределялись по кластерам? Или запускать однопроцессорные расчёты?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 31 май 10 12:31 
Не в сети

Зарегистрирован: 30 ноя 05 16:09
Сообщения: 130
Откуда: Ростов-на-Дону
С некоторых пор меня тоже заинтересовала эта проблема.
Давай-те немного конкретизируем эту задачу.
В нашем случае, речь идет о том, что ресурсы центра коллективного пользования перегружены,
но университет приобрел множество кластеров на факультеты,
которые, по крайней мере сейчас, простаивают. Ни у кого нет принципиальных
возражжений, что бы мы часть своего потока перенаправили на выполнение на
эти кластера. Но при этом все факультеты хотят сохранить свою суверенность и автономность.
Поскольку на всех кластерах, к счастью, стоит одна и та же диспетчерская система -
OpenPBS/Torque, то имеется принципиальная возможность послатть задание
с любого кластера на любой. Но при этом возникает проблема синхронизации
рабочих каталогов до расчета и после расчета. И еще, хотелось бы избежать
двойной бухгалтерии и не регистрировать всех пользователей на всех кластерах и
избавить их от необходимости скакать по хостам.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 31 май 10 14:06 
Не в сети

Зарегистрирован: 12 янв 06 11:26
Сообщения: 98
Откуда: Хабаровск, ВЦ ДВО РАН
Дацюк В.Н. писал(а):
С некоторых пор меня тоже заинтересовала эта проблема.
Давай-те немного конкретизируем эту задачу.

У нас такая же проблема сейчас стоит. Задачей было подключение двух удаленных кластеров к одному грид-шлюзу с Globus Toolkit (в рамках проекта ГридННС). Нашли только два подходящих для нас варианта (как я озвучил ранее - маршрутизирующая очередь и общий сервер PBS). После долгих дискуссий выбрали общий сервер. По маршрутизирующим очередям мало документации. Официальная страничка - капля в море: http://www.clusterresources.com/torqued ... ml#routing так как там возникают проблемы, озвученные здесь: http://www.clusterresources.com/piperma ... 01816.html и какие проблемы еще предстоят в процессе эксплуатации, нам не известно.

В случае общего сервера PBS остается одна основная проблема - синхронизация директорий пользователей. Мы их собираемся хранить на одном хранилище, учетки держать в 1 экземпляре. Объединяем два кластера удаленных в несколько километров зданий, между площадками канал всего 1 Гбит - мало, если тянуть по нему /home, собираемся расширять и подумываем над распределеной ФС или просто синхронизацией директорий в скрипте пролога и эпилога PBS, пока не знаем. В случае, если кластера в 1 здании - с коммуникациями, я так понимаю, всё проще.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 31 май 10 15:55 
Не в сети

Зарегистрирован: 30 ноя 05 16:09
Сообщения: 130
Откуда: Ростов-на-Дону
Если Вы используете один сервер PBS и общее хранилище данных,
то вообще ни каких проблем нет. У нас один сервер обслуживает 4-е кластера.
Для каждого из них создается отдельная очередь и пользователь посылает задание
либо на один, либо на другой кластер. Вопрос состоит в использовании ресурсов
другого, совершенно автономного кластера. Без индивидуальной регистрации
на нем всех пользователей.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 31 май 10 16:33 
Не в сети

Зарегистрирован: 12 янв 06 11:26
Сообщения: 98
Откуда: Хабаровск, ВЦ ДВО РАН
Дацюк В.Н. писал(а):
Если Вы используете один сервер PBS и общее хранилище данных,
то вообще ни каких проблем нет.

Не было бы, если не считать, что между кластерами 1 канал, ширину которого нужно делить на число узлов в удаленном кластере.


Последний раз редактировалось ShapovalovTS 31 май 10 17:29, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 31 май 10 17:10 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Дацюк В.Н. писал(а):
Вопрос состоит в использовании ресурсов
другого, совершенно автономного кластера. Без индивидуальной регистрации
на нем всех пользователей.

Мне кажется, вам в любом случае светит передел сфер флияния между админами различных вычислительных установок и проблема будет скорее организационная, а не техническая. Могу поделится своим маленьким опытом.

Я обычно использую LDAP каталог в котором прописаны "считающие" пользователи. В вашем случае это может быть каталог центра коллективного пользования, который администраторы локальных кластеров разрешили в PAM. Монтирование домашнего каталога осукществляю посредством схемы autofs для LDAP и одноименного сервиса - autofs.

Грубо говоря, если позволяют каналы связи (на мой взгляд должны быть банальные >=100Мбит/с), то в LDAP каталоге добавляется пользователь, говорится где у него лежит HOME (схема autofs) - например на NFS сервере центра коллективного пользователя. Далее заходя по SSH пользователь авторизуется, ему монтируется его каталог и пусть себе считает.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Объединение двух кластеров.
СообщениеДобавлено: 31 май 10 17:45 
Не в сети

Зарегистрирован: 30 ноя 05 16:09
Сообщения: 130
Откуда: Ростов-на-Дону
ShapovalovTS писал(а):
Не было бы, если не считать, что между кластерами 1 канал, ширину которого нужно делить на число узлов в удаленном кластере.

В принципе, мы так и работаем. Каждый кластер имеет гигабитный свич для служебной сети, которые объединены линками.
У нас обее количество узлов 50, и особых проблем не возникает. Большинство задач основные объемы пишет на локальные
диски узлов.
ShapovalovTS писал(а):
Хм, без регистрации и силами самой PBS ... а у вас самих какие идеи в этом плане?

Нет особых проблем написать скрипт для запуска задания на удаленном кластере с синхронизацией рабочего каталога
до запуска расчета и по окончании расчета. Проблема в том, что запускающий скрипт выполняется на локальном
сервере, а PBS скрипт на удаленном. Поэтому требуется беспарольный вход по SSH в обоих направлениях ( для синхронизации
каталогов), а это открывает дыру в системе безопасности. Любой пользователь, может стать любым пользователем,
если их задания выполняются под одним именем на удаленном сервере. Проблема устраняется, если, либо не требуется
процедура синхронизации, либо каждый запускает задание по своим именем. Но это просто получается один кластер,
логически разделенный на разделы.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 13 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB