PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 20 сен 18 17:51

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 7 ] 
Автор Сообщение
СообщениеДобавлено: 12 май 09 22:34 
Не в сети

Зарегистрирован: 12 май 09 19:32
Сообщения: 3
Нужно построить HPC cluster для FDTD (метод конечных разностей во временной области) вычислений. Есть код распараллеленный под MPI.
Для покупки серверных процессоров (Xeon,Opteron) нехватает бюджета так что планирую взят примерно 12 узлов : Intel Core 2 Quad 2.8Ghz , 8Gig RAM на узел + связь 1Gig Enternet. За те-же деньги могу взять 4 узла: 2.1Ghz Opteron * 2 ,8Gig RAM.
Дистр: Rocks Cluster.

Хотелось бы услышать "за или против" постройке кластера на десктопных процессорах.
Что лучше: 12*4=48 узлов Intel Core2 Quad десктопных процессора или 2*8=16 узлов Opteron ?.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 12 май 09 22:44 
Не в сети

Зарегистрирован: 21 май 08 0:32
Сообщения: 14
Откуда: ОФиВП ФФ МГУ
Чем отличаются северные процессоры от младших братьев? Отказоустойчивостью и ресурсом. Так что если вам нужен кластер на полгода работы в рабочее время, можно не обращать внимание на это и учитывать пиковую производительность купленного. Для долговременных вложений лучше прочитать reference к конкретным процессорам и рассчитать, что вам больше подходит.

Кстати, есть полезная книжка от создателей этого сервера, ныне администраторов СКИФ-МГУ: Воеводин Вл.В., Жуматий С.А. Вычислительное дело и кластерные системы. Не нужно забывать, что нужно ещё потратиться на серверную/стойку, охлаждение.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 май 09 10:29 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
brat2 писал(а):
Есть код распараллеленный под MPI.

Если сервер приобретается под конкретный алгоритм, то именно от него следует плясать. Посайзить немножко на разном количестве узлов. Если ваша реализация чувствительна к пропускной способности/латентности сети, то согласно закону Амдала, прирост в узлах может не дать никакого преимущества.

brat2 писал(а):
Для покупки серверных процессоров (Xeon,Opteron) нехватает бюджета так что планирую взят примерно 12 узлов : Intel Core 2 Quad 2.8Ghz , 8Gig RAM на узел + связь 1Gig Enternet.

Память какую считали? При количестве большем чем четыре гигабайта крайне рекомендуется ставить, как минимум, ECC память, а лучше ECC REG. Собственно, и платформы должны ее поддерживать.

brat2 писал(а):
За те-же деньги могу взять 4 узла: 2.1Ghz Opteron * 2 ,8Gig RAM.
Дистр: Rocks Cluster.

Возможно, что при условиях очень сильных требованиях задачи к интерконнекту имеет смысл купить просто один четырех-процессорный сервер с 32/64 гигабайтами памяти.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 май 09 14:57 
Не в сети

Зарегистрирован: 12 май 09 19:32
Сообщения: 3
Sannis писал(а):
Так что если вам нужен кластер на полгода работы в рабочее время, можно не обращать внимание на это и учитывать пиковую производительность купленного.

Один из подобных узлов уже работает где-то примерно год без перебоев с нагрузкой где-то 80%. Поставщик дает гарантию на 3 года на все комплектующие так что минимум пару лет кластер должен поработать а потом узлы пойдут на десктопы для студентов.

Sannis писал(а):
Кстати, есть полезная книжка от создателей этого сервера, ныне администраторов СКИФ-МГУ: Воеводин Вл.В., Жуматий С.А. Вычислительное дело и кластерные системы.

Книжка замечательная, изучил уже почти всю.

Sannis писал(а):
Не нужно забывать, что нужно ещё потратиться на серверную/стойку, охлаждение.

Охлаждение в помещение где будут стоять узлы есть - кондер + фильтр, а насчет стойки планирую взять железные полки как на картинке.

Изображение



Sannis писал(а):
Если сервер приобретается под конкретный алгоритм, то именно от него следует плясать. Посайзить немножко на разном количестве узлов. Если ваша реализация чувствительна к пропускной способности/латентности сети, то согласно закону Амдала, прирост в узлах может не дать никакого преимущества.

Алгоритм протестирован на малом количестве узлов, прирост производительности есть даже на 100Мбит Enternet, так что 1Gig Enternet это конечно не InfiniBand но пока хватит.


Sannis писал(а):
Память какую считали? При количестве большем чем четыре гигабайта крайне рекомендуется ставить, как минимум, ECC память, а лучше ECC REG. Собственно, и платформы должны ее поддерживать.

Память считал как 8гиг на один четырех-ядерный процессор - то-есть 2 гиг на ядро. Память ЕЦЦ.

Sannis писал(а):
Возможно, что при условиях очень сильных требованиях задачи к интерконнекту имеет смысл купить просто один четырех-процессорный сервер с 32/64 гигабайтами памяти.

Разумеется, но выходит гораздо дороже.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 май 09 15:24 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
brat2 писал(а):
Алгоритм протестирован на малом количестве узлов, прирост производительности есть даже на 100Мбит Enternet, так что 1Gig Enternet это конечно не InfiniBand но пока хватит.

Есть то он есть, вопрос на сколько прирост и что будет с увеличением узлов. Цифры хотя бы для 4х узлов есть?

Но... если оно действительно так и Вы уверены, что алгоритм будет масштабироваться до 12 узлов, то вариант вполне себе нормальный. Разве что внешний вид у этого кластера будет несколько аляповатый ))) А надежность... +/- один узел в сервисе - не думаю, что это сильно страшно.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 май 09 15:28 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
brat2 писал(а):
Алгоритм протестирован на малом количестве узлов, прирост производительности есть даже на 100Мбит Enternet, так что 1Gig Enternet это конечно не InfiniBand но пока хватит.

Есть то он есть, вопрос на сколько прирост и что будет с увеличением узлов. Цифры хотя бы для 4х узлов есть?

Но... если оно действительно так и Вы уверены, что алгоритм будет масштабироваться до 12 узлов, то вариант вполне себе нормальный. Разве что внешний вид у этого кластера будет несколько аляповатый ))) А надежность... +/- один узел в сервисе - не думаю, что это сильно страшно.

brat2 писал(а):
Разумеется, но выходит гораздо дороже.

Сравнимо с четырьмя двух-процессорниками...

В конце концов, можно напрячь поставщика и попросить погонять немного задачу на разных стендах.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 май 09 16:31 
Не в сети

Зарегистрирован: 12 май 09 19:32
Сообщения: 3
Andrew Sapronov писал(а):
Есть то он есть, вопрос на сколько прирост и что будет с увеличением узлов. Цифры хотя бы для 4х узлов есть?

Для четырех узлов SpeedUp 3.7, кроме того планирую гонят несколько задач паралельно а не одну задачу на весь кластер.

Andrew Sapronov писал(а):
Разве что внешний вид у этого кластера будет несколько аляповатый )))

Внешний вид не волнует совсем, кластер будет находится в хозяйственном помещение с фильтрацией и охлаждением воздуха.

Andrew Sapronov писал(а):
А надежность... +/- один узел в сервисе - не думаю, что это сильно страшно.

Я тоже так думаю.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 7 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB