PARALLEL.RU

Нужно построить HPC cluster для FDTD (метод конечных разностей во временной области) вычислений. Есть код распараллеленный под MPI.
Для покупки серверных процессоров (Xeon,Opteron) нехватает бюджета так что планирую взят примерно 12 узлов : Intel Core 2 Quad 2.8Ghz , 8Gig RAM на узел + связь 1Gig Enternet. За те-же деньги могу взять 4 узла: 2.1Ghz Opteron * 2 ,8Gig RAM.
Дистр: Rocks Cluster.

Хотелось бы услышать "за или против" постройке кластера на десктопных процессорах.
Что лучше: 12*4=48 узлов Intel Core2 Quad десктопных процессора или 2*8=16 узлов Opteron ?.

Чем отличаются северные процессоры от младших братьев? Отказоустойчивостью и ресурсом. Так что если вам нужен кластер на полгода работы в рабочее время, можно не обращать внимание на это и учитывать пиковую производительность купленного. Для долговременных вложений лучше прочитать reference к конкретным процессорам и рассчитать, что вам больше подходит.

Кстати, есть полезная книжка от создателей этого сервера, ныне администраторов СКИФ-МГУ: Воеводин Вл.В., Жуматий С.А. Вычислительное дело и кластерные системы. Не нужно забывать, что нужно ещё потратиться на серверную/стойку, охлаждение.

Если сервер приобретается под конкретный алгоритм, то именно от него следует плясать. Посайзить немножко на разном количестве узлов. Если ваша реализация чувствительна к пропускной способности/латентности сети, то согласно закону Амдала, прирост в узлах может не дать никакого преимущества.


Память какую считали? При количестве большем чем четыре гигабайта крайне рекомендуется ставить, как минимум, ECC память, а лучше ECC REG. Собственно, и платформы должны ее поддерживать.


Возможно, что при условиях очень сильных требованиях задачи к интерконнекту имеет смысл купить просто один четырех-процессорный сервер с 32/64 гигабайтами памяти.

Один из подобных узлов уже работает где-то примерно год без перебоев с нагрузкой где-то 80%. Поставщик дает гарантию на 3 года на все комплектующие так что минимум пару лет кластер должен поработать а потом узлы пойдут на десктопы для студентов.


Книжка замечательная, изучил уже почти всю.


Охлаждение в помещение где будут стоять узлы есть - кондер + фильтр, а насчет стойки планирую взять железные полки как на картинке.






Алгоритм протестирован на малом количестве узлов, прирост производительности есть даже на 100Мбит Enternet, так что 1Gig Enternet это конечно не InfiniBand но пока хватит.



Память считал как 8гиг на один четырех-ядерный процессор - то-есть 2 гиг на ядро. Память ЕЦЦ.


Разумеется, но выходит гораздо дороже.

Есть то он есть, вопрос на сколько прирост и что будет с увеличением узлов. Цифры хотя бы для 4х узлов есть?

Но... если оно действительно так и Вы уверены, что алгоритм будет масштабироваться до 12 узлов, то вариант вполне себе нормальный. Разве что внешний вид у этого кластера будет несколько аляповатый ))) А надежность... +/- один узел в сервисе - не думаю, что это сильно страшно.

Есть то он есть, вопрос на сколько прирост и что будет с увеличением узлов. Цифры хотя бы для 4х узлов есть?

Но... если оно действительно так и Вы уверены, что алгоритм будет масштабироваться до 12 узлов, то вариант вполне себе нормальный. Разве что внешний вид у этого кластера будет несколько аляповатый ))) А надежность... +/- один узел в сервисе - не думаю, что это сильно страшно.


Сравнимо с четырьмя двух-процессорниками...

В конце концов, можно напрячь поставщика и попросить погонять немного задачу на разных стендах.

Для четырех узлов SpeedUp 3.7, кроме того планирую гонят несколько задач паралельно а не одну задачу на весь кластер.


Внешний вид не волнует совсем, кластер будет находится в хозяйственном помещение с фильтрацией и охлаждением воздуха.


Я тоже так думаю.