PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 13 дек 19 7:32

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 31 ]  На страницу 1, 2, 3  След.
Автор Сообщение
СообщениеДобавлено: 29 июн 07 10:16 
Не в сети

Зарегистрирован: 29 июн 07 9:47
Сообщения: 19
Откуда: MSK
Решили сделать кластер, но т.к. раньше этим я не занимался, то возникает несколько вопросов.

Кластер будет из 4-16 узлов, Xeon Quad, 4Gb мозгов, Маринет 10Г и еще хотят чтоб на нодах RAID был...

1. Сколько места надо на винтах нод? Чистого, без ОС. Сколько под своп (считать по класике?)?
2. Сколько места на NFS сервере надо?
3. Есть тесты различных ОС(на одинаковом железе)?

И кто что думает по поводу fbsd или Solaris как кластерной ОС? Просто я с ними наиболее знаком и достаточно быстро получилось сделать нечно на LAMе.

_________________
;)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 29 июн 07 13:30 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
0xE5 писал(а):
Кластер будет из 4-16 узлов, Xeon Quad, 4Gb мозгов, Маринет 10Г и еще хотят чтоб на нодах RAID был...

Встречный вопрос - а зачем RAID на узлах-то? Т.е. для этого есть основания или просто хочется деньги потратить?

0xE5 писал(а):
1. Сколько места надо на винтах нод? Чистого, без ОС. Сколько под своп (считать по класике?)?

Очень зависит от задач. Если задачи не пишут временные файлы на локальные диски, то и гигабайта хватит. Чтобы забыть о логах. Если пишут - соответственно рассчитать. С запасом. И настроить чистку /tmp.
Swap - тоже от задач зависит, в общем-то. С большим свопом можно влететь на ситуацию, когда задача начинает много свопиться и всё замирает. С маленьким свопом она просто вылетит. Но есть задачи, которые свопятся большими порциями, но редко... Так что есть простор для размышлений. Я бы советовал swap сделать равным оперативке, а дальше - по обстоятельствам.

0xE5 писал(а):
2. Сколько места на NFS сервере надо?

Сколько не жалко. Тут всё от прожорливости пользователей зависит. Я бы заранее ставил NFS поверх LVM, чтобы можно было в случае чего быстро нарастить диск(и) и файловую систему.

0xE5 писал(а):
3. Есть тесты различных ОС(на одинаковом железе)?

Объективных - нет. Субъективные были в ходу в конце 90-х... В данном случае задачи-то вычислительные и разница на разных UNIX-ах будет заведомо небольшой. Разве что брать экстремальные варианты, где важна политика работы с памятью и т.п.

0xE5 писал(а):
И кто что думает по поводу fbsd или Solaris как кластерной ОС? Просто я с ними наиболее знаком и достаточно быстро получилось сделать нечно на LAMе.

А Myrinet они поддерживают? А LAME с Myrinet 10G работает? Если да, то почему бы и не попробовать. В top500 есть несколько систем и на том и на другом.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 29 июн 07 17:00 
Не в сети

Зарегистрирован: 29 июн 07 9:47
Сообщения: 19
Откуда: MSK
Serg_Zhum писал(а):
0xE5 писал(а):
Кластер будет из 4-16 узлов, Xeon Quad, 4Gb мозгов, Маринет 10Г и еще хотят чтоб на нодах RAID был...

Встречный вопрос - а зачем RAID на узлах-то? Т.е. для этого есть основания или просто хочется деньги потратить?


Изначально его небыло, но потом некто высказал мыслю, что типа обидно будет если винт грохнется и задача прервется... На вопрос что об этом программер сам подумать должен ответ был типа - такого нам не надо...


Serg_Zhum писал(а):
0xE5 писал(а):
2. Сколько места на NFS сервере надо?

Сколько не жалко. Тут всё от прожорливости пользователей зависит. Я бы заранее ставил NFS поверх LVM, чтобы можно было в случае чего быстро нарастить диск(и) и файловую систему.


Мысля :)

Serg_Zhum писал(а):
0xE5 писал(а):
3. Есть тесты различных ОС(на одинаковом железе)?

Объективных - нет. Субъективные были в ходу в конце 90-х... В данном случае задачи-то вычислительные и разница на разных UNIX-ах будет заведомо небольшой. Разве что брать экстремальные варианты, где важна политика работы с памятью и т.п.


Эм... тут еще вот про что - типа unix не linux. А если учесть что под разными ядрами разная производительность, то думаю тоже есть о чем подумать.
Хотя ИМХО точно станет понятно только после того, как сам соберу и сам протестирую на разных ОС.

Serg_Zhum писал(а):
0xE5 писал(а):
И кто что думает по поводу fbsd или Solaris как кластерной ОС? Просто я с ними наиболее знаком и достаточно быстро получилось сделать нечно на LAMе.

А Myrinet они поддерживают? А LAME с Myrinet 10G работает? Если да, то почему бы и не попробовать. В top500 есть несколько систем и на том и на другом.


Под линух дрова есть, если сурсы, то вероятно скомпилиться могут, учитывая что линух эмуляция есть и там и там.

А так время покажет =)

_________________
;)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 1 июл 07 13:25 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
0xE5 писал(а):
А если учесть что под разными ядрами разная производительность

Вы не путаете workload вычислительных задач с другими? Например с СУБД или бекендом web-сервера? Для вычислительных задач на порядок большее значение имеет компилятор и библиотеки, а также их "заточенность" под конкретную архитектуру. Лучше озаботьтесь этим вопросом. При использовании интеловского компилятора и его рантайма я не обнаружил никаких отличий между 2.6.х и 2.4.х. ОС нужно выбирать исходя из поддержки используемого оборудования, удобства, знания этой ОСи обслуживающим персоналом. Причем поддержка должна быть не номинальной, как в случае fbsd, а заявленная вендором оборудования. в общем fbsd использовать крайне не рекомендуется, а solaris лучше использовать в купе с SUNовским железом. У них иногда бывают акции когда для научных и учебных заведений делаются очень неплохие скидки.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 2 июл 07 12:33 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Полностью поддерживаю предыдущего оратора. Для вычислительной задачи влияние ОС может проявляться только в политике выделения памяти, очень редко планирование ввода-вывода.

0xE5 писал(а):
Изначально его небыло, но потом некто высказал мыслю, что типа обидно будет если винт грохнется и задача прервется... На вопрос что об этом программер сам подумать должен ответ был типа - такого нам не надо...

Винты падают не так часто. А если поставить smartmontool, то его можно и предупредить. А вот стоимость с RAID подскочит ощутимо. Лучше UPS-ы хорошие поставьте...

0xE5 писал(а):
Под линух дрова есть, если сурсы, то вероятно скомпилиться могут, учитывая что линух эмуляция есть и там и там.

А так время покажет =)


Через эмулятор гнать 10G??? Мсье наверное шутит? Насколько мне известно в эмуляторе модули ядра Linux работают как обычный процесс и к ядру ОС доступа не имеют. Т.е. RDMA и т.п. идут лесом. И вместо 10G с лёгкостью получаются 10M с латентностью Ethernet...
Так что "не советую, съедят"...


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 2 июл 07 13:06 
Не в сети

Зарегистрирован: 5 мар 05 14:01
Сообщения: 74
0xE5 писал(а):
Под линух дрова есть, если сурсы, то вероятно скомпилиться могут, учитывая что линух эмуляция есть и там и там.

Под FreeBSD эмуляция Linux ограничивается пользовательскими процессами. Для драйверов эмуляции нет. Подозреваю, что в Solaris ситуация аналогичная.
А портирование драйверов - занятие непростое. Так что если поддержки нужной ОС не заявлено у производителя оборудования или оборудования - у производителя ОС, лучше считать, что поддержки нет.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 2 июл 07 13:49 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Serg_Zhum писал(а):
Лучше UPS-ы хорошие поставьте...

Эт точно, и охлаждение серверной ... (в этой замечательной книге еще много всяких тонких "но", очень рекомендую) А вообще, если будут браться сервера фирм не из "первого эшелона", то в зеркале средствами ОС + один "обычный" винт не очень дорого выйдет.

Сам с Myrinet не работал, но сдается, что это не столь "тривиальная" вещь как Ethernet, во всяком случае, точно не так широко описанная и настолько совместимая с ПО. Может ну его, самосбор то. Закажите готовый кластер вместе с интерконнектом, если останется желание, то возьмете пару узлов и будете их мучать, а те которые хотят РАЙД, будут спокойненько работать без всяких приключений.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 2 июл 07 14:37 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Andrew Sapronov писал(а):
А вообще, если будут браться сервера фирм не из "первого эшелона", то в зеркале средствами ОС + один "обычный" винт не очень дорого выйдет.


Зеркало средствами ОС выйдет дорогими ресурсами. Само зеркалирование отъест процессора ощутимо.

Andrew Sapronov писал(а):
Сам с Myrinet не работал, но сдается, что это не столь "тривиальная" вещь как Ethernet, во всяком случае, точно не так широко описанная и настолько совместимая с ПО.

Описана-то она хорошо, даже стандарт есть. Но самому писать драйвера под Solaris я бы не стал :)


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 2 июл 07 15:41 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Serg_Zhum писал(а):
Зеркало средствами ОС выйдет дорогими ресурсами. Само зеркалирование отъест процессора ощутимо.

А Вы пробовали :wink: ? Я специально тестировал зеркала как на Win, так и на Linux машинах. Никаких особых ресурсов зеркалу не требуется. Это не 5ый рейд. Особенно если речь идет о хилых операциях ввода/вывода типа логов и прочего, а если речь идет о массированном записи/чтении, то во время этого, процессы все равно будут ждать окончания завершения i/o-операций. Аналогично и со свопом, если идет подкачка данных, то задача все равно не считается. Пусть процессор поработает. Хотя ни как в толк не возьму, чего ему там в зеркале просчитывать то, но в любом случае это был компромиссный вариант, так сказать "для бедных".


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 26 июл 07 15:28 
Не в сети

Зарегистрирован: 16 фев 05 21:36
Сообщения: 16
Откуда: Москва & Leeds
Уменя смежный вопрос, решил задать его в этой ветке.

Планируется собрать бюджетный кластер из 4х - 6ти нодов в каждом по 4-х ядернику.
Все будет работать под линухом, скорее всего mpich.

Встает вопрпс по интерконекту...
Повесить все на гигабитный хаб, латентности замучают.
1) CSI, IB или Myrinet (скорость, латентность)?
2) Что будет дешевле в сборе?
3) Какова доступность в россии?

Кластер расширять не планируется.

Если возможно описать возможные подводные камни, или хотябы обозначить то на что стоит обратить внимание...

Сам я в собирал на пробу работоспособный клсатер на эвернете :), но с большими машинами имел дело только как пользователь.

Несколько сумбурные воросы :).
Хочется сделать для себя, что-то наподобии книги рецептов.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 26 июл 07 16:43 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
BMV писал(а):
Встает вопрпс по интерконекту...
Повесить все на гигабитный хаб, латентности замучают.
1) CSI, IB или Myrinet (скорость, латентность)?

http://clusterbook.parallel.ru

BMV писал(а):
2) Что будет дешевле в сборе?

От многих факторов зависит. В том числе от сборщика :)

BMV писал(а):
3) Какова доступность в россии?

Без проблем можно всё достать. Что-то под заказ, но быстро. Даже quadrics вроде тоже можно.

BMV писал(а):
Если возможно описать возможные подводные камни, или хотябы обозначить то на что стоит обратить внимание...

http://clusterbook.parallel.ru


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 26 июл 07 18:28 
Не в сети

Зарегистрирован: 16 фев 05 21:36
Сообщения: 16
Откуда: Москва & Leeds
Спасибо за ссылку!
Пропустил ее появление.
Буду смотреть...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 26 июл 07 22:07 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
BMV писал(а):
из 4х - 6ти нодов в каждом по 4-х ядернику.

Может в этом случае проще, удобнее и дешевле одну четырехпроцессорную машину с четырьмя четырех-ядерниками ... и латентность не будет мучать :roll:


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 8 окт 07 10:10 
Не в сети

Зарегистрирован: 2 окт 06 12:13
Сообщения: 4
Откуда: Новосибирск
а есть ли тестирование Xeonа и Opteronа на одних и тех же задачах? Кто кого как говорится?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 8 окт 07 16:55 
Не в сети

Зарегистрирован: 18 июн 07 13:13
Сообщения: 47
Откуда: Москва
buzjura писал(а):
а есть ли тестирование Xeonа и Opteronа на одних и тех же задачах? Кто кого как говорится?


Разумеется есть. "Кто кого" зависит от вашей конкретной задачи.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 31 ]  На страницу 1, 2, 3  След.

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB