PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 28 сен 20 12:43

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 24 ]  На страницу 1, 2  След.
Автор Сообщение
СообщениеДобавлено: 11 июн 08 17:29 
Не в сети

Зарегистрирован: 15 фев 06 17:28
Сообщения: 38
Откуда: GDT Software Group
Предлагаю конструктивно обсудить тут этот вопрос, чтобы внести ясность и
предотвратить всякие домыслы на этот счёт. Предлагаю каждому высказаться
в той степени, в которой он располагает информацией.

Цитата из того, что написал пользователь ASA по поводу СКИФ-МГУ:

Цитата:
Как минимум, блэйд-решение, разработанное Т-Платформами и не имеющее аналогов в мире: http://www.t-platforms.ru/ru/tblade.php Ядро Linux тут совсем не по делу, поскольку не имеет национальной принадлежности. А специально заточенный для HPC дистрибутив ALT Linux - российский. Сервисная сеть ServNet разработки ИПС РАН. Не говоря уже о других конструктивных решениях и программных разработках.


Итак, попытемся несколько упорядочить:
1.1. Блейд-решение: Россия, Т-Платформы (http://www.t-platforms.ru/ru/tblade.php)
1.2. Сервисная сеть ServNet: Россия, ИПС РАН + Т-Платформы (http://skif.pereslavl.ru/skif/index.cgi ... html&mnu=4)
1.3. другие конструктивные решения (???)
1.4. ОС: Россия, ALT Linux (про него известно пока только то, что он "специально заточен под HPC")
1.5. Система управления: Россия, НИВЦ МГУ, ParCon (http://parcon.parallel.ru/), в частности, для управления заданиями используется система Cleo (http://parcon.parallel.ru/cleo.html).

Кроме этого:
2.1. Дисковая система хранения данных: США + Россия, T-Platforms ReadyStorage ActiveScale Cluster (насколько я помню, основана на Panasas)
2.2. Система бесперебойного питания: ???
2.3. Климатическая система: ???
2.4. Системная сеть: США, InfiniBand DDR, Mellanox ConnectX
2.5. Вспомогательная сеть: Gigabit Ethernet (производитель???)
2.6. Процессоры: США, Intel Xeon E5472 3.0 ГГц
2.7. Материнские платы: США, SuperMicro X7DWT (http://www.supermicro.com/products/moth ... /X7DWT.cfm)
2.8. Оперативная память: ???
2.9. Накопители на узлах: ???
2.10. Аппаратные стойки и шкафы: ???
2.11. Блоки питания на узлах: ???

_________________
Alexey


Последний раз редактировалось avm 24 июн 08 12:46, всего редактировалось 3 раз(а).

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 11 июн 08 17:35 
Не в сети

Зарегистрирован: 15 фев 06 17:28
Сообщения: 38
Откуда: GDT Software Group
у меня лично возникают вопросы:
по пунктам 1.3 и 1.5 -- что именно за конструктивные решения и программые решения?
по 1.4 -- а сколько российских разработок в том самом ALT Linux "заточенном специально под HPC" -- как именно затачивали?

пока по-настоящему убедительно "отечественными" выглядят только пункты 1.1 и 1.2. Работы по системной интеграции, понятно, тоже все наши, тут ясно и так.

_________________
Alexey


Последний раз редактировалось avm 24 июн 08 12:48, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 11 июн 08 20:49 
Не в сети

Зарегистрирован: 21 дек 06 15:16
Сообщения: 121
Откуда: Нижний Новгород
По пунктам 2.7, 2.8, 2.9 у меня нет никаких данных.

Может быть, ТУ на последние СКИФы удастся добыть где-нибудь?

_________________
Если тебе дадут линованную бумагу --- пиши поперек


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 08 17:49 
Не в сети

Зарегистрирован: 15 фев 06 17:28
Сообщения: 38
Откуда: GDT Software Group
2.7. Материнские платы: США, SuperMicro X7DWT (http://www.supermicro.com/products/moth ... /X7DWT.cfm)

Кстати, по поводу пункта 1.1 нет полной уверенности, что это самое уникальное блэйд-решение выполнено самой компанией Т-платформы, не исключено, что проект был заказан у тайваньской фирмы Chenbro Micom, так как на выставке CEBIT видели очень похожий блейд на её собственном стенде. Однако, это нельзя достовено подтвердить или опровергнуть.

Итого, железная уверенность в "отечественности" осталась лишь в платах ServNet :)

_________________
Alexey


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 июн 08 18:57 
Не в сети

Зарегистрирован: 30 ноя 05 16:09
Сообщения: 130
Откуда: Ростов-на-Дону
Наверное, следует согласиться с тем, что в суперкластерах СКИФ
российской является системная интеграция разнообразного
импортного железа. Возражение вызывает, просматривающаяся
за громкими заявлениями, попытка монополизировать этот рынок.
Как бы государственным мужам не пришла в голову мысль
запретить ВУЗам приобретать что-либо, кроме изделий
корпорации СКИФ. Я думаю, конкуренция должна быть честной.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 23 июн 08 12:22 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Цитата:
по 1.4 -- а сколько российских разработок в том самом ALT Linux "заточенном специально под HPC" -- как именно затачивали?


Если Вы хотя бы раз настраивали кластер, то поймёте о чём речь. Разница примерно как между Windows Home Edition и Windows Server... Насчёт количества российских разработок в том самом ALT Linux, хочу напомнить, что этот дистрибутив, в отличие от ASP, и других - полностью российский. Т.е. он не базируется на RH или Fedora с добавлением пары пакетов и локализации, а собирается с "нуля" российской командой.

Насчёт честности конкуренции - никто не обязывает ВУЗы покупать только СКИФ. Просто это действительно хорошо продуманный и отработанный продукт. Немалую роль сыграло тут участие Союзного Государства, т.к. СКИФ является одной из его программ. Принять участие в программах СГ может любой - зайдите на сайт и убедитесь. Просто почему-то никому не охота брать на себя ответственность, писать отчёты и т.п.
Куда проще наваять груду железа, получить деньги, а дальше сами разбирайтесь что с этим делать. А ведь именно так поступает большинство российских произвидителей кластерных решений... Так с кем конкурировать?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 23 июн 08 17:14 
Не в сети

Зарегистрирован: 30 ноя 05 16:09
Сообщения: 130
Откуда: Ростов-на-Дону
Слава богу, пока не обязывают.
Но высказывания типа - "российским ВУЗам, российские суперкомпьютеры"
настораживают. А конкурировать есть с кем - IBM Cluster 1350,
HP HPC 3000 и тд. В конце концов, получить груду качественного
железа с хорошей сервисной поддержкой - это не такой уж плохой
вариант.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 23 июн 08 21:43 
Не в сети

Зарегистрирован: 15 фев 06 17:28
Сообщения: 38
Откуда: GDT Software Group
Цитата:
что именно сделали в ALT Linux HPC по сравнению с ALT Linux "обычным" -- если они на нём базировались, конечно. конкретно -- то есть, попакетно -- какие пакеты добавлены, какие изменены...


Вопрос к AltLinux, если Вам нужно так подробно... По факту - в дистрибутив включена последняя версия OFED, включая модули ядра, несколько реализаций MPI, и прочие полезные вещи. Есть наработки по централизованному обслуживанию узлов кластера. Во всех других дистрибутивах это делается, но отдельно, ручками. Или средствами типа ROCKS, которые не дают большой гибкости, увы.

Цитата:
то есть, они сами поддерживают собственный репозиторий пакетов, вместе с багтрекингом и прочими прелестями, независимо от других производителей дистрибутивов. ок. это большая работа, конечно, только вопрос -- зачем? что это даёт? особенно в разрезе HPC.


Основной темой тут был поднят вопрос о "российских" корнях в российском HPC. Вот и ответ. А зачем делать свой дистрибутив - это к ребятам из RedHat, Novell, и, конечно, AltLinux...

Цитата:
я бы не стал о филосифии в этом топике, на правах топикстартера. давайте по фактам: что отечественного, конкретно, в СКИФ-МГУ?


ASA уже упомянул. Выше, опять же, было ещё несколько пунктов. На мой взгляд, немало. С учётом того, что до своих процессоров России ещё идти и идти, то это уже неплохие наработки.

_________________
Alexey


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 24 июн 08 11:33 
Не в сети

Зарегистрирован: 18 ноя 02 16:40
Сообщения: 168
Откуда: Москва
В качестве штатной системы управления на СКИФ МГУ установлена система ParCon (http://parcon.parallel.ru/), в частности, для управления заданиями используется система Cleo (http://parcon.parallel.ru/cleo.html). Разработка НИВЦ МГУ.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 6 ноя 08 23:09 
Не в сети

Зарегистрирован: 6 ноя 08 23:04
Сообщения: 4
avm писал(а):

Итого, железная уверенность в "отечественности" осталась лишь в платах ServNet :)

А что за платы ServNet и чем они дополняют функции платы BMC(Baseboard Management Controller), устанавливаемой на материнские платы SuperMicro


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 7 ноя 08 13:58 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Они представляют более простой протокол управления и более просты в реализации. Что даёт надежду на меньшее число сбоев. BMC на SuperMicro, как оказалось, не так уж сложно завесить намертво.
Правда и возможностей меньше, но для обслуживания вполне хватает - управление питанием, serial console, управление вентиляторами.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 7 ноя 08 19:59 
Не в сети

Зарегистрирован: 6 ноя 08 23:04
Сообщения: 4
Каков ваш способ повесить намертво BMC?


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 ноя 08 15:34 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Устроить "бомбёжку" UDP-пакетами. В существенном числе случаев виснет. понятно, что специально этого делать никто не будет, но ситуация вполне воспроизводима с случае, если коммутатор сильно загружен. Например, при загрузке десятка узлов по bootp/dhcp/nfs к BMC лучше не обращаться. Когда мы грузили 650 узлов с интервалом в 3 секунды, десяток BMC зависал гарантированно.
А иногда и просто повисает. Без причины. За последние полгода на 650 узлах такое случалось раз 10 в "обычных" условиях. Редкость, но бывает.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 16 ноя 08 23:49 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Serg_Zhum писал(а):
Устроить "бомбёжку" UDP-пакетами. В существенном числе случаев виснет. понятно, что специально этого делать никто не будет, но ситуация вполне воспроизводима с случае, если коммутатор сильно загружен. Например, при загрузке десятка узлов по bootp/dhcp/nfs к BMC лучше не обращаться. Когда мы грузили 650 узлов с интервалом в 3 секунды, десяток BMC зависал гарантированно.

А если вынести все управляю щие порты bmc в отдельную VLAN'у? К тому же, при таком количестве узлов сегментация сети, ИМХО, обязательна.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 17 ноя 08 16:52 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
В каком именно смысле "сегментация"? По какому/каким из признаков?


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 24 ]  На страницу 1, 2  След.

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB