PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 23 сен 18 9:27

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 15 ] 
Автор Сообщение
 Заголовок сообщения: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 27 янв 09 14:56 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
У меня 4 ноды HP ProLiant DL385.
# lspci
...
05:07.0 PCI bridge: Mellanox Technologies MT23108 PCI Bridge (rev a1)
06:00.0 InfiniBand: Mellanox Technologies MT23108 InfiniHost (rev a1)

Не могу поднять под Ubuntu Server 8.10, неделю уже бьюсь. Кто-нибудь может направить мою энергию в нужное русло, а то я как слепой котёнок тыкаюсь, даже не знаю, что и пробовать уже?..

Через infiniband также подключается MSA1500cs, соответственно оно пока тоже недоступно, и это довольно обидно.

UPD: Я идиот! Убейте меня, кто-нибудь!
Пересобрать ядро со встроенным IB (по умолчанию оно в виде модуля), или же просто отредактировать /etc/modules по ситуации.

# modprobe -l | grep infiniband


Последний раз редактировалось Offshore 19 мар 09 5:42, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 27 янв 09 16:18 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
У меня 4 ноды HP ProLiant DL385.
# lspci
...
05:07.0 PCI bridge: Mellanox Technologies MT23108 PCI Bridge (rev a1)
06:00.0 InfiniBand: Mellanox Technologies MT23108 InfiniHost (rev a1)

Не могу поднять под Ubuntu Server 8.10, неделю уже бьюсь.

Вы ее при помощи команды lspci поднимаете?

Offshore писал(а):
Кто-нибудь может направить мою энергию в нужное русло, а то я как слепой котёнок тыкаюсь, даже не знаю, что и пробовать уже?..

Что бы конструктивно помочь, нужно знать вашу топологию, модели коммутаторов и контроллеров, способы подключения. Список того, что Вы уже проделали, устанавливали... Какие ошибки или непонятки были при этом.

Offshore писал(а):
Через infiniband также подключается MSA1500cs, соответственно оно пока тоже недоступно, и это довольно обидно.

А с каких пор фибровая хранилка должна подключаться по InfiniBand? Этот - http://h20000.www2.hp.com/bizsupport/Te ... =c00269015 документ не пробовали читать? И к тому же, совместимость оборудования HP с Ubuntu Вам никто не обещал.

Как совет на сейчас и на будущее. Оборудование которое Вы настраиваете довольно дорогое и сложное. Если Вы никогда этого не делали (а судя по всему понятия не имеете что это такое), то лучше обратиться к поставщику и попросить о настройке (если Вы конечно ее не покупали россыпью оборудования без соответствующего обслуживания). Ну или пригласить вменяемого профессионала или интегратора.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 27 янв 09 19:27 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
Andrew Sapronov писал(а):
Вы ее при помощи команды lspci поднимаете?

Оборжаться. lspci, чтобы модель адаптера посмотреть.
...Корзина подключается оптикой к ib-свичу, в который, в свою очередь и воткнуты ноды.


Andrew Sapronov писал(а):
Оборудование которое Вы настраиваете довольно дорогое и сложное.

Что вы говорите... Пожалуйста, не считайте меня криворуким несведующим идиотом по единственному сообщению.

Документ по линку видел, но сначала-то надо ib поднять.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 2:47 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
Оборжаться.

Ну вот и ржите дальше сами

Offshore писал(а):
Пожалуйста, не считайте меня криворуким несведующим идиотом по единственному сообщению.

Не искажайте написанное - ни кем я Вас не считаю. Просто каков был Ваш вопрос, таков и был Вам ответ. Видно Вы не поняли. Ну и... что Вам подсказать - ни действий не описали, ни банально модель свича...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 5:58 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
Вы, наверное, профессионал в своей области, я понимаю, но соблюдайте хоть какие-то рамки цивильности. Стоило дорываться до lspci и моей квалификации? Понятное дело, что я не кофемолку настраиваю и если я этим занимаюсь, значит у меня есть на это причины. Я предлагаю модераторам поудалять весь этот флуд и подумать о тех, кто будет потом искать решение проблемы по этим ключевым словам, если уж Вы действительно можете помочь; я именно поэтому упомянул в посте хранилище, оно к делу непосредственного отношения не имеет.

Знаете ли, обидно, когда спустя неделю насилования мозга в поисках решения, нарываешься на такой отпор.

Причём тут топология я не понимаю, с корзиной разобраться можно и потом, когда железо в нодах будет нормально настроено.

Последовательность действий ? поставил ubuntu 8.10 server, настроил ssh, поднял бондинг на 2гбит. Нашёл что-то похожее на то, что нужно, на сайте cisco (http://www.cisco.com/en/US/docs/server_ ... stall.html) но на установочном cd только пакеты для шляпы и установочный скрипт, в который я полезу разбираться только в крайнем случае.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 7:46 
Не в сети

Зарегистрирован: 30 дек 08 11:52
Сообщения: 6
Offshore, уважаемый, я не совсем понимаю: Вы пришли искать помощи, и в то же время отказываетесь описать обстановку. "Не работает" - это не описание. Даже если Вам кажется, что топология ни при чём - почему бы не ответить на вопрос?

По теме: в сторону https://launchpad.net/ubuntu/+source/libmthca и конкретно модуля ядра ib_mthca смотрели?

И присоединюсь к Andrew Sapronov: лучше на Ваше железо поставить что-то из списка OS Support (RHEL/SLES) или их более бесплатных аналогов (желательно тех, которые обеспечивают бинарную совместимость). В противном случае Вы резко повышаете вероятность необходимости прыжков с бубном/компилятором вокруг своего железа.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 15:03 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
Вы, наверное, профессионал в своей области, я понимаю, но соблюдайте хоть какие-то рамки цивильности. Стоило дорываться до lspci и моей квалификации? Понятное дело, что я не кофемолку настраиваю и если я этим занимаюсь, значит у меня есть на это причины.

Никто не может запретить Вам додумывать за меня - если Вам хочется видеть что я вас кем то считаю - ваше право. Так же как и отрицать явные факты - то что Вы не понимаете InfiniBand тоже ваше право. Например, у нас в офисе иногда ремонтируют и настраивают кофемашину. Я в ней ничего не понимаю и не стесняюсь этого. Для этого приходят профессионалы и получают за это деньги. Ничего зазорного в не знании каких то областей техники нет. Ну да и ладно...

А по делу Вы так ничего и не ответили. Давайте попробуем последний раз (не трогая ваше хранилище):
1. Модель IB свича. Как к нему подключены узлы?
2. Какой функционал Вы планируете использовать в кластере: MPI, IPoIB, iSCSI, что то еще?
3. Почему именно Ubuntu?
4. Какое ПО уже настраивали (например OFED) и что из этого получилось?
5. Какое отношение имеет транк на 2Gb к IB.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 17:50 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
Извините за недопонимание.

1. Про коммуникации по порядку. Есть гигабитный свич D-LINK DGS-3324SR, к нему каждая нода подключена по двум интерфейсам; также к нему подключены два свича IB Silverstone (точно не могу модель сказать) по ethernet; к ним подключены ноды, каждый интерфейс IB от ноды к своему свичу. К этим же IB свичам по оптике подключена корзина, каждый канал от неё ? к своему свичу.
2. MPI (с IB было бы совсем хорошо) / Cluster OpenMP; А что касается IPoIB и iSCSI ? это ведь не имеет отношения к разработке приложений, только к коммуникациям?
3. Просто до этого в основном Debian / Ubuntu, если не получится всё настроить ? не вижу препятствий в использовании Red Hat или CentOS.
4. Скачал с сайта cisco вышеозначенный образ, при установке по инструкции появляется сообщение о неподдерживаемой версии SuSE, на этом всё прекращается.
5. Никакого, Вы просили описать совершённые действия.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 19:23 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
Извините за недопонимание.

1. Про коммуникации по порядку. Есть гигабитный свич D-LINK DGS-3324SR, к нему каждая нода подключена по двум интерфейсам; также к нему подключены два свича IB Silverstone (точно не могу модель сказать) по ethernet; к ним подключены ноды, каждый интерфейс IB от ноды к своему свичу. К этим же IB свичам по оптике подключена корзина, каждый канал от неё ? к своему свичу.

Чуть понятней стало. Может коммутатор семейства Silverstorm? Точная модель для дальнейшего обсуждения обязательно нужна.
Offshore писал(а):
2. MPI (с IB было бы совсем хорошо) / Cluster OpenMP; А что касается IPoIB и iSCSI ? это ведь не имеет отношения к разработке приложений, только к коммуникациям?

MPI поверх ethernet т.е. через ваш D-Link настроить довольно просто. В системе должна быть установлена одна из реализаций этого самого MPI: openmpi, LAM, mpich и т.п. В каждом конкретном случае смотрите руководства, благо, к указанным пакетам они исчерпывающи. Да и на это форуме не раз обсуждалось.

OpenMP - технология программирования. Для этого нужен компилятор поддерживающий её. Например Intel'овый или gcc. В debian для gcc это пакеты из серии:
libgomp1 - GCC OpenMP (GOMP) support library
lib64gomp1 - GCC OpenMP (GOMP) support library (64bit)

MPI поверх IB - пакет OFED (http://www.openfabrics.org/) и очень внимательное чтение _РОДНОЙ_ документации на коммутатор. Какой он у Вас я пока не понял. Если он у Вас таки Silverstorm от Qlogic, то документация от cisco и уж тем более установочный диск бесполезны.

Offshore писал(а):
3. Просто до этого в основном Debian / Ubuntu, если не получится всё настроить ? не вижу препятствий в использовании Red Hat или CentOS.

Мои личные предпочтения: RHEL/SLES, а из свободных CENTOS/debian. Ubuntu не рекомендую.
Offshore писал(а):
4. Скачал с сайта cisco вышеозначенный образ, при установке по инструкции появляется сообщение о неподдерживаемой версии SuSE, на этом всё прекращается.

Чуть выше ответил


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 19:44 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
Да, Silverstorm, прошу прощения за опечатку, который раз уже... Бумажную документацию не могу найти, как и маркировку на корпусе. Ну, думаю, их там в линейке немного таких (12-портовый IB на 1 юнит). С MPICH я тесно не общался, только с OpenMP, но, действительно, документации по этому вопросу полно и проблемы не должны возникнуть. В принципе можно уже сейчас начинать работать, но интересует InfiniBand. По поводу ОС ? Дебиан так Дебиан, хотя Убунту обновляется почаще.

Где можно посмотреть маркировку свича?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 20:03 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
Ну, думаю, их там в линейке немного таких (12-портовый IB на 1 юнит).

http://www.qlogic.com/Products/HPC_prod ... tches.aspx
В продающихся моделях я вообще не вижу на 12 портов. Возможно где то в enf-of-sale, но там Вы лучше сами поищите.
Offshore писал(а):
С MPICH я тесно не общался, только с OpenMP, но, действительно, документации по этому вопросу полно и проблемы не должны возникнуть.

Опять таки, мои личные предпочтения, но в качестве реализации для MPI возьмите openmpi, а не mpich. Хотя в целом, не принципиально. OpenMPI модульная система, ИМХО, в гетерогенных средах где есть для MPI оставляется возможность работы через IB и через ethernet смотрится несколько лучше mpich. Возможно, кто то выскажется в пользу mpich.

Offshore писал(а):
хотя Убунту обновляется почаще.

В данном случае это скорее плохо. Для оборудования hp лучше использовать RHEL/SLES/CENTOS т.к. официальной поддержки, драйверов и т.п. для других Линуксов у них нет.

Offshore писал(а):
Где можно посмотреть маркировку свича?

Обычно маааленькие наклейки на корпусе. Название модели вряд ли будет там написано, только Part Number по которому можно уже найти _конкретную_ модель.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 28 янв 09 20:20 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
Может быть это и есть один 2Ux24 порта, тогда это 9020. По фотографиям на сайте не разобрать.


Последний раз редактировалось Offshore 30 янв 09 2:27, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 29 янв 09 0:49 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
Может быть это и есть один 2Ux24 порта, тогда это 9020. По фотографиям на сайте не разобрать.

Выше Вы пиcали, что у Вас 1U, здесь уже два. Ничего не понимаю. Было 16 портов, теперь 24. Внешне он хоть как в спеке выглядит? Лучше потерзайте поставщика на предмет того, что это за железка. Ну и в любом случае, первоначальная настройка всей этой серии (если конечно это именно эта серия) примерно одинакова (см. квикстарты). Т.е. в части сменить дефолтный айпишник и достучаться по сети к интерфейсу.


Последний раз редактировалось Andrew Sapronov 30 янв 09 11:52, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 29 янв 09 2:12 
Не в сети

Зарегистрирован: 27 окт 08 0:01
Сообщения: 7
Я говорил про 2x1Ux12, хотя судя по тому, что ничего похожего на сайте производителя нет, это, наверное, всё-таки 2Ux24 =) Выглядит как 2x1Ux12 наверное потому, что лицевые панели отдельно снимаются. А поставщика сейчас тоже не найти...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Infiniband + Ubuntu Server 8.10
СообщениеДобавлено: 29 янв 09 12:55 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Offshore писал(а):
Я говорил про 2x1Ux12, хотя судя по тому, что ничего похожего на сайте производителя нет, это, наверное, всё-таки 2Ux24 =) Выглядит как 2x1Ux12 наверное потому, что лицевые панели отдельно снимаются.

К сожалению, без знания модели вряд ли можно чем то далее помочь. Смотрите документацию на похожие по внешнему qlogic'овские железки. Из общих соображений. Отключите все. Оставьте только два узла подключенные в соседние гнезда _одного_ коммутатора. И экспериментируйте в такой маленькой конфигурации. Как вариант, после установки OFED все может заработать без дополнительных настроек.


Offshore писал(а):
А поставщика сейчас тоже не найти...

Странно, ведь не писюк же покупали. Дорогое оборудование. Бухгалтерские документы должны остаться - счета фактуры и т.п. Там обычно пишут список того, что продано.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 15 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB