PARALLEL.RU

У меня 4 ноды HP ProLiant DL385.
# lspci
...
05:07.0 PCI bridge: Mellanox Technologies MT23108 PCI Bridge (rev a1)
06:00.0 InfiniBand: Mellanox Technologies MT23108 InfiniHost (rev a1)

Не могу поднять под Ubuntu Server 8.10, неделю уже бьюсь. Кто-нибудь может направить мою энергию в нужное русло, а то я как слепой котёнок тыкаюсь, даже не знаю, что и пробовать уже?..

Через infiniband также подключается MSA1500cs, соответственно оно пока тоже недоступно, и это довольно обидно.

UPD: Я идиот! Убейте меня, кто-нибудь!
Пересобрать ядро со встроенным IB (по умолчанию оно в виде модуля), или же просто отредактировать /etc/modules по ситуации.

# modprobe -l | grep infiniband

Вы ее при помощи команды lspci поднимаете?


Что бы конструктивно помочь, нужно знать вашу топологию, модели коммутаторов и контроллеров, способы подключения. Список того, что Вы уже проделали, устанавливали... Какие ошибки или непонятки были при этом.


А с каких пор фибровая хранилка должна подключаться по InfiniBand? Этот - http://h20000.www2.hp.com/bizsupport/Te ... =c00269015 документ не пробовали читать? И к тому же, совместимость оборудования HP с Ubuntu Вам никто не обещал.

Как совет на сейчас и на будущее. Оборудование которое Вы настраиваете довольно дорогое и сложное. Если Вы никогда этого не делали (а судя по всему понятия не имеете что это такое), то лучше обратиться к поставщику и попросить о настройке (если Вы конечно ее не покупали россыпью оборудования без соответствующего обслуживания). Ну или пригласить вменяемого профессионала или интегратора.

Оборжаться. lspci, чтобы модель адаптера посмотреть.
...Корзина подключается оптикой к ib-свичу, в который, в свою очередь и воткнуты ноды.



Что вы говорите... Пожалуйста, не считайте меня криворуким несведующим идиотом по единственному сообщению.

Документ по линку видел, но сначала-то надо ib поднять.

Ну вот и ржите дальше сами


Не искажайте написанное - ни кем я Вас не считаю. Просто каков был Ваш вопрос, таков и был Вам ответ. Видно Вы не поняли. Ну и... что Вам подсказать - ни действий не описали, ни банально модель свича...

Вы, наверное, профессионал в своей области, я понимаю, но соблюдайте хоть какие-то рамки цивильности. Стоило дорываться до lspci и моей квалификации? Понятное дело, что я не кофемолку настраиваю и если я этим занимаюсь, значит у меня есть на это причины. Я предлагаю модераторам поудалять весь этот флуд и подумать о тех, кто будет потом искать решение проблемы по этим ключевым словам, если уж Вы действительно можете помочь; я именно поэтому упомянул в посте хранилище, оно к делу непосредственного отношения не имеет.

Знаете ли, обидно, когда спустя неделю насилования мозга в поисках решения, нарываешься на такой отпор.

Причём тут топология я не понимаю, с корзиной разобраться можно и потом, когда железо в нодах будет нормально настроено.

Последовательность действий ? поставил ubuntu 8.10 server, настроил ssh, поднял бондинг на 2гбит. Нашёл что-то похожее на то, что нужно, на сайте cisco (http://www.cisco.com/en/US/docs/server_ ... stall.html) но на установочном cd только пакеты для шляпы и установочный скрипт, в который я полезу разбираться только в крайнем случае.

Offshore, уважаемый, я не совсем понимаю: Вы пришли искать помощи, и в то же время отказываетесь описать обстановку. "Не работает" - это не описание. Даже если Вам кажется, что топология ни при чём - почему бы не ответить на вопрос?

По теме: в сторону https://launchpad.net/ubuntu/+source/libmthca и конкретно модуля ядра ib_mthca смотрели?

И присоединюсь к Andrew Sapronov: лучше на Ваше железо поставить что-то из списка OS Support (RHEL/SLES) или их более бесплатных аналогов (желательно тех, которые обеспечивают бинарную совместимость). В противном случае Вы резко повышаете вероятность необходимости прыжков с бубном/компилятором вокруг своего железа.

Никто не может запретить Вам додумывать за меня - если Вам хочется видеть что я вас кем то считаю - ваше право. Так же как и отрицать явные факты - то что Вы не понимаете InfiniBand тоже ваше право. Например, у нас в офисе иногда ремонтируют и настраивают кофемашину. Я в ней ничего не понимаю и не стесняюсь этого. Для этого приходят профессионалы и получают за это деньги. Ничего зазорного в не знании каких то областей техники нет. Ну да и ладно...

А по делу Вы так ничего и не ответили. Давайте попробуем последний раз (не трогая ваше хранилище):
1. Модель IB свича. Как к нему подключены узлы?
2. Какой функционал Вы планируете использовать в кластере: MPI, IPoIB, iSCSI, что то еще?
3. Почему именно Ubuntu?
4. Какое ПО уже настраивали (например OFED) и что из этого получилось?
5. Какое отношение имеет транк на 2Gb к IB.

Извините за недопонимание.

1. Про коммуникации по порядку. Есть гигабитный свич D-LINK DGS-3324SR, к нему каждая нода подключена по двум интерфейсам; также к нему подключены два свича IB Silverstone (точно не могу модель сказать) по ethernet; к ним подключены ноды, каждый интерфейс IB от ноды к своему свичу. К этим же IB свичам по оптике подключена корзина, каждый канал от неё ? к своему свичу.
2. MPI (с IB было бы совсем хорошо) / Cluster OpenMP; А что касается IPoIB и iSCSI ? это ведь не имеет отношения к разработке приложений, только к коммуникациям?
3. Просто до этого в основном Debian / Ubuntu, если не получится всё настроить ? не вижу препятствий в использовании Red Hat или CentOS.
4. Скачал с сайта cisco вышеозначенный образ, при установке по инструкции появляется сообщение о неподдерживаемой версии SuSE, на этом всё прекращается.
5. Никакого, Вы просили описать совершённые действия.

Чуть понятней стало. Может коммутатор семейства Silverstorm? Точная модель для дальнейшего обсуждения обязательно нужна.

MPI поверх ethernet т.е. через ваш D-Link настроить довольно просто. В системе должна быть установлена одна из реализаций этого самого MPI: openmpi, LAM, mpich и т.п. В каждом конкретном случае смотрите руководства, благо, к указанным пакетам они исчерпывающи. Да и на это форуме не раз обсуждалось.

OpenMP - технология программирования. Для этого нужен компилятор поддерживающий её. Например Intel'овый или gcc. В debian для gcc это пакеты из серии:
libgomp1 - GCC OpenMP (GOMP) support library
lib64gomp1 - GCC OpenMP (GOMP) support library (64bit)

MPI поверх IB - пакет OFED (http://www.openfabrics.org/) и очень внимательное чтение _РОДНОЙ_ документации на коммутатор. Какой он у Вас я пока не понял. Если он у Вас таки Silverstorm от Qlogic, то документация от cisco и уж тем более установочный диск бесполезны.


Мои личные предпочтения: RHEL/SLES, а из свободных CENTOS/debian. Ubuntu не рекомендую.

Чуть выше ответил

Да, Silverstorm, прошу прощения за опечатку, который раз уже... Бумажную документацию не могу найти, как и маркировку на корпусе. Ну, думаю, их там в линейке немного таких (12-портовый IB на 1 юнит). С MPICH я тесно не общался, только с OpenMP, но, действительно, документации по этому вопросу полно и проблемы не должны возникнуть. В принципе можно уже сейчас начинать работать, но интересует InfiniBand. По поводу ОС ? Дебиан так Дебиан, хотя Убунту обновляется почаще.

Где можно посмотреть маркировку свича?

http://www.qlogic.com/Products/HPC_prod ... tches.aspx
В продающихся моделях я вообще не вижу на 12 портов. Возможно где то в enf-of-sale, но там Вы лучше сами поищите.

Опять таки, мои личные предпочтения, но в качестве реализации для MPI возьмите openmpi, а не mpich. Хотя в целом, не принципиально. OpenMPI модульная система, ИМХО, в гетерогенных средах где есть для MPI оставляется возможность работы через IB и через ethernet смотрится несколько лучше mpich. Возможно, кто то выскажется в пользу mpich.


В данном случае это скорее плохо. Для оборудования hp лучше использовать RHEL/SLES/CENTOS т.к. официальной поддержки, драйверов и т.п. для других Линуксов у них нет.


Обычно маааленькие наклейки на корпусе. Название модели вряд ли будет там написано, только Part Number по которому можно уже найти _конкретную_ модель.

Может быть это и есть один 2Ux24 порта, тогда это 9020. По фотографиям на сайте не разобрать.

Выше Вы пиcали, что у Вас 1U, здесь уже два. Ничего не понимаю. Было 16 портов, теперь 24. Внешне он хоть как в спеке выглядит? Лучше потерзайте поставщика на предмет того, что это за железка. Ну и в любом случае, первоначальная настройка всей этой серии (если конечно это именно эта серия) примерно одинакова (см. квикстарты). Т.е. в части сменить дефолтный айпишник и достучаться по сети к интерфейсу.

Я говорил про 2x1Ux12, хотя судя по тому, что ничего похожего на сайте производителя нет, это, наверное, всё-таки 2Ux24 =) Выглядит как 2x1Ux12 наверное потому, что лицевые панели отдельно снимаются. А поставщика сейчас тоже не найти...

К сожалению, без знания модели вряд ли можно чем то далее помочь. Смотрите документацию на похожие по внешнему qlogic'овские железки. Из общих соображений. Отключите все. Оставьте только два узла подключенные в соседние гнезда _одного_ коммутатора. И экспериментируйте в такой маленькой конфигурации. Как вариант, после установки OFED все может заработать без дополнительных настроек.



Странно, ведь не писюк же покупали. Дорогое оборудование. Бухгалтерские документы должны остаться - счета фактуры и т.п. Там обычно пишут список того, что продано.