PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 14 ноя 19 1:58

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 5 ] 
Автор Сообщение
 Заголовок сообщения: MOSIX vs Beowulf
СообщениеДобавлено: 4 июн 06 16:59 
Не в сети

Зарегистрирован: 4 июн 06 16:55
Сообщения: 2
Задача:
Разработать приложение которое обмениваеться по UDP протоколу с серверами разбросаными по сети Internet. Серверов, возможно, будет несколько тысяч, а может и несколько десятков тысяч. Проблемма в том что нужна скорость порядка 50 000 000 раз в час обменяться датаграмами.

Перед мной выбор:
1) строить Mosix кластер
2) строить Beowulf кластер

Сначала я склонялся ко второму варианту, но знакомство с OpenMosix поставило передо мной это выбор. Согласно:
http://www.hispafuentes.com/hf-doc/HOWT ... /x802.html
приложения с вызовами pthreads мигрируються.

Буду рад получить обгрунтованые мнения специалистов.

PS. А нужен ли вообще кластер, или качественей построить распределенную сеть?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: MOSIX vs Beowulf
СообщениеДобавлено: 6 июн 06 14:51 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
00zic писал(а):
Проблемма в том что нужна скорость порядка 50 000 000 раз в час обменяться датаграмами.

Это 13 888 раз в секунду.... А внешний канал-то потянет?

00zic писал(а):
http://www.hispafuentes.com/hf-doc/HOWT ... /x802.html
приложения с вызовами pthreads мигрируються.


Но через общую память им при этом общаться значительно сложнее, чем на одной физической машине. Поэтому, если нити часто синхронизируются, то будут сложности.

00zic писал(а):
PS. А нужен ли вообще кластер, или качественей построить распределенную сеть?


От задачи зависит. Вы о ней слишком мало написали, чтобы можно было конкретнее что-то посоветосать...


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: MOSIX vs Beowulf
СообщениеДобавлено: 6 июн 06 16:41 
Не в сети

Зарегистрирован: 28 май 05 21:12
Сообщения: 217
Откуда: Москва
Я не специалист, но все же...

00zic писал(а):
Задача:
Серверов, возможно, будет несколько тысяч, а может и несколько десятков тысяч. Проблемма в том что нужна скорость порядка 50 000 000 раз в час обменяться датаграмами.

PS. А нужен ли вообще кластер, или качественей построить распределенную сеть?


Думаю кластерная архитектура при такой "топологии" не приемлема. Это скорее из области распределенных алгоритмов/систем. Или грид, если например за каждым из серверов скрывается по кластеру.

Это с одной стороны.

С другой, даже если каналы позволят и вы получите кластер с десятками тысяч узлов, то управление такой штукой, думается, будет весьма нетривиальной: накладные расходы будут огромны, архитектура машин разной ну и прочее ...

P.S. Размер заголовка UDP 28 байт + полезная инф. пусть будет 500 байт.
13888*500=6,62 Мбайт/сек
Это не каждая ЛВС потянет :) не говоря о внешних каналах, а если будет использоваться максимальный MTU, то даже отладку системы придется делать на гигабите :roll:


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 8 июн 06 1:41 
Не в сети

Зарегистрирован: 27 апр 03 18:47
Сообщения: 41
Откуда: НЦ ПЭ, Петербург
Согласен, стоит посмотреть в сторону grid.

Как наглядно показано, обмен между узлами за приемлемые деньги (хотя, кому как...) не получится. Причем при такой нагрузке датаграммы будут часто теряться, как бы на tcp не пришлось переходить.

А вообще, если приведете примерное описание задачи, может, можно дать более практичные советы.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения:
СообщениеДобавлено: 9 июн 06 15:33 
Не в сети

Зарегистрирован: 4 июн 06 16:55
Сообщения: 2
Планировалось развернуть на этом кластере и web поисковую систему.
Google идет по пути: много небольших среверов лучше чем одна огромная система.
По вопросу количества запросов: можно данные декомпозировать, разсылать их заархивироваными группами, что снизит объем потребляемого трафика, но увеличит время обратки данных на время сжатия/распаковки.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 5 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB