PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 10 дек 18 18:37

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 2 ] 
Автор Сообщение
 Заголовок сообщения: Hadoop на кластерах
СообщениеДобавлено: 3 май 14 13:17 
Не в сети

Зарегистрирован: 3 май 14 13:05
Сообщения: 1
Здравствуйте. Есть у кого-нибудь опыт развертывания на кластерах Hadoop(как он взаимодействует с torque)?

Не планируется ли его развертывание на супер-компьютерах МГУ?

Моя работа направлена на анализ больших графовых данных. Проанализировал все предлагаемые программные решения в этой области:
Signal/Collect, GraphLab, PBGL, KDT, ScaleGraph, Giraph, GraphX.
Под MPI/Torque без проблем работают KDT, ScaleGraph, PBGL, GraphLab. Но по иронии судьбы, эти продукты имеют ограничения по удалению вершин и связей в графе(только в PBGL такие функции реализованы, и то - удалять можно только вершины, находящиеся локально на данном вычислительном узле. Да и устарел уже PBGL, компьюнити не активно и ошибки в документации). А мне именно эти функции жизненно-важны.

Остаются Giraph, GraphX, Signal/Collect - но они работают на Hadoop или Spark.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Hadoop на кластерах
СообщениеДобавлено: 3 май 14 19:32 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Hadoop требует, как правило, отдельной инсталляции, поэтому запускать его под torque или чем-то аналогичным прктически бессмысленно. Можно, но будет много накладных расходов. Hadoop хорош, когда его поствили, настроили и потом можно ему "скармливать" задачи.

На суперкомпьютерах МГУ его точно ставить не предполагается, но и не запрещается установить его самостоятельно в домашнем каталоге.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 2 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 6


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB