PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 28 фев 21 12:07

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 3 ] 
Автор Сообщение
 Заголовок сообщения: Hadoop на кластерах
СообщениеДобавлено: 3 май 14 13:17 
Не в сети

Зарегистрирован: 3 май 14 13:05
Сообщения: 1
Здравствуйте. Есть у кого-нибудь опыт развертывания на кластерах Hadoop(как он взаимодействует с torque)?

Не планируется ли его развертывание на супер-компьютерах МГУ?

Моя работа направлена на анализ больших графовых данных. Проанализировал все предлагаемые программные решения в этой области:
Signal/Collect, GraphLab, PBGL, KDT, ScaleGraph, Giraph, GraphX.
Под MPI/Torque без проблем работают KDT, ScaleGraph, PBGL, GraphLab. Но по иронии судьбы, эти продукты имеют ограничения по удалению вершин и связей в графе(только в PBGL такие функции реализованы, и то - удалять можно только вершины, находящиеся локально на данном вычислительном узле. Да и устарел уже PBGL, компьюнити не активно и ошибки в документации). А мне именно эти функции жизненно-важны.

Остаются Giraph, GraphX, Signal/Collect - но они работают на Hadoop или Spark.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Hadoop на кластерах
СообщениеДобавлено: 3 май 14 19:32 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Hadoop требует, как правило, отдельной инсталляции, поэтому запускать его под torque или чем-то аналогичным прктически бессмысленно. Можно, но будет много накладных расходов. Hadoop хорош, когда его поствили, настроили и потом можно ему "скармливать" задачи.

На суперкомпьютерах МГУ его точно ставить не предполагается, но и не запрещается установить его самостоятельно в домашнем каталоге.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: Hadoop на кластерах
СообщениеДобавлено: 4 ноя 20 14:30 
Не в сети

Зарегистрирован: 4 ноя 20 14:26
Сообщения: 4
To setup your Norton antivirus visit www.norton.com/setup and norton.com/setup enter your product key and then verify your email address.

Once you do all the steps, you are ready to download the setup.

Download it and then run it on your computer to install it.

Norton Antivirus protects your computer by scanning it constantly. It immediately blocks anything trying to enter your computer and asks you for permission to allow it to enter.

learn how to Buy Norton Antivirus Security Online .


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 3 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 1


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB