PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 10 дек 18 18:01

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 3 ] 
Автор Сообщение
 Заголовок сообщения: файловая система для HPC
СообщениеДобавлено: 21 май 13 23:57 
Не в сети

Зарегистрирован: 21 сен 10 14:21
Сообщения: 7
Откуда: ИХФ РАН
Доброго всем вечера!

Преамбула:
Есть десяток узлов (core i7-990), соединенных ethernet. На всех крутятся задачи газовой динамики. Используется метод контрольных объемов. То есть проблем с праллелизацией нет.
Пробовали объединить все машины в некое подобие кластера. Но понятное дело, передача по ethernet съедает всё, так как вся информация пишется на винчестер управляющего узла по NFS.
Правда был один момент: если после разбиения геометрии на домены по числу вычислительных узлов раскидать сетки по винтам, принадлежащим этим узлам, то в процессе счета записи по NFS через Ethernet не происходило. Это значительно ускоряло счет. Приходилось собирать все вместе для просмотра результатов, но это уже не так страшно.

В связи с этим вопрос:
существует класс файловых систем, специально разработанных для HPC систем: lustre, glusterfs/ Правильно ли я понял, что данные ФС позволяют создавать общий раздел/каталог, но файлы/каталоги видимые вместе, физически располагаются на различных устройствах. И при записи узлом информации в раздел/каталог информация физически пишется только на локальное устройство?


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: файловая система для HPC
СообщениеДобавлено: 22 май 13 10:58 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Нет, не совсем так. Есть файловые системы, в которых клиенты (те, кто пишет) одновременно и серверы (дают свои диски), но их использовать очень не рекомендуется по многим причинам.

Lustre и другие распределённые системы решают проблему "узкого горла" NFS за счёт того, что серверов с дисками ставится несколько и файлы "размазываются" по ним. При этом, если все клиенты обращаются к одному файлу, то они будут всё равно работать с одним физическим сервером, но в вашем случае этого не будет.

Работа с локальным диском всегда лучше, даже если используется распределённая файловая система. Обычно начальные данные копируются в каталог /tmp (или другой локальный), туда же сохраняются временные данные, а по окончании счёта результат записывается на общий диск.


Вернуться к началу
 Профиль  
 
 Заголовок сообщения: Re: файловая система для HPC
СообщениеДобавлено: 22 май 13 11:35 
Не в сети

Зарегистрирован: 5 мар 05 14:01
Сообщения: 74
Serg_Zhum писал(а):
При этом, если все клиенты обращаются к одному файлу, то они будут всё равно работать с одним физическим сервером

Это тоже не всегда верно. Иногда и один файл размазывается по нескольким серверам, и клиенты, использующие разные куски файла, будут загружать разные серверы.

Но тем не менее соглашусь, что если есть возможность вначале скопировать данные на локальные диски, то это лучшее решение.


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 3 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 4


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB