PARALLEL.RU

Дискуссионный клуб по параллельным вычислениям
Текущее время: 22 июл 19 12:40

Часовой пояс: UTC + 4 часа [ Летнее время ]




Начать новую тему Ответить на тему  [ Сообщений: 4 ] 
Автор Сообщение
СообщениеДобавлено: 12 янв 14 14:26 
Не в сети

Зарегистрирован: 12 янв 14 14:16
Сообщения: 2
PRUN - это новый планировщик задач в распределенных вычислительных системах (кластерах) на базе Linux/*nix.
Как и другие полнофункциональные системы пакетных заданий, PRUN предоставляет механизм очередей задач,
планирование задач, приоритеты задач, выполнение задач в вычислительном кластере с учетом ресурсов
отдельных вычислительных узлов. PRUN является простым в использовании, полнофункциональным, стабильным
решением для запуска задач в кластере. PRUN имеет много общего с существующими планировщиками задач, такими
как HTCondor и SLURM, при этом являясь гораздо более легким решением как в установке, так и в использовании.

Основные характеристики (v0.1):
  • Поддержка различных языков программирования для задач: Python, Ruby, Java, js (aka node.js) и shell scripts
  • Приоритеты задач, возможность эксклюзивного запуска задач на узле кластера
  • Возможность установки максимального числа процессоров выполняемой задачи для одного узла кластера
  • Возможность установки максимального числа процессоров выполняемой задачи для всех узлов кластера
  • Возможность привязки выполнения задачи к определенным узлам и/или группам узлов кластера
  • Определение порядка выполнения задач в виде ориентированного ациклического графа (метазадача, DAG-jobs)
  • Автоматическое перепланирование задачи со сбойных узлов на другие доступные узлы кластера
  • Возможность останавливать выполнение задачи при наступлении таймаута или по команде пользователя
  • Возможность добавлять/удалять отдельные узлы и группы узлов кластера на лету

Страница проекта на GitHub

С уважением,
разработчик PRUN.


Последний раз редактировалось Heisenberg 14 янв 14 14:57, всего редактировалось 1 раз.

Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 янв 14 11:40 
Не в сети

Зарегистрирован: 11 дек 02 19:37
Сообщения: 872
Откуда: НИВЦ МГУ
Описание задачи в json это сильно, конечно. Оно очень удобно, если задачи ставит робот, но для человека это жутко неудобно.
Есть ли реализация стандарта POSIX (http://pubs.opengroup.org/onlinepubs/96 ... hap03.html) для этого планировщика?

Из описания непонятно:
- умеет ли эта система запускать MPI-приложения, если да, то нужно ли для этого как-то с ней интегрироваться?
- есть ли контроль работы приложения на узле (можно ли его принудительно завершить)?

Кстати, как правило, планировщик - это только та подсистема, которая собственно планирует запуск задач и она может существовать отдельно (как MAUI, например) и просто не уметь запускать задачи. А то, что тут описано, скорее система управления задачами (как тот же SLURM, Torque и прочие), плюс встроенный планировщик.

Ещё вопрос - насколько сложно отделить планировщик и выпустить как отдельный проект? В качестве интерфейса можно использовать MAUI WIKI - тогда его будет действительно удобно использовать во многих проектах.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 13 янв 14 13:24 
Не в сети

Зарегистрирован: 12 янв 14 14:16
Сообщения: 2
Serg_Zhum писал(а):
Есть ли реализация стандарта POSIX (http://pubs.opengroup.org/onlinepubs/96 ... hap03.html) для этого планировщика?
Нет.

Serg_Zhum писал(а):
- умеет ли эта система запускать MPI-приложения, если да, то нужно ли для этого как-то с ней интегрироваться?
Да. Она не различает какое приложение будет запущено, будь то MPI-приложение, утилита UNIX или что-нибудь еще.
По сути это запуск скрипта, который в свою очередь выполняет работу сам, либо запускает другое приложение.
Задачи выполняются с правами непривилегированного пользователя.

Serg_Zhum писал(а):
- есть ли контроль работы приложения на узле (можно ли его принудительно завершить)?
Да. По команде пользователя, либо по таймауту.

Serg_Zhum писал(а):
Ещё вопрос - насколько сложно отделить планировщик и выпустить как отдельный проект?
Поскольку как сам планировщик, так и исполняющая система получились довольно миниатюрными (~10K-LoC на обоих),
то чисто технически это возможно в относительно короткие сроки. На данный момент такая задача не рассматривалась
просто потому, что в этом не было никакой необходимости.

PS. PRUN тестировался в облачной среде (кластер) Amazon Web Services (AWS). Запускались такие I/O bound, CPU bound
задачи как: сортировака больших файлов (10-100 Гб), факторизация больших целых чисел, построение инвертированного
индекса для набора документов.


Вернуться к началу
 Профиль  
 
СообщениеДобавлено: 25 фев 16 10:43 
Не в сети

Зарегистрирован: 25 фев 16 10:15
Сообщения: 1
PRUN - это новый планировщик задач в распределенных вычислительных системах (кластерах) на базе Linux/*nix.
Как и другие полнофункциональные системы пакетных заданий, PRUN предоставляет механизм очередей задач,
планирование задач, приоритеты задач, выполнение задач в вычислительном кластере с учетом ресурсов
отдельных вычислительных узлов. PRUN является простым в использовании, полнофункциональным, стабильным
решением для запуска задач в кластере. PRUN имеет много общего с существующими планировщиками задач, такими
как HTCondor и SLURM, при этом являясь гораздо более легким решением как в установке, так и в использовании.







http://pakistanilawn.blogspot.com/


Вернуться к началу
 Профиль  
 
Показать сообщения за:  Поле сортировки  
Начать новую тему Ответить на тему  [ Сообщений: 4 ] 

Часовой пояс: UTC + 4 часа [ Летнее время ]


Кто сейчас на конференции

Сейчас этот форум просматривают: Exabot [Bot] и гости: 2


Вы не можете начинать темы
Вы не можете отвечать на сообщения
Вы не можете редактировать свои сообщения
Вы не можете удалять свои сообщения
Вы не можете добавлять вложения

Найти:
Перейти:  
cron
Создано на основе phpBB® Forum Software © phpBB Group
Русская поддержка phpBB