rha писал(а):
Но прежде, чем ломать дрова, решил проконсультироваться у народа. Как делают нормальные люди с прямыми руками в таких случаях?
Выкидывают NFS. На нём большую скорость, тем более, на множестве мелких файлов не получите. Следующий этап - выкинуть винчестер NFS-сервера и подключить что-то побыстрее.
Цитата:
Кроме вышеупомянутых компов есть один очень мощный суперкомп с GPFS, который почти справляется в первым подходом. Согласно топ каждый поток поедает 75% CPU времени. Тем не менее хочется большего.
Хорошо бы посмотреть, а насколько I/O загружено на GPFS-сервере. подозреваю, что упираетесь уже там...
Цитата:
Теперь к техническим деталям. линукс, gcc, пока OpenMP, но в перспективе MPI или гибрид. Для I/O использую стандартную сишную библиотеку.
Тут - как удобнее... По факту - надо просто нечто, запускающее N процессов

Лучше - на разных компьютерах, чтобы не толкаться в памяти, но в данном случае, думаю, это не принципиально.