|
ИСТИНА |
Войти в систему Регистрация |
ИСТИНА ПсковГУ |
||
Обработка потока задач с зависимостями на нескольких вычислительных кластерахстатья
- Авторы: Санников Т.В., Сальников А.Н.
- Сборник: Параллельные вычислительные технологии – XIX всероссийская конференция с международным участием, ПаВТ'2025, г. Москва, 8–10 апреля 2025 г. Короткие статьи и описания плакатов
- Год издания: 2025
- Издательство: Изд-во ЮУрГУ
- Местоположение издательства: Челябинск
- Первая страница: 270
- Последняя страница: 283
- DOI: 10.14529/pct2025
- Аннотация: В статье рассматривается организация управления потоком задач, которые можно поместить для выполнения на один из нескольких вычислительных кластеров, каждый из которых управляется своей системой ведения очередей. Предполагается, что задачи пользователей - параллельные программы, для которых задано предельное время выполнения на каждом кластере и число необходимых параллельных процессов. Задачи связанны зависимостями через список необходимых файлов для выполнения.В работе представлены модификации различных популярных алгоритмов планирования потока задач, в том числе машинного обучения. Выбранные алгоритмы модернизированы для работы с несколькими вычислительными кластерами и для работы с зависимостями между задачами. Было представлено три модификации алгоритмов динамического распределения задач: Backfill, GRAPHENE, Spear. Для каждого алгоритма были сделаны модификации, позволяющие учитывать в том числе время выполнения задачи, время передачи данных (входных/выходных файлов), время, которое задача проведет во внутренней очереди кластера.Представлен инструмент для работы с несколькими кластерами. На сервере инструмент представлен кодом, написанным на языке программирования Python3, при этом критические с точки зрения производительности участки кода были написаны на языке С++ и интегрированы в Python3 приложение. Со стороны кластера код представлен набором bash-скриптов. Исследование эффективности алгоритмов проведено на наборе синтетических тестов. Параллельный код каждой атомарной задачи проводил релаксацию матрицы различного размера.
- Добавил в систему: Сальников Алексей Николаевич