ИСТИНА |
Войти в систему Регистрация |
|
ИСТИНА ПсковГУ |
||
Проект направлен на выявление особенностей в ходе выполнения суперкомпьютерных приложений с целью исследования их эффективности. Исследования базируются на анализе данных системного мониторинга: динамические и интегральные характеристики задач, а также данных от системы управления потоком задач. Комплекс работ над проектом содержит ряд взаимодополняющих направлений: 1) Систематизация причин и признаков неэффективного поведения приложений с точки зрения использования ресурсов суперкомпьютера. Выявление ключевых динамических и интегральных характеристик. Выработка рекомендаций по использованию системы мониторинга и полученных с ее помощью данных для проведения анализа эффективности приложений. 2) Исследование поведения конкретных динамических характеристик. Описание характерных признаков изменения поведения динамических характеристик из выделенного набора ключевых характеристик. 3) Разработка подхода, позволяющего в автоматическом режиме обнаруживать особенности хода выполнения суперкомпьютерных приложений из всего потока задач по результату анализа интегральных характеристик задач. Обеспечение возможности осуществления гибких выборок задач по обнаруженным особенностям. Подход должен позволять пользователям вести совместно анализ эффективности задач, запущенных в рамках одного проекта и предоставлять расширенные данные по любой из выполненных задач. Таким образом, в результате выполнения работ над проектом создается доступный каждому пользователю комплекс средств для эффективной работы по исследованию эффективности суперкомпьютерных приложений, что ведет к итоговому повышению отдачи от суперкомпьютерного центра в целом.
Итоговые результаты В результате выполнения работ над проектом разработан и апробирован подход к исследованию эффективности использования суперкомпьютерных систем, основанный на анализе данных системного мониторинга. Выделены ключевые динамические и интегральные характеристики. Выделено более 60 основных типов поведения, отвечающие типовым характерам использования соответствующих ресурсов. Рассмотрены примеры приложений, в которых динамические характеристики имели отвечающее выделенным признакам поведение, для чего использованы как синтетические тесты, так и реальные приложения пользователей. Данные исследований опубликованы на специально созданном сайте: dynamics.parallel.ru. Защищена диссертационная работа Д.А.Никитенко "Комплексный подход к исследованию причин и признаков снижения эффективности суперкомпьютерных приложений и систем на основе данных системного мониторинга" на соискание ученой степени кандидата физико-математических наук, специальность 05.13.11 "Математическое и программное обеспечение вычислительных машин, комплексов и сетей". Разработана система расстановки меток, отражающих признаки неэффективного поведения приложений, основанная на анализе интегральных характеристик приложений. Система реализована в виде системы тегов и позволяет осуществлять гибкую выборку данных по всему множеству завершенных задач, что позволяет выделить задачи с определенными особенностями поведения. Предоставляется широкий спектр характеристик по удовлетворяющим условиям запроса задачам. Результат является новым и не имеет аналогов в существующей практике крупнейших СКЦ. Результатом внедрения разработанных систем является повышение эффективности использования суперкомпьютерных центров в целом Результаты 2015 г. Разработана система обнаружения особенностей поведения суперкомпьютерных приложений, представляющих интерес с точки зрения исследования эффективности, основанная на автоматическом анализе интегральных характеристик приложений, данных СУПЗ и внешних анализаторов эффективности с поддержкой режима ручного использования. Система реализована в виде скриптов обнаружения признаков неэффективного поведения задач и системы тегов для присвоения соответствующих меток описаниям задач. Система позволяет осуществлять гибкую выборку данных по всему множеству завершенных задач, что позволяет выделить задачи с определенными особенностями поведения. Пользователю предоставляется широкий спектр характеристик по удовлетворяющим условиям запроса задачам. Для каждой задачи предоставляется возможность получить расширенные данные по ходу выполнения, включая отчеты по ранее проведенному анализу. Система ориентирована на проектную организацию работ в рамках СКЦ, что позволяет участникам проектов проводить анализ эффективности запущенных в рамках проекта задач совместно. Ключевым функционалом разработанной системы является возможность работы с характеристиками всего множества выполненных задач с гибкой фильтрацией по особенностям поведения с возможностью интеграции с данными внешних анализаторов эффективности работы суперкомпьютерных приложений.
грант РФФИ |
# | Сроки | Название |
1 | 1 января 2013 г.-31 декабря 2013 г. | Исследование и систематизация причин снижения эффективности параллельных приложений на современных программно-аппаратных вычислительных платформах |
Результаты этапа: В первый год работы над проектом носили в большей мере теоретический характер и велись по нескольким взаимосвязанным и основополагающим направлениям. Были выделены группы причин по их отношению к зависимости от определенных ресурсов вычислительного поля. Входящие в такую группу частные случаи формируют множество так называемых корневых причины производительности. Был выделен набор ключевых динамических характеристик, позволяющий на их основании проводить всесторонний анализ профиля приложения на основании данных времени исполнения. На основе выявления их характерного поведения стало возможным выделять признаки, отражающие специфику поведения программы или ее фрагмента. Разработаны рекомендации по анализу приложений в терминах выделенных ключевых характеристик. На основании проведенных исследований и накопленного опыта исследования суперкомпьютерных приложений по данным системного мониторинга была разработана структура базы данных примеров, отражающих характерные поведения программ. Были предложены базовые рекомендации по описанию поведения приложения Была подготовлена инфраструктура и развернуто программное обеспечение для управления созданным прототипом базы данных В терминах предложенных ключевых характеристик и принципов представления признаков характерного поведения программ или их фрагментов представлено описание суперкомпьютерных приложений из реального потока задач. | ||
2 | 1 января 2014 г.-31 декабря 2014 г. | Исследование и систематизация причин снижения эффективности параллельных приложений на современных программно-аппаратных вычислительных платформах |
Результаты этапа: результаты, достигнутые в ходе работ 2014г: Для ключевых динамических характеристик выделены основные типы поведения, отвечающие типовым характерам использования соответствующих ресурсов. Всего выделено более 60 типов характерного поведения. Выделены примеры приложений, в которых динамические характеристики имели отвечающее выделенным признакам поведение. В рассмотрении участвовали как синтетические тесты, так и реальные приложения пользователей. Рассмотрены сотни профилей приложений. Заведено доменное имя dynamics.parallel.ru. Развернута система управления контентом. Разработана структура сайта и отвечающий ей дизайн. Проведено наполнение контентом, включая динамическое подключение разработанного обработчика данных отчетов JobDigest. Подготовлена и защищена диссертационная работа Д.А.Никитенко "Комплексный подход к исследованию причин и признаков снижения эффективности суперкомпьютерных приложений и систем на основе данных системного мониторинга" на соискание ученой степени кандидата физико-математических наук, специальность 05.13.11 "Математическое и программное обеспечение вычислительных машин, комплексов и сетей". | ||
3 | 1 января 2015 г.-31 декабря 2015 г. | Исследование и систематизация причин снижения эффективности параллельных приложений на современных программно-аппаратных вычислительных платформах |
Результаты этапа: |
Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".