В связи с техническими работами в центре обработки данных, часть прикреплённых файлов в настоящее время недоступна.
 
скрыть

Математическое и программное обеспечение сложных информационно-вычислительных системНИР

Matematical methods and software of complex information system

Источник финансирования НИР

госбюджет, раздел 0110 (для тем по госзаданию)

Этапы НИР

# Сроки Название
1 1 января 2016 г.-31 декабря 2016 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: Разработан препроцессор для расширений языков C/C++, распознающий в коде программ прототипы и определения функций для SIMD-ускорителя (спецпроцессора для векторных вычислений). Разработана и прошла тестовые испытания программа для автоматического синтеза псевдослучайных тестирующих программ для проверки корректности работы специализированного SIMD-ускорителя.Разработано и апробировано на практике средство описания на языке C++ ресурсоемких, иерархически факторизуемых задач, обеспечивающее динамическое распределение и балансировку вычислительной нагрузки для гибридных супервычислительных систем. Разработано средство профилирования (сбора информации об использованном программами вычислительном времени) для эмулятора гибридных однокристальных суперЭВМ. Решена задача тематической классификации объектов при наличии частичной информации о тематической принадлежности связанных объектов. Разработана реляционная модель логического разграничения доступа (ЛРД), которая может применяться для разграничения доступа к объектам в сложно организованных информационно-вычислительных системах.
2 1 января 2017 г.-31 декабря 2017 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: По направлению «Математическое и программное обеспечение сложно организованных высокопроизводительных вычислительных систем» получены следующие основные результаты. Разработаны сценарии для нагрузочного тестирования информационно-аналитических систем с большими, сложно организованными данными с постепенным увеличением нагрузки для определения показателей максимальной пропускной способности (число запросов к системе в секунду) для заданной конфигурации системы. Проведены эксперименты на программной реализации модели ИАС «ИСТИНА» с усовершенствованными механизмами статического кэширования. Результаты свидетельствуют о значительном уменьшении времени обращения к страницам работников и об увеличении максимальной пропускной способности системы. В рамках совместного участия в проводимых на физическом факультете МГУ работ по одному из проектов Фонда Перспективных Исследований, направленному на создание перспективной вычислительной системы на основе многомерной архитектуры, разработаны специализированные языковые средства для поддержки механизмов прозрачного внутрикристального взаимодействия CPU MicroBlaze со специализированным векторным процессором в асинхронном режиме для обеспечения эффективного распараллеливания программ, реализующих алгоритмы переборного типа. Разработан генератор параллельных программ, который по заданной формуле строит прямое и, когда возможно, обратное преобразование в виде программ на языке Ассемблер для специализированного векторного вычислительного ускорителя, а также разработан код программы сопряжения для управляющего процессора с традиционной архитектурой. На языке Haskell с использованием встроенного генератора псевдослучайных экземпляров специального алгебраического типа данных (Algebraic Data Type) разработан настраиваемый генератор тестовых параллельных программ, содержащих код как для CPU, так и для специализированного аппаратного ускорителя. Разработанный генератор тестов позволяет оперативно порождать сотни тысяч псевдослучайных тестовых программ для проверки разрабатываемых компиляторов и среды исполнения. Разработаны средства трассировки программ на уровне машинных команд, текстовый интерфейс с отладчиком GDB, а также средства графического мониторинга загруженности эмулируемых внутрикристальных устройств перспективной системы класса Many-Core, разрабатываемой на физическом факультете МГУ. По направлению «Методы и средства сбора и хранения, информационного поиска и тематического анализа слабоструктурированных данных в коллекциях с большим числом взаимосвязанных объектов» получены следующие основные результаты. Разработан прототип редактора онтологий, позволяющий вводить и редактировать элементы онтологии (концепты и связи между ними). Разработан механизм хранения вводимых элементов онтологии в реляционной базе данных, с возможностью контроля версий. Для редактирования элементов онтологии реализован механизм разбивки онтологии на страницы, доступ к редактированию которых имеют конкретные пользователи редактора. Разработан механизм импорта внешних файлов с данными в форматах RDF/XML и Turtle.. Разработаны и реализованы новые интерфейсы модуля верификации. Реализованы функциональные возможности информирования ответственных за сопровождение информации в ИАС «ИСТИНА» о появлении новых результатов научной деятельности для своевременной проверки информации о таких результатах. Реализованы функциональные возможности для ответственных за сопровождение информации в ИАС «ИСТИНА» для более эффективной работы с ранее подтвержденными или отклоненными результатами научной деятельности, в частности, просмотр истории и отмена своих действий. Реализована интеграция новых механизмов, поддерживающих функции верификации информации о результатах научной деятельности с функциями создания и сдачи годового отчета НИР сотрудника. Разработан модуль поиска результатов научной деятельности в информационных системах, основанного на их тематической классификации, а также - поиска авторов результатов с использованием механизмов их ранжирования на основе специально заданных формул вычисления весовых коэффициентов. Разработаны алгоритмы автоматического определения авторов результатов научной деятельности, которые учитывают историю ранее выполненных работ. Критериями для принятия решения о совпадении автора результата деятельности и существующей записи в базе данных являются как текстовые характеристики, включая расстояние редактирования между оригинальным именем автора и транслитерации имени, связанным с записью в базе данных, так и данные о ранее выполненных работах и тематической принадлежности издания, к которому относится результат деятельности. Весовые коэффициенты и пороговые значения получены в процессе автоматического обучения на тестовой коллекции данных. Разработаны методы кластеризации вершин и выявления аномальных отношений в графе соавторства научных публикаций. Проведено автоматическое определение научных взаимосвязей структурных подразделений университета с использованием различных информационных массивов. В результате применения автоматической процедуры определения взаимосвязей между структурными подразделениями, на доступном тестовом массиве данных было выделено 5712 отношений. При этом не учитывались зависимости между подразделениями, входящими в одну цепочку административной структуры. Автоматические методы анализа позволяют: количественно оценить степень взаимодействия подразделений; предоставить перечень документально подтверждённых фактов совместной научной деятельности сотрудников этих подразделений. Разработаны методы и алгоритмы тематической кластеризации информационных профилей научных работников и преподавателей. Профили научных работников включают данные о выполненных ими научных работах. Тематическая кластеризация профилей предполагает выделение группы авторов, выполняющих работы по близким направлениям исследований. Разработаны алгоритмы выделения тематических сообществ в графе соавторства результатов научной деятельности, которые позволяют выделять творческие коллективы. Реализованы алгоритмы вычисления меры близости между наборами ключевых слов, построенных на основании данных, включенных в профиль пользователя. В сочетании с использованием алгоритмов спектральной кластеризации ориентированных помеченных графов такой подход позволяет обеспечить тематическую кластеризацию профилей пользователей. По направлению «Математическое и программное обеспечение безопасности ресурсов и вопросов верификации больших, сложно организованных информационно-вычислительных систем» получены следующие основные результаты. Разработана модель для формального описания программных компонентов, реализующих объектно-реляционное отображение в информационно-аналитических системах, которые построены на основе реляционных систем управления базами данных. Модель описана в терминах языка Agda с зависимыми типами и поддерживает статический контроль ограничений модели данных вида “первичный ключ” и “уникальность значения атрибута”. Разработан метод описания подтипов для разновидности языка Рефал в терминах промежуточного представления. Для реализации метода модифицирован разработанный ранее интерпретатор языка Рефал. Получено свидетельство о регистрации прав на программное обеспечение № 2017619963 от 12.09.2017. Поставлена задача по исследованию применимости такой системы типов в задачах формальной верификации функциональных свойств программ, а именно: показать представимость схемы проверки типов для лямбда-исчисления с простыми типами в системе подтипов для разновидности языка Рефал. Введены механизмы, ускоряющие проверку прав доступа пользователя к целевому объекту при загрузке страницы с информацией об объекте. Эффект достигается за счет использования кэша, содержащего список разрешенных видов доступа пользователя к объекту, описание которого содержится на странице, в процессе ее генерации. Реализован и готовы к включению в ИАС “ИСТИНА” программный модуль, заполняющий список разрешенных видов доступа пользователя к объекту на основе реляционной модели логического разграничения доступа. Реализовано программное средство, генерирующее модуль управления правами доступа к объектам ИАС “ИСТИНА” на основе файла в специально разработанном формате, а также создан соответствующий файл для структуры данных ИАС “ИСТИНА”.
3 1 января 2018 г.-31 декабря 2018 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: По направлению «Математическое и программное обеспечение сложно организованных высокопроизводительных вычислительных систем» получены следующие основные результаты. Разработаны сценарии для нагрузочного тестирования ИАС "ИСТИНА" с учётом полученной статистики по использованию ИАС "ИСТИНА" в производственном режиме реальными пользователями, которая содержит следующую информацию: количество одновременных соединений; наиболее популярные страницы; время обработки запросов. Проведён анализ существующих программных средств для проведения нагрузочного тестирования веб-приложений, среди которых можно выделить следующие: Apache JMeter; Wrk; WebPageTest; Locust; Tsung. Эти программные средства отличаются по функциональным возможностям, формату описания сценариев моделирования, производительности. Для перспективной модели отечественного многоядерного векторного спецвычислителя реализовано подмножество стандарта OpenCL, на котором успешно опробовано несколько высокопроизводительных приложений. Реализована поддержка сопряжения CL-ядра и кода универсального управляющего процессора. Методика распознавания и преобразования в параллельную программу циклов с известным на этапе компиляции количеством независимых по данным итераций адаптирована к используемому для отечественных гибридных вычислительных систем на кристалле компилятору. На аппаратной модели перспективного отечественного процессора опробовано разработанное средство трассировки вызовов процедур, которое печатает адреса вызывающей и вызываемой процедуры. Разработано и протестировано на эмуляторе векторного спецвычислителя средство трассировки динамически модифицируемого во время исполнения машинного кода, а также средство трассировки последовательности вызовов OpenCL API. Разработана и реализована визуализация работы многопоточной программы на уровне исходного кода, при активации которой на консоли отображаются выполняемые в данный момент времени строки исходного текста параллельной программы с указанием вычислительных ядер, на которых они исполняются. Разработано и реализовано средство визуализации загруженности многоядерной гибридной системы на кристалле, которая графически отображает загрузку как универсальных, так и векторных ядер. По направлению «Методы и средства сбора и хранения, информационного поиска и тематического анализа слабоструктурированных данных в коллекциях с большим числом взаимосвязанных объектов» получены следующие основные результаты. Разработан механизм извлечения ключевых слов из аннотации для возможности реализации контекстного поиска, в том числе - для научных результатов, для которых автором не предоставлены ключевые слова, но предоставлена аннотация на русском языке, был разработан механизм извлечения ключевых слов из аннотации. Для решения этой задачи сначала производится токенизация текста: удаляются знаки препинания, числа и прочая информация, не являющаяся словами; удаляются предлоги, частицы, союзы и другие неинформативные слова, затем к полученной последовательности слов применяется алгоритм Word2Vec. Наиболее близкие по результатам работы алгоритма отдельные слова, встречающиеся вместе, образуют ключевые слова. Реализованы алгоритмы для поиска результатов деятельности в информационной системе по их ключевым словам. Если в поисковом запросе встречается ключевое слово, то в расчёт также принимаются его словоформы и слова со схожим значением, взятые из заранее рассчитанной базы семантически близких ключевых слов. Предусмотрена также возможность поиска по предложениям, в таком случае выполняется поиск результатов, содержащих несколько слов либо словосочетаний из предложения в качестве ключевых слов. Алгоритм протестирован на данных ИАС «ИСТИНА» для проектов, поскольку для них имеются наиболее полные данные о ключевых словах и аннотациях. В дальнейшем планируется расширение алгоритмов для других типов результатов деятельности и затем внедрение данных алгоритмов в практическую эксплуатацию. На основе метода латентного размещения Дирихле (LDA) разработан алгоритм тематического моделирования для текстов. Тестирование разработанного алгоритма проводилось на коллекции данных, полученной из Microsoft Academic Graph и насчитывающий более 100 млн документов. На основе стандартных метрик качества, и метрик, использующие дополнительную информацию, представленную в научных статьях были проведено сравнительное тестирование тематические моделей, не опираясь на их внутреннее устройство. Реализованы алгоритмы поиска и сбора первичных данных о предстоящих научных мероприятиях. Влиятельность источника информации определяется на основании сопоставления количества адресов ресурсов, представленных в данном источнике и в других источниках. Редактор онтологий, разработанный специально для ИАС «ИСТИНА», предоставляет каждому пользователю системы возможность формировать свои графы связей терминов. Данные графы могут быть использованы для построения таблицы семантически близких ключевых слов и для расчёта коэффициентов схожести этих слов. Такая таблица, в свою очередь, может быть использована для информационного поиска, а также для привязки объектов системы к рубрикам различных классификаторов на основе данных о частотах встречаемости заданных либо схожих с заданными ключевых слов в этих рубриках. Такая возможность опробована на данных о проектах и диссертационных советах в ИАС «ИСТИНА». По направлению «Математическое и программное обеспечение безопасности ресурсов и вопросов верификации больших, сложно организованных информационно-вычислительных систем» получены следующие основные результаты. Разработан метод проверки типов для разновидности языка Рефал. Проверка типов реализована в виде частного случая суперкомпиляции при двух условиях, а именно: тип является завершимой функцией, а проверяемая функция завершима на входных данных заданного типа. В настоящее время реализация метода проверки типов не поддерживает вложенные вызовы функций. Разработан метод формального описания программных компонентов на основе их трансляции в промежуточное представление, использованного для реализации используемой разновидности языка Рефал. В некоторых (в настоящее время — относительно простых) случаях возможно использование разработанного метода проверки типов для проверки соответствия программы спецификации. Разработана программная библиотека на языке Python, предназначенная для управления разграничением доступа к объектам систем, разработанным с использованием фреймворка Django на основе реляционной модели ЛРД. В число функциональных возможностей библиотеки входит построение описания реляционной модели ЛРД в формате, подаваемом на вход компилятора реляционной модели ЛРД, на основе более компактного описания на языке Python. Возможность записи правил разграничения доступа к объектам системы в более компактной формы достигнута за счет извлечения информации о структуре данных системы из определения ее моделей данных вместо ее описания в файле политики безопасности. Программная библиотека, описанная в предыдущем пункте, позволяет строить полное описание модели ЛРД к объектам системы на основе ее сокращенного описания, содержащего только непосредственно правила доступа к объектам системы. При этом вся необходимая информация о структуре данных системы автоматически извлекается разработанной программной библиотекой из Django-моделей системы. Это позволяет значительно сократить объем описания модели ЛРД к объектам системы по сравнению с используемым ранее XML-подобным форматом. Кроме того, описание модели ЛРД к объектам системы на Python дает возможность определять сокращенную запись для ряда часто используемых видов правил управления доступом к объектам системы. В случае ИАС “ИСТИНА” такими часто используемыми видами правил являются правила, включающие распространения разрешений, выданных пользователям для подразделений, на их дочерние подразделения, а также ограничение действия некоторых разрешений по времени. В настоящее время в ИАС “ИСТИНА” определена удобная компактная форма записи для правил такого вида. Компиляция описания политики безопасности системы из файла в специально разработанном формате в файл на языке Python позволяет статически проверять некоторые из свойств используемой модели ЛРД, таких как, например, наличие циклически зависимых правил разграничения доступа. Проверка наличия таких правил в общем случае невозможна при описании механизмов разграничения доступа к объектам системы непосредственно на языке Python. В настоящее время механизмы реляционной модели ЛРД используются при проверке прав доступа пользователей к наиболее важным объектам ИАС “ИСТИНА”, включая открытые профили сотрудников, результаты научно-исследовательской деятельности, организации, подразделения и диссертационные советы. Программная библиотека, описанная в предыдущих пунктах, используется для построения описания модели разграничения доступа к объектам системы в формате, подаваемом на вход компилятора реляционной модели ЛРД. При этом необходимая информация о структуре базы данных системы автоматически извлекается из Django-моделей системы, что исключает необходимость ее ручного описания в файле политики безопасности. В противном случае это описание в значительной степени дублировало бы описание самих моделей данных системы.
4 1 января 2019 г.-31 декабря 2019 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: На направлении «Математическое и программное обеспечение сложно организованных высокопроизводительных вычислительных систем» Реализованы программные механизмы для развёртывания модели распределённой системы с использованием программного средства для управлениями конфигурациями Ansible. Разработаны сценарии для нагрузочного тестирования распределённых систем с различными конфигурациями. Разработана технология преобразования исходного кода C- и OpenCL-программ с константными по числу итераций циклами в форму, которая транслируется базовым компилятором Clang в векторизуемое промежуточное представление, не содержащее инструкций условных переходов. Разработана технология оптимизирующей трансляции получаемого таким образом промежуточного представления в машинный код целевого векторного процессора, имеющего VLIW архитектуру. Разработан синтаксический анализатор для специализированного ассемблера векторного процессора, порождающий соответствующее абстрактное синтаксическое дерево с последующим его преобразованием в промежуточное представление. На направлении «Методы и средства сбора и хранения, информационного поиска и тематического анализа слабоструктурированных данных в коллекциях с большим числом взаимосвязанных объектов» Выделены критерии оценки уровня периодических научных мероприятий. Предложены методы получения количественных оценок, на основе открытых данных. Реализованы прототипы программных средств. Разработана модель хранения данных о ключевых словах публикаций в реляционных базах данных. Разработан алгоритм и программный модуль для загрузки ключевых слов из внешних систем. Разработан алгоритм и реализован программный модуль для поиска переводов ключевых слов в словарях при помощи программного интерфейса сервиса Abbyy Lingvo. Реализована начальная версия модуля поиска экспертов в предметной области, заданной ключевыми словами. Исследованы методы пост-обработки векторных представлений слов и документов, базирующиеся на понижении размерности векторных представлений и на переходе от числовых признаков к категориальным. Исследованы существующие и разработаны новые методы формирования векторных представлений документов по векторным представлениям слов. Разработаны методы, базирующиеся на решении задачи восстановления регрессии Разработаны математические модели алгоритмов построения схожести объектов на основе графа цитируемости. Разработана программная реализация, позволяющая подбирать похожие по тематики журналы и конференции. На направлении «Математическое и программное обеспечение безопасности ресурсов и процессов верификации больших информационно-вычислительных систем» Доработана модель проверки типов и на её основе внесены модификации в программную реализацию средства проверки типов для разновидности языка Рефал. Разработан макет средства проверки типов лямбда-исчисления с простыми типами. Добавлена возможность экспорта структуры данных реляционной модели ЛРД в JSON формат. Разработано средство визуализации структуры отношений между классами системы.
5 1 января 2020 г.-31 декабря 2020 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: По направлению "Математическое и программное обеспечение сложно организованных высокопроизводительных вычислительных систем" Разработаны сценарии для нагрузочного тестирования информационно-аналитической системы. Разработан подход тестирования many-core системы на кристалле. Разработан специальный UV-код. Разработана специальная версия эмулятора перспективного SIMD -ускорителя для отечественного many-core процессора, которая реализована совместно с модулем ассемблера и пошагового программного отладчика векторных программ. Сформирован набор начальных (базовых) требований к хранилищу структурированных описаний документов. Проведен анализ существующих решений по созданию и поддержке хранилищ структурированных описаний документов. Проведено исследование возможностей пакета Apache Chemistry. По направлению "Методы и средства сбора и хранения, информационного поиска и тематического анализа слабоструктурированных данных в коллекциях с большим числом взаимосвязанных объектов" Разработана система выполнения полнотекстовых запросов с булевыми связками. Реализована поддержка учета различных форм слов из поискового запроса. Реализован автоматический поиск переводов ключевых слов при помощи сервиса Википедия. Добавлена поддержка поиска экспертов по предметной области,связанной с научно-исследовательской работой (НИОКР). Разработаны математические модели и алгоритмы для автоматического определения переводов публикаций на основе графа соавторства с учетом семантической близости названий публикаций. Проведено исследование методов построения векторных представлений для набора документов, имеющих фиксированную длину. Проведено исследование методов представления документов в виде объединения документов, имеющих фиксированную длину. По направлению "Математическое и программное обеспечение безопасности ресурсов и вопросов верификации больших, сложно организованных информационно-вычислительных систем" Разработана вторая версия промежуточного представления разновидности языка Рефал и реализован её интерпретатор. Доработана подсистема визуализации реляционной модели в плане удобства пользовательского интерфейса. Проведена оценка быстродействия механизмов реляционной модели ЛРД по сравнению с ранее используемыми в системе механизмами разграничения доступа.
6 1 января 2021 г.-31 декабря 2021 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: По направлению "Математическое и программное обеспечение сложно организованных высокопроизводительных вычислительных систем" Разработан сценарий для нагрузочного тестирования механизмов ввода и верификации наукометрических данных в информационно-аналитических системах с апробацией на реальных данных. Проведена серия экспериментов с популярными компонентами Web-систем (сервер Nginx, Python-драйвере СУБД PostgreSQL. Разработана формальная модель и реализован программный прототип А-машины: асинхронного обобщения графовой G-машины, известной из теории программирования. Разработан алгоритм декомпозиции векторизуемого кода. Разработан алгоритм статистического анализа бездивергентных фрагментов векторного кода. Исследованы возможные механизмы построения гетерогенных хранилищ наукометрических данных с единым центром. По направлению "Методы и средства сбора и хранения, информационного поиска и тематического анализа слабоструктурированных данных в коллекциях с большим числом взаимосвязанных объектов" Разработан метод выявления искомых отношений в текстах аннотаций. Переработана архитектура модуля поиска экспертов по предметной области. Добавлена возможность задавать правила для учета весовых коэффициентов результатов деятельности. Добавлена фильтрация по году результата деятельности. Разработана математическая модель и алгоритмы для тематического поиска конференций. Проведено исследование методов построения векторных представлений для набора документов. По направлению "Математическое и программное обеспечение безопасности ресурсов и вопросов верификации больших, сложно организованных информационно-вычислительных систем" Разработан компилятор реляционной модели разграничения доступа. Спроектирована и реализована функция для обработки порожденных отношений. Разработаны два вида генераторов выражений промежуточного представления.
7 1 января 2022 г.-31 декабря 2022 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа: По направлению "Математическое и программное обеспечение сложно организованных высокопроизводительных вычислительных систем" Разработан набор сценариев для нагрузочного тестирования механизмов ввода и верификации наукометрических данных в информационно-аналитических системах. Произведена адаптация разработанных алгоритмов долговременного кэширования к Python-фреймворку Django. Разработан алгоритм распределения тел циклов с большим количеством инструкций на несколько сегментов векторного ускорителя. Реализована процедура формирования пакета данных о НИОКТР для передачи сведений в ЕГИСУ НИОКТР. Подготовлены изменения в структуре базе данных для сбора дополнительных сведений о НИОКТР. Реализован пользовательский интерфейс. По направлению "Методы и средства сбора и хранения, информационного поиска и тематического анализа слабоструктурированных данных в коллекциях с большим числом взаимосвязанных объектов" Проведено выделение новой научной технологии из аннотаций научных публикаций с использованием методов машинного обучения. Расширены функции модуля формирования запросов к СУБД для построения списков агрегированных данных из различных таблиц. Разработаны математическая модель и алгоритмы для тематического поиска экспертов по данным наукометрических систем соавторства. Разработан интерфейс на основе модуля SQLREPORT. Подготовлен предварительный вариант учебного пособия по математическим основам машинного обучения. По направлению "Математическое и программное обеспечение безопасности ресурсов и вопросов верификации больших, сложно организованных информационно-вычислительных систем" Разработан макет средства статического анализа исходного кода информационно-аналитической системы с Web-интерфейсом на основе платформы Django.
8 1 января 2023 г.-31 декабря 2023 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа:
9 1 января 2024 г.-31 декабря 2024 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа:
10 1 января 2025 г.-31 декабря 2025 г. Математическое и программное обеспечение сложных информационно-вычислительных систем
Результаты этапа:

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".