Развитие алгоритмов адаптивного построения иерархических нейросетевых классификаторов и их применение для решения эталонных и реальных задачНИР

Источник финансирования НИР

грант РФФИ

Этапы НИР

# Сроки Название
1 1 января 2015 г.-31 декабря 2015 г. Развитие алгоритмов адаптивного построения иерархических нейросетевых классификаторов и их применение для решения эталонных и реальных задач - этап 2015 г.
Результаты этапа:
2 1 января 2016 г.-31 декабря 2016 г. Развитие алгоритмов адаптивного построения иерархических нейросетевых классификаторов и их применение для решения эталонных и реальных задач - этап 2016 г.
Результаты этапа:
3 1 января 2017 г.-31 декабря 2017 г. Развитие алгоритмов адаптивного построения иерархических нейросетевых классификаторов и их применение для решения эталонных и реальных задач - этап 2017 г.
Результаты этапа: За весь период работы по Проекту были получены следующие основные результаты: 1) Осуществлена новая программная реализация нового поколения алгоритмов адаптивного построения системы иерархических нейросетевых классификаторов на языке Python. Разработан комплекс приёмов и усовершенствований алгоритма, направленных на повышение его устойчивости и уменьшение зависимости результатов от начальной инициализации: а) Реализованы различные методы инициализации весов нейронной сети (НС) – случайный и с помощью автоассоциативной памяти (ААП). б) Реализованы различные виды функции ошибки при обучении НС – отрицательный логарифм функции максимального правдоподобия (negative log likelihood, NLL) и средний квадрат отклонения (mean squared error, MSE) и соответствующие им критерии принятия решения об объединении классов. в) Для борьбы с дисбалансом групп классов по количеству примеров введена методика «предъявление по группам». г) Разработана процедура разделения исходных классов, в результате которого часть исходного класса оказывается принадлежащей одной группе объединённых классов, а другая часть – другой. д) Введена процедура повторного обучения МСП узла после завершения процедуры объединения классов в этом узле, с увеличенным количеством нейронов в скрытом слое или с более сложной архитектурой сети (добавление дополнительных скрытых слоёв), для оконечных групп классов – «листьев дерева». 2) Разработаны две типовые конфигурации системы – для решения задач классификации и для решения задач кластеризации. Для обеих конфигураций сформулированы основные технические требования и ограничения для данных. Разработан ряд специальных модельных задач с известными свойствами. Осуществлен отбор 7 эталонных задач классификации и кластеризации данных, доступных по сети Интернет. Все модификации алгоритма протестированы на модельных и эталонных задачах. Произведено сравнение результатов с альтернативными алгоритмами: логистическая регрессия и одиночный «мелкий и широкий» персептрон для задач классификации, НС Кохонена и K-means для задач кластеризации. Показано, что наиболее эффективным сочетанием приёмов является обучение ИНК с инициализацией весов с помощью ААП и с использованием функции ошибки MSE, с применением методики «предъявление по группам», с использованием процедуры разделения исходных классов, с использованием повторного обучения МСП с увеличенным количеством нейронов в скрытом слое или с более сложной архитектурой сети (добавление дополнительных скрытых слоёв), для оконечных групп классов – «листьев дерева». Основной проблемой алгоритма остается зависимость результатов автоматически создаваемого в процессе работы алгоритмов ИНК от начальных условий, однако предложенные приемы позволили существенно повысить стабильность работы алгоритма по сравнению с его базовой версией. 3) Получены результаты при решении всех четырёх рассматриваемых в проекте реальных физических задач: а) Анализ компонентного состава многокомпонентных растворов методами лазерной спектроскопии (классификация, кластеризация); б) Анализ суспензий наночастиц методами лазерной спектроскопии (кластеризация); в) Анализ состояний внешнего радиационного пояса Земли на основании данных о потоках релятивистских электронов на геостационарной орбите (кластеризация); г) Анализ и дифференциация объектов на изображениях Солнца (классификация, кластеризация). Проведено сравнение результатов классификации исследуемым алгоритмом с результатами классификации одним персептроном, а также сравнение результатов кластеризации исследуемым алгоритмом с результатами кластеризации алгоритмами НС Кохонена и K-means. Произведён анализ и дано объяснение полученных результатов с физической точки зрения. 4) Сформулировано заключение о свойствах, достоинствах, недостатках и областях применения разработанного алгоритма в обоих режимах (классификации и кластеризации). 5) Опубликовано 2 статьи в изданиях, индексируемых в системах Web of Science и Scopus, 3 статьи в журналах, индексируемых в системе Scopus, 1 статья в трудах всероссийской конференции с международным участием (индексированная в РИНЦ), 4 тезисов докладов (в т.ч. 2 тезисов, индексированных в РИНЦ). Представлено: 3 устных доклада на международных конференциях, 2 устных доклада на всероссийских конференциях с международным участием, 3 устных доклада на всероссийских конференциях.

Прикрепленные к НИР результаты

Для прикрепления результата сначала выберете тип результата (статьи, книги, ...). После чего введите несколько символов в поле поиска прикрепляемого результата, затем выберете один из предложенных и нажмите кнопку "Добавить".