Аннотация:Изучение локомоции мельчайших насекомых получило активное развитие лишь в последнее десятилетие в связи с техническими трудностями, сопровождающими работу с субмиллиметровыми живыми объектами: сбор живого материала и его сохранение в нормальном физиологическом состоянии в течение эксперимента, скоростная макровидеосъемка, обработка видеоматериалов и численное моделирование аэродинамики перистых крыльев. На данный момент методологическая база, разработанная нашим коллективом и зарубежными коллегами, позволяет получать общее представление о принципах полета отдельных миниатюрных видов насекомых (Lyu et al., 2019; Cheng, Sun, 2021; Farisenkov et al., 2022), однако для исследования широкого круга объектов, а также механики управления движением необходимы качественно новые подходы и методы.Одна из основных сложностей в изучении управления движением у животных по сравнению с обычным описанием общих принципов кинематики и аэродинамики состоит в необходимости получения значительно большего количества данных для анализа различных маневров. Ручная трехмерная реконструкция не подходит для выполнения таких объемных задач, поскольку требует несоразмерных затрат человеческого времени. Решением этой проблемы является компьютерное зрение на основе глубокого машинного обучения, которое уже активно применяют в этологии и медицине.Для исследования полета и плавания мельчайших перепончатокрылых нами адаптирована среда для двумерного трекинга DeepLabCut (Mathis et al., 2018), в основе которой лежит комбинация предобученных остаточных нейросетей (ResNet, He et al., 2016, а также других) и слоев деконволюции. В качестве модельного объекта для подбора нейронных сетей и оптимизации параметров их обучения нами выбран один из самых миниатюрных видов летающих насекомых – Megaphragma viggianii с длиной тела 250 мкм, автоматический трекинг которого в силу перистого строения крыльев и предела оптического разрешения не возможен при использовании алгоритмического компьютерного зрения (вычитание фона, подгонка по трехмерной модели) или сверточных нейросетей, таких как VGG16 (Simonyan, Zisserman, 2014; Breslav et al., 2017), которая встроена в популярный инструмент для трекинга и триангуляции насекомых DLTdv8 (Hedrick, 2008). Обучающая выборка сформирована из 303 кадров, на которых в Tracker (OpenSourcePhysics) вручную были отмечены координаты 22 меток на крыльях и теле насекомых. Была подобрана и обучена оптимальная модель на основе нейронной сети Resnet50 (He et al., 2015), построенной на библиотеке Pytorch в среде Python. Оптимальное количество эпох при обучении экспериментально определено равным 130 при размере пакета 2. Модель с оптимизируемым по результатам обучения скелетом показала значительное преимущество в точности над моделью без скелета. Время обучения составляет около 2 часов при использовании графического ускорителя NvidiaRTX 4070. Средняя точность определения меток на теле и крыльях M. viggianii по сравнению с ручным трекингом составляет от 80 до 86 %.Полученная модель показывает хорошие результаты распознавания при четкой видимости всех частей тела в кадре, но недостаточно точна при перекрывании крыльев и тела из-за съемки в проходящем свете, а также при выходе объекта из зоны глубины резкости, чтоможно разрешить только улучшением качества исходных видеоматериалов. Для этого нами разработана новая установка для синхронной скоростной макровидеосъемки как в проходящем, так и в боковом и отраженном свете, что значительно повысит детализацию объектов при съемке как в воздухе, так и воде. Применение точной механики снижает ошибки при калибровке и последующей трехмерной реконструкции движения.Разработанные нами методы выводят исследование локомоции мельчайших животных на качественно новый уровень и снижают затраты времени на обработку данных, что в ближайшем будущем позволит изучить полет и плавание большего числа объектов, а также механику управления движением.Работа выполнена при поддержке РНФ, грант № 25-64-00002.