Аннотация:Устройства, позволяющие получать видео в формате карт глубины, в настоящее время получают всё большее распространение. В работе представлены разработка и исследование метода распознавания языка жестов на основе видеопоследовательностей карт глубины, полученных с помощью современной камеры Intel SR-300, работающей на малой дальности 0.5-1.0 м. Карты глубины позволяют с высоким качеством решить задачу сегментации ладоней и лица субъекта. Поэтому использование камер глубины для распознавания языка жестов представляется весьма перспективным. Тема работы, посвященной исследованию методов анализа и распознавания жестов с помощью такой камеры, является актуальной.
Предложен подход к распознаванию жеста путём построения скелетной модели ладони в виде пространственного геометрического графа и сравнения этого графа с эталонными описаниями жестов дактильной азбуки, содержащимися в базе жестов. Для реализации этого подхода автором исследования были сформулированы и решены следующие задачи.
1. Идентификация модели ладони в виде геометрического графа заданной структуры с 22 вершинами и 20 ребрами.
2. Нормализация ладони путем приведения геометрического графа в стандартный формат и положение по размерам, ориентации и длине рёбер.
3. Построение меры сходства нормализованных графов ладоней и на основе этой меры определение статических фаз (начала и конца) жестов и нахождение наиболее похожего эталона в базе жестов (классификация жеста).
Кроме этого, для решения задач в условиях реальных помех, присутствующих в видеопоследовательности, была выполнена фильтрации шумов путем сглаживания с использованием фильтра Калмана.
Разработанные методы и алгоритмы были реализованы автором в виде системы распознавания жестов дактильной азбуки, работающей в реальном времени. Для обучения алгоритмов и оценки качества распознавания автором была собрана с помощью камеры глубины достаточно представительная база жестов в формате видеопоследовательностей. В подготовке этой базы приняли участие несколько человек, демонстрирующих жесты дактильной азбуки. Были проведены вычислительные эксперименты и получены оценки качества и эффективности разработанных алгоритмов. Вычислительные эксперименты подтвердили правильность предложенного похода и работоспособность, а также высокую вычислительную эффективность разработанных алгоритмов.