ИСТИНА

Коммуникация является мультиканальным процессом, в котором ключевыми каналами лингвистической информации, помимо вербального, являются жесты рук и просодия [Кибрик 2018]. Основными просодическими характеристиками для русского языка являются частота основного тона, интенсивность и длительность [Кодзасов, Кривнова 2001]. Просодические средства могут использоваться интегрально – на протяженных отрезках речи – и локально – на отдельных слогах. К локальным просодическим средствам относится тональный акцент – интонационная единица, служащая для выделения одной из единиц в ряду подобных [ПРуД]. Тональный акцент локализуется на ударном слоге слова-акцентоносителя [Loehr 2004]. Жест – это движение одной или двух рук, связанное с речью и обладающее признаками явной намеренной выразительности [Kendon 2004]. Основной частью жеста является мах [Литвиненко и др. 2017]. Наиболее значимый момент жеста – апекс, представляющий собой динамически наиболее выраженный момент, соответствующий цели жеста [Türk, Calhoun 2023]. Исследования показывают, что жестикуляция часто синхронизирована с тональными акцентами. Так, в работе [Renwick et al. 2004] утверждается, что 90% апексов жестов расположены на слоге с тональным акцентом. Афазия – это нарушение речи, вызванное повреждением головного мозга вследствие инсульта, травмы или опухоли, которое может повлиять на порождение и понимание речи [Dipper et al. 2015]. В отечественной классификации принято делить формы афазии на задние и передние [Akhutina 2015]: задние формы характеризуются нарушениями понимания речи при сохранении ее беглости, а передние – трудностями с порождением речи. Данное исследование посвящено изучению жестов рук и их синхронизации с тональными акцентами и словесными ударениями у пациентов с афазией. Считается, что при афазии нарушается порождение и восприятие просодических характеристик речи, в том числе тональных акцентов [Moen, Sundet 1996]. У пациентов с афазией также наблюдаются особенности жестикуляции. Так, в работе [Ferré 2022] было обнаружено, что у пациентов с афазией фаза удержания жеста перед махом значимо длиннее, чем у испытуемых контрольной группы. Это объясняется тем, что пациенты с афазией пытаются синхронизировать жест с речью, однако испытывают речевые затруднения. В работе [Sekine, Rose 2013] было показано, что при афазии Брока (соответствует группе передних форм афазии в отечественной традиции) наблюдаются более длинные паузы между жестами, чем у пациентов с афазией Вернике (соответствует группе задних форм афазии); при подсчете количества жестов на 100 слов было обнаружено, что пациенты с афазией Брока жестикулировали чаще, чем контрольная группа. Многие источники предполагают компенсирующую роль жестов у пациентов с передними формами афазии. В рамках настоящего исследования мы решили проверить эту гипотезу, а также оценить, насколько велики трудности в синхронизации речи и жестов: можно предположить, что из-за больших пауз разрыв между апексом жеста и ударным гласным в соответствующем слове у пациентов с передними формами будет больше. Кроме этого, мы хотели сравнить данные о синхронизации жестов и речи при афазии с имеющейся информацией о здоровых рассказчиках: ожидается, что из-за речевых затруднений синхронизация в клинической группе будет хуже. Учитывая, что паузы в речи чаще встречаются у пациентов с передними формами, можно также ожидать различия между двумя клиническими группами. Также мы решили посмотреть на то, как сбои при производстве жестов (жестовые фальстарты, т. е. незавершенные жесты) сочетаются с речевыми сбоями (заполненными и незаполненными паузами) и законченными речевыми фрагментами. Можно предположить, что пациенты с задними формами, у которых наблюдается меньше трудностей с поиском слов и в речи которых встретилось меньше пауз, будут либо реже оставлять незавершенными жесты, либо точнее синхронизировать их со словами. Кроме того, в разметке, наряду с жестикуляцией, отмечались адапторы – незнаковые движения, направленные на восстановление или поддержание комфорта говорящего. В частности, считается, что они могут уменьшать беспокойство говорящего. Можно предположить, что речевые трудности пациентов с афазией будут влиять на появление адапторов. Что касается просодической разметки, в ней различались акцентированные и неакцентированные гласные (тональные акценты) для каждого фонетического слова. Предполагалось, что наличие тонального акцента будет «притягивать» апекс жеста в силу единой ритмической организации речевого и жестового поведения. Материалом исследования являются аудио- и видеозаписи 6 участников: 2 участников с задними формами афазии, 2 участников с передними формами афазии и 2 участников контрольной группы. Размечено 21 мин 22 с, выделено 1282 жеста рук и 1450 фонетических слов, из них 582 слова являются акцентоносителями. Анализ данных позволил сделать следующие наблюдения: • У всех пациентов, независимо от типа афазии, преобладала стратегия синхронизации, при которой левая граница апекса находится позже левой границы ударного гласного соответствующего слова – процент таких случаев составляет 72. Среднее расстояние от левой границы апекса до левой границы ударного гласного составило -88 мс1 при подсчёте без модуля и 152 мс для модулей расстояния. В контрольной группе процент апексов с отрицательным расстоянием до начала гласного составил 60, среднее расстояние без модуля равняется -60 мс, а среднее модулей расстояния – 140 мс. При этом средняя длительность ударных гласных для всей клинической выборки составила 99 мс, поэтому можно сделать вывод, что апекс жеста чаще всего будет находиться после гласного соответствующего слова. • У пациентов с передними формами афазии процент слов, синхронизированных с жестами, равен 93, в то время как для пациентов с задними формами афазии и для участников контрольной группы этот показатель составляет 46 и 54 соответственно. Разница между пациентами с передней афазией и пациентами с задней афазией, а также разница между пациентами с передней афазией и участниками контрольной группы оказалась значимой (p < 0.001 для обоих сравнений, использован критерий согласия Пирсона). • При передних формах афазии жестовые фальстарты практически не встречаются с речью и часто встречаются изолированно: 12 жестовых фальстартов, не синхронизированных с речью, и 3 фальстарта, синхронизированных с речью. У пациентов с задними формами часто отмечаются фальстарты, сопровождающие речь: 20 фальстартов против 2 фальстартов без речи. Похожая картина наблюдается и у участников контрольной группы: у них выделено 27 синхронизированных фальстартов и 5 фальстартов без речи. • В движениях рук пациентов с передними формами афазии практически не наблюдается адапторов – движений, направленных на поддержание физического комфорта говорящего – их процент от общего числа жестов составляет 1. У пациентов с задней афазией адапторы составляют 22%, а у контрольной группы – 20%. • У пациентов с передними формами афазии жестикуляция без речи наблюдается чаще, чем у пациентов с задними формами афазии и контрольной группы: 49%, 22% и 25% соответственно. • При тональном акценте синхронизация ударного гласного словаакцентоносителя и апекса хуже, чем синхронизация со словом, не несущим акцента. В клинической группе апекс в среднем находится на 109 мс позже ударного гласного слова-акцентоносителя и на 71 мс позже ударного гласного неакцентированного слова. Для контрольной группы эти значения составляют 80 мс и 37 мс соответственно, начало апекса также находится после начала гласного. Это контрастирует с результатами, представленными в [Loehr 2012] для участников без афазии – утверждается, что апекс в среднем находится на 17 мс раньше ударного гласного слова-акцентоносителя. Если считать расстояние по модулю, то в клинической группе оно составило 170 мс для акцентированных слов и 137 мс для слов без акцента, а в контрольной группе, соответственно, 151 мс и 131 мс. • Стратегия синхронизации жестов рук и речи пациентов с передними формами афазии значимо отличается от стратегии синхронизации пациентов с задними формами афазии и участников контрольной группы. Эта гипотеза была проверена с помощью попарных сравнений трёх подгрупп с помощью непараметрического критерия Манна-Уитни. Таким образом, можно сделать следующие выводы: 1) Гипотеза про ритмическую организацию речи и жестикуляции вокруг тонального акцента оказалась ошибочной: акцентоноситель был хуже синхронизирован с апексом соответствующего жеста, чем слово без тонального акцента. Вероятно, выбор акцентоносителя связан другими факторами, помимо ритма речи (и жестов). 2) Апекс жеста появляется в среднем после ударного гласного соответствующего слова, и эта тенденция сильнее проявляется у людей с афазией, чем в контрольной группе, причем пациенты с передними формами значимо отличаются от двух других групп. 3) Пациенты с передними формами афазии сопровождают жестами примерно каждое фонетическое слово, а пациенты с задними формами – примерно половину, как и контрольная группа. Это наблюдение говорит в пользу гипотезы о компенсирующей роли жестикуляции при передних формах афазии по сравнению с задними. 4) Этот вывод подтверждается также наблюдениями относительно жестовых фальстартов: при передних формах часто встречаются незавершенные жесты без речи (участник начинает жестикулировать, еще не успев подобрать подходящее слово; столкнувшись с речевыми трудностями, он бросает жест, едва начав его). Это отличает пациентов с передними формами афазии от пациентов с задними формами и участников контрольной группы. 5) Жесты без речи также в большей степени типичны для пациентов с передними формами, в отличие от двух других групп.