Большинство людей, вероятно, сталкивались с кем-то, кто, кажется, использовал чтение по губам, чтобы преодолеть трудности со слухом. Но не все так просто. Речь "бимодальный", в том, что для общения мы используем как звуки, так и мимические движения и жесты, поэтому глухие или серьезно слабослышащие люди часто используют чтение по губам или "чтение речи" – наблюдение за движениями лица, языком тела и манерами – чтобы понять, что им говорят люди.
Но достаточно ли этих визуальных сигналов, чтобы помочь глухим или слабослышащим людям научиться говорить с региональным акцентом?? Ответ сложен и возвращается к тому моменту, когда они учатся говорить.
Люди учатся говорить в раннем возрасте – и люди, которые стали глухими после того, как научились говорить (постлингвальный), учатся говорить иначе, чем те, кто был глухим от рождения (проязычный). Именно люди, рожденные без слуха, как правило, получают наибольшую пользу от чтения по губам – и часто у них это получается лучше, хотя чтение по губам занимает больше времени, чтобы научиться.
Как люди учатся говорить, зависит от возраста развития человека. Предполагая, что мы говорим о детях с потерей слуха в возрасте до двух-трех лет, артикуляция и знание языка незначительны, поэтому практика объединения звуков в слова является общим подходом. Если после этого возраста слух теряется, а говорящий имеет более развитое понимание языка и предложений, эти знания позволяют в большей степени закреплять ранее известные звуки в новых аранжировках.
Это предпосылка, используемая системами аудиовизуального распознавания речи (AVSR), где и аудио, и визуальная информация фиксируется для распознавания произнесенных слов. Там, где эти системы используются в шумной среде, системы больше зависят от визуальных сигналов речи. Но визуальная информация только доходит до нас. Это может быть связано с тем, что мы не можем различить некоторые визуальные жесты между разными звуками.
Это означает, что люди, умеющие правильно читать по губам, – редкость. Это особенно сложный навык, и различия между говорящими, языками, произношением и местной грамматикой делают его еще более хлопотным. Хорошие читатели часто на самом деле читают речь, а не понимают речь исключительно по движению губ. Даже хороший читатель по губам может не понять безмолвную речь, записанную на видео, а не от говорящего перед ними.
Вавилонский разговор
В младенчестве мы в основном учимся говорить, слушая, но мы также наблюдаем за тем, как взрослые вокруг нас говорят. Мы не знаем, сколько визуальной информации воспринимают младенцы, но мы знаем, что дети в возрасте шести месяцев могут определить, когда кто-то начинает говорить на другом языке. Таким образом, хотя младенец еще не может артикулировать, он реагирует на новые акценты и произношение.
Звуки речи известны как "фонемы" – и являются наименьшими звуковыми единицами, которые человек может произнести в контексте языка. Те, кто может слышать, учатся говорить, имитируя артикуляцию – поэтому, если родители определенным образом используют фонемы для составления определенных слов, то эффект от этого воспринимается как акцент, который затем имитируется их детьми.
Итак, учитывая, что то, как мы используем фонемы во время речи, влияет на то, как мы произносим слова, можем ли мы предположить, что с разными звуками мы также делаем разные визуальные подсказки с помощью наших губ? В самом деле, если вы не слышите разные фонемы, которые вызывают разные акценты, как их можно воспринимать – особенно с учетом того, что некоторые визуальные подсказки кажутся одинаковыми для разных фонем?
Читай по губам
В результате экспериментов с использованием компьютера для чтения по губам появились захватывающие недавние работы. Исследователи из Оксфордского университета и Google DeepMind недавно представили систему сквозного чтения по губам на примерах тысяч говорящих с более чем миллионом экземпляров разных слов.
Они показали, что при достаточном обучении компьютер может достичь более 90% точности чтения по губам. Итак, если машина может это сделать, есть надежда, что людей тоже можно обучить делать то же самое, потому что эксперимент продемонстрировал, что в визуальной речевой информации есть что-то, что позволяет правильно интерпретировать слова.
Но есть важные уточнения – система обучалась на целых предложениях. Следовательно, мы еще не знаем, происходит ли эта способность различать звуки в визуальной информации из языковой структуры (звуки, из которых состоят слова, составляющие предложения из грамматических правил) – другими словами, неясно, может ли компьютер выводить что говорится, потому что это имеет смысл, или из самих визуальных жестов.
И мы должны подчеркнуть, сколько данных требуется этой машине для достижения такого уровня точности. Большинство глухих просто не встречаются с таким количеством людей в течение такого количества часов, чтобы научиться говорить с определенным акцентом. Таким образом, те, кто уловил акцент, просто взглянув, научились делать это с меньшим количеством информации и меньшим обучением, чем компьютер. И, на мой взгляд, это делает их особенно замечательными личностями.
Таким образом, хотя чтение по губам, вероятно, влияет на акцент глухих, степень этого остается неизвестной. Но если бы я была азартной женщиной, я бы поспорила, что большинство глухих и говорящих с акцентом либо не полностью глухи, либо они слышали звуки до того, как потеряли слух.
Несколько исключений из этого – ну, они удивительно умные люди. Мы должны слушать их намного больше.