Используя глубокие модели нейронной сети, исследователи в Разработке Колумбии добились прогресса в методах слуховой расшифровки внимания (AAD) и приходят ближе к деланию слуховых аппаратов, которыми познавательно управляют, реальностью. Исследование, во главе с Нимой Месгарани, адъюнкт-профессором электротехники, опубликовано в Журнале Нервной Разработки. Работа была сделана в сотрудничестве с Отделом Медицинского центра Колумбийского университета Нейрохирургии и Медицинской школой Hofstra-Northwell и Институтом Файнштейна Медицинского Исследования.
ДЕМОНСТРАЦИОННЫЙ ПРИМЕР: http://naplab.ee.columbia.edu/nnaad.htmlКоманда Месгарани разработала непрерывную систему, которая получает единственный аудио канал, содержащий смесь спикеров слушателем наряду с нервными сигналами слушателя, автоматически отделяет отдельных спикеров в смеси, определяет, какого спикера слушают, и затем усиливает голос посещенного спикера, чтобы помочь слушателю – все за менее чем 10 секунд.«Эта работа объединяет современное состояние от двух дисциплин: речь техническая и слуховая расшифровка внимания», говорит Месгарани, который является также членом Научного Института Данных и Мортимером Б. Цукерманом, следит за Мозговым Институтом Поведения. «Мы смогли разработать эту систему, как только мы добились прогресса в использовании глубоких моделей нейронной сети, чтобы отделить речь».Его команда придумала идею слухового аппарата, которым познавательно управляют после того, как они продемонстрировали, что было возможно расшифровать посещенную цель слушателя, использующего нервные ответы в мозговом использовании слушателя агрессивных нервных записей в людях (Природа 2012).
Два года спустя они показали, что могли расшифровать внимание с неразрушающими методами также (Кора головного мозга 2015).«Перевод, эти результаты к реальным заявлениям ставят много проблем», отмечает Джеймс О’Салливан, ученый постдиссертации, работающий с Mesgarani и ведущим автором исследования.
В типичном внедрении слуховой расшифровки внимания исследователи сравнивают нервные ответы, зарегистрированные от мозга предмета с чистой речью, произнесенной различными спикерами; громкоговоритель, кто производит максимальное подобие с нервными данными, полон решимости быть целью и впоследствии усилен. Однако в реальном мире, у исследователей есть доступ только к смеси, не отдельным спикерам.«Наше исследование сделало значительный шаг к автоматическому отделению посещенного громкоговорителя от смеси», О’Салливан продолжает. «Чтобы сделать так, мы построили глубокие модели нейронной сети, которые могут автоматически отделить определенных спикеров от смеси.
Мы тогда сравниваем каждого из этих отделенных спикеров с нервными сигналами определить, которые высказывают предмет, слушает, и затем усильте тот определенный голос для слушателя».Команда проверила эффективность их системы, используя агрессивные записи electrocorticography от неврологических предметов, переносящих операцию эпилепсии. Они определили области слуховой коры, которые способствуют AAD и нашли, что система расшифровала внимание слушателя и усилила голос, который он или она хотел слушать, используя только смешанное аудио.
«Наша система демонстрирует существенное улучшение и в субъективных и в объективных речевых качественных мерах – почти все наши предметы сказали, что они хотели продолжить использовать ее», говорит Месгарани. «Наша новая структура для AAD устраняет разрыв между новыми продвижениями в речи, обрабатывающей технологии и речевое исследование протеза, и двигает нас поближе к разработке реалистических устройств слухового аппарата, которые могут автоматически и динамично отследить направление пользователем внимания и усилить посещенный громкоговоритель».