Ученые помогут разговаривать людям с нарушениями работы голосовых связок
![Ученые помогут разговаривать людям с нарушениями работы голосовых связок]()
Биоэлектрическую систему, способную улавливать движения мышц гортани человека и переводить эти сигналы в слышимую речь с помощью специальной системы, разработали специалисты кафедры биоинженерии Инженерной школы Самуэли Калифорнийского университета в Лос-Анджелесе (UCLA), 15 марта сообщает сайт новостей науки EurekAlert со ссылкой на пресс-службу UCLA.
Мягкое, тонкое, эластичное устройство, изготовленное в виде пластыря площадью около 30 кв. мм и весом 7,2 г, которое нужно прикрепить к коже шеи чуть ниже подбородка, поможет говорить людям с дисфункцией голосовых связок.
При патологическом состоянии голосовых связок или же во время восстановительного периода после операций по поводу рака гортани людям часто тяжело или даже невозможно говорить. Команда исследователей из лаборатории Цзюнь Чена в UCLA вскоре сможет разрешить для пациентов эту проблему. С помощью машинного обучения, они добились, чтобы их устройство воспроизводило речь по движению мышц гортани с точностью почти 95%.
Это достижение не первое, которого добились сподвижники Чена по оказанию помощи людям с ограниченными возможностями. Ранее они разработали устройство в виде перчаток, с помощью которых можно переводить американский язык жестов на английскую речь в режиме реального времени.
Новое устройство, напоминающее небольшой патч, состоит из двух компонентов. Первый — чувствительный датчик с автономным питанием, который обнаруживает и преобразует сигналы, генерируемые движениями мышц, в высокоточные, поддающиеся анализу электрические сигналы. Второй — исполнительный компонент, он превращает речевые сигналы в речь.
Эти компоненты содержат каждый по два слоя: слой полидиметилсилоксана (ПДМС), эластичного биосовместимого силиконового соединения, и слой, состоящий из медных индукционных катушек. Компоненты разделяет пятый слой, содержащий ПДМС, смешанный с микромагнитами. Он генерирует магнитное поле.
Магнитоупругий сенсорный механизм нового устройства обнаруживает изменения магнитного поля, возникающие в результате механических сил — движения мышц гортани. Индукционные катушки в магнитоупругих слоях генерируют в ответ электрические сигналы высокой точности, которые измеряются и анализируются ИИ.
Подробное описание устройства разработчики представили в статье «Разговор без голосовых связок с использованием носимой сенсорно управляемой системы на основе машинного обучения», опубликованной в журнале Nature Communications.
Исследования показали, что почти каждый третий человек в течение жизни хотя бы раз терял голос. В серьезных случаях терапевтическими методами, такими как хирургическое вмешательство и голосовая терапия, восстановление голоса может потребовать от трех месяцев до года. Причем после хирургических, инвазивных вмешательств часто требуется длительный период обязательного голосового покоя.
«Существующие решения, такие как портативные электроларингологические устройства и процедуры трахеопищеводной пункции, могут быть неудобными, инвазивными или некомфортными, — отметил Чен. — Это новое устройство представляет собой портативный, неинвазивный вариант, способный помочь пациентам общаться в период до лечения и в период восстановления после лечения нарушений голоса».
Чтобы обучить ИИ, исследователи протестировали свое устройство на восьми здоровых взрослых людях, собрав данные о движении мышц гортани и использовали алгоритм машинного обучения для сопоставления полученных сигналов с определенными словами.
Подобрав соответствующий выходной голосовой сигнал исполнительного компонента устройства, они продемонстрировали точность созданной системы, предложив участникам эксперимента произнести пять предложений — сначала вслух, затем беззвучно.
Точность прогнозирования слов моделью составила 94,68%. Причем устройство отслеживало экспрессию беззвучной речи и передавало ее усилением или ослаблением громкости голосового сигнала. Это позволяло выделять конец предложения — искусственная речь не оставалась монотонной.
В планах исследовательской группы расширение словарного запаса устройства посредством машинного обучения и тестирование его на людях с нарушениями речи.
Биоэлектрическую систему, способную улавливать движения мышц гортани человека и переводить эти сигналы в слышимую речь с помощью специальной системы, разработали специалисты кафедры биоинженерии Инженерной школы Самуэли Калифорнийского университета в Лос-Анджелесе (UCLA), 15 марта сообщает сайт новостей науки EurekAlert со ссылкой на пресс-службу UCLA.
Мягкое, тонкое, эластичное устройство, изготовленное в виде пластыря площадью около 30 кв. мм и весом 7,2 г, которое нужно прикрепить к коже шеи чуть ниже подбородка, поможет говорить людям с дисфункцией голосовых связок.
При патологическом состоянии голосовых связок или же во время восстановительного периода после операций по поводу рака гортани людям часто тяжело или даже невозможно говорить. Команда исследователей из лаборатории Цзюнь Чена в UCLA вскоре сможет разрешить для пациентов эту проблему. С помощью машинного обучения, они добились, чтобы их устройство воспроизводило речь по движению мышц гортани с точностью почти 95%.
Это достижение не первое, которого добились сподвижники Чена по оказанию помощи людям с ограниченными возможностями. Ранее они разработали устройство в виде перчаток, с помощью которых можно переводить американский язык жестов на английскую речь в режиме реального времени.
Новое устройство, напоминающее небольшой патч, состоит из двух компонентов. Первый — чувствительный датчик с автономным питанием, который обнаруживает и преобразует сигналы, генерируемые движениями мышц, в высокоточные, поддающиеся анализу электрические сигналы. Второй — исполнительный компонент, он превращает речевые сигналы в речь.
Эти компоненты содержат каждый по два слоя: слой полидиметилсилоксана (ПДМС), эластичного биосовместимого силиконового соединения, и слой, состоящий из медных индукционных катушек. Компоненты разделяет пятый слой, содержащий ПДМС, смешанный с микромагнитами. Он генерирует магнитное поле.
Магнитоупругий сенсорный механизм нового устройства обнаруживает изменения магнитного поля, возникающие в результате механических сил — движения мышц гортани. Индукционные катушки в магнитоупругих слоях генерируют в ответ электрические сигналы высокой точности, которые измеряются и анализируются ИИ.
Подробное описание устройства разработчики представили в статье «Разговор без голосовых связок с использованием носимой сенсорно управляемой системы на основе машинного обучения», опубликованной в журнале Nature Communications.
Исследования показали, что почти каждый третий человек в течение жизни хотя бы раз терял голос. В серьезных случаях терапевтическими методами, такими как хирургическое вмешательство и голосовая терапия, восстановление голоса может потребовать от трех месяцев до года. Причем после хирургических, инвазивных вмешательств часто требуется длительный период обязательного голосового покоя.
«Существующие решения, такие как портативные электроларингологические устройства и процедуры трахеопищеводной пункции, могут быть неудобными, инвазивными или некомфортными, — отметил Чен. — Это новое устройство представляет собой портативный, неинвазивный вариант, способный помочь пациентам общаться в период до лечения и в период восстановления после лечения нарушений голоса».
Чтобы обучить ИИ, исследователи протестировали свое устройство на восьми здоровых взрослых людях, собрав данные о движении мышц гортани и использовали алгоритм машинного обучения для сопоставления полученных сигналов с определенными словами.
Подобрав соответствующий выходной голосовой сигнал исполнительного компонента устройства, они продемонстрировали точность созданной системы, предложив участникам эксперимента произнести пять предложений — сначала вслух, затем беззвучно.
Точность прогнозирования слов моделью составила 94,68%. Причем устройство отслеживало экспрессию беззвучной речи и передавало ее усилением или ослаблением громкости голосового сигнала. Это позволяло выделять конец предложения — искусственная речь не оставалась монотонной.
В планах исследовательской группы расширение словарного запаса устройства посредством машинного обучения и тестирование его на людях с нарушениями речи.
