06.10.2021

Российские ученые разработали первую в мире программу перевода языка жестов в текст или голос

Точность распознавания движений достигает 90%. Создать подобную систему смогли ученые из Новосибирска. Программа работает с помощью камер и нейронных сетей. В нее внесены 1006 жестов.

Для обучения нейросети использованы 350 жестовых предложений, записанных на камеры. Система распознаёт картинку и фиксирует движения, которые затем превращает в изображения. Далее они переводятся в модели, сопоставляются с данными в нейронной сети и преобразуются в текст или голос. В результате обучения ИИ смог определять межжестовые движения, начало и конец жеста.

По словам профессора кафедры автоматизированных систем управления НЭТИ Михаила Грифа, сейчас учёные продолжают дорабатывать программу распознавания дактиля — вспомогательной системы русского жестового языка, где каждому жесту соответствует буква. Сложность компьютеризации перевода в том, что он зависит не только от движения рук, но и от выражения лица, движения губ и других знаков артикуляции. В дальнейшем учёные хотят расширить работу переводчика и адаптировать его под другие жестовые языки мира. Их насчитывается около 130.

← Новости