Ученые из СПб ФИЦ РАН научили нейросеть распознавать слова из русского языка жестов при анализе видео.
На сегодняшний день по всему миру около 13 миллионов человек страдают нарушением слуха, 1 миллион из которых — дети. Проблемы со здоровьем не дают этим людям полноценно использовать цифровые помощники, которые повсеместно встречаются на смартфонах, компьютерах и других устройствах.
«Мы разработали систему, которая способна с помощью нейросети распознавать более 50 жестов русского жестового языка. Эта работа направлена на то, чтобы люди с нарушением или потерей слуха могли наладить взаимодействие с компьютерами, цифровыми помощниками наравне со всеми остальными пользователями», — поделился Дмитрий Рюмин, старший научный сотрудник Санкт-Петербургского института информатики и автоматизации РАН.
Новая нейросеть обучается на жестах глухонемых людей, показанных на видео. Уже сейчас нейросеть научилась распознавать определенные жесты. В проведении эксперимента специалистам помогали студенты и преподаватели Межрегионального центра реабилитации лиц с проблемами слуха города Павловска.
Ранее Балдёж сообщал о новом катализаторе, который создаст нейросеть, для получения легкой нефти.
