Команда программистов из исследовательского центра IBM Hursley в Великобритании разработала новую систему «Say It Sign It», позволяющую переводить устную речь в язык жестов, которым пользуются глухие. Теперь люди, имеющие проблемы со слухом, могут воспользоваться услугами синхронного виртуального сурдопереводчика. Впрочем, пока система может работать только с определённым национальным видом языка жестов – английским. Однако сам факт создания подобной системы говорит о том, что в скором времени проблемы коммуникации, возникающие зачастую у слабослышащих или глухих людей, уменьшатся.
Система «Say It Sign It», или, как её ласково называют разработчики, SiSi объединяет несколько компьютерных технологий. Сначала специальный модуль распознавания речи преобразуют произнесённые одним из пользователей в микрофон слова в текст. Затем специальная программа «прогоняет» текст через программу-переводчика, которая анализирует сказанное и переводит текст в английский язык жестов, в то время как виртуальный аватар изображает переведённый фрагмент.
Сейчас система SiSi представляет собой лишь опытный образец, и программисты разрабатывают несколько возможных сценариев функционирования сурдопереводчика. В будущем SiSi сможет стать одним из сайтов в Интернете, при этом перевод слов в язык жестов осуществлялся бы в центральном сервере, а анимированный результат выводился бы на экран компьютера зарегистрировавшегося пользователя. Кроме того, система сможет работать в виде отдельной программы, которую адресат и адресант смогут установить на их собственные компьютеры. Также рассматривается вариант с функционирование системы через телевизионный преобразователь.
Таким образом, как утверждают разработчики, аватар сможет появляться на экранах телевизоров, персональных компьютеров и ноутбуков, телефонов и даже дисплеев в аудитории. При этом пользователи смогут самостоятельно настроить параметры виртуального сурдопереводчика, выбрав, таким образом, как размер, так и внешний вид аватара.
По словам создателей системы, SiSi может управляться так называемым промежуточным программным сервером, который предназначен для построения корпоративных систем компьютерной телефонии, и может объединять клиентов, независимо от расположения пользовательских приложений, данных и серверов компьютерной телефонии. Таким образом, адресант и адресат смогут общаться друг с другом, находясь не только в разных зданиях, но даже в разных странах.
Как отмечают специалисты, в частности глава Отдела разработок Королевского национального института изучения болезней слуха Гидо Гибелс, система сурдоперевода от IBM пока применима только для носителей английского языка жестов.
Сейчас программисты работают над адаптацией системы под другие национальные виды языка жестов.
На сегодняшний день система распознавания речи не может предоставить возможности быстрого и свободного диалога между людьми. Проблема усугубляется тем, что языки жестов в отличие от обыкновенных национальных языков изучены недостаточно глубоко и существующие словари не всегда предоставляют корректную и современную информацию. Кроме того, виртуальные аватары не могут передать все особенности мимики и жестов, которые используют обычные сурдопереводчики.
Следует отметить, что подобные разработки велись и в России.
Правда, разработанная программа работает лишь с текстами и не позволяет пока распознавать устную речь. Кроме того, в ходе работы над продуктом специалисты также столкнулись с проблемами преобразования системы выражения понятий в естественном и жестовом языках и недостаточным объёмом словарей жестовых языков. Вместе с тем, соответствующая побуквенная азбука уже реализована в виде online-приложения.