Сбер представил нейросетевые модели, позволяющие распознавать русский жестовый язык, сообщил на конференции AI Journey старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев.
Текущая версия модели позволяет распознавать более 2500 жестов, включая понимание дактиля (произношение слов по буквам) и возможность распознавать составные жесты. Кроме того, модель понимает терминологию по темам банковской сферы, транспорта, животных, и даже несколько слов из сферы медицины и образования. Этот объем покрывает существенную часть словаря русского жестового языка, позволяя создавать сервисы с нужным прикладным применением.
«Сервисы для распознавания русского жестового языка и созданная Сбером система искусственного интеллекта GigaChat позволят преодолеть коммуникационный разрыв и сделают мир доступнее для людей с нарушением слуха. Модели могут использоваться в рамках исследований, позволяющих развивать сервисы для пользователей с инвалидностью. Например, для создания доступной среды в многофункциональных центрах (МФЦ), в транспортной отрасли (аэропорты, вокзалы, метро), в больницах для общения пациента и врача, в банковских сервисах и адаптации онлайн и оффлайн-образования», — отметил старший вице-президент, СTO, руководитель блока «Технологи» Сбербанка Андрей Белевцев.
На базе этой модели были обучены нейросети для распознавания американского жестового языка, которые заняли первую строчку в публичном рейтинге WLASL-2000. Достичь такого результата позволило использование самого разнообразного и большого в мире датасета для распознавания русского жестового языка — Slovo.
Другая команда исследователей из подразделения Sber AI разработала и опубликовала в открытом доступе легкую модель распознавания жестового языка, не требовательную к вычислительным ресурсам. Модель работает на CPU, что снижает себестоимость решений, создаваемых на ее основе.