В основе разработки лежит современная нейросетевая модель, способная создавать трехмерную карту глубины изображения. Такой подход позволяет системе точно определять движения рук даже в сложных условиях — например, когда фон сливается с объектом. Благодаря этому удалось достичь рекордного уровня точности распознавания жестов — более 99,6%, что превышает показатели существующих аналогов.
По словам старшего научного сотрудника Лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Дмитрия Рюмина, система распознает 34 наиболее распространенных жеста, включая отсутствие движения. Это делает технологию универсальным инструментом для повседневного взаимодействия с устройствами.
С помощью жестового управления пользователь может выполнять различные действия: поставить лайк, принять входящий звонок или выбрать объект на экране. Для работы достаточно установить специальное программное обеспечение на компьютер или ноутбук и использовать встроенную камеру.
Эксперты отмечают, что технология распознавания жестов имеет высокий потенциал применения в медицине, а также в пищевой промышленности, где особенно важны бесконтактные решения и соблюдение гигиены.
