Перспективную идею создания системы управления жестами реализовала группа исследователей из Университета Ватерлоо. Она взяла обычную веб-камеру, встроенную в ноутбук, добавила к ней зеркало для изменения поля зрения и разработала соответствующее программное обеспечение для отслеживания рук пользователя.
Основной задачей при создании технологии, получившей название Typealike, стала оптимизация интерфейса для ввода данных и управления, но сделать это исследователи хотели на базе простых и привычных технических средств, доступных каждому. Их прототип был создан на основе ноутбука со встроенной веб-камерой, к которой прикрепили небольшое зеркало, изменяющее ракурс съемки на 90 градусов, и проприетарного программного обеспечения. Нейронная сеть, отвечающая за отслеживание рук и преобразование жестов в управляющие команды, способна работать с любой камерой, поэтому технология легко может быть применена и в других приложениях.
Такой ноутбук позволяет использовать для взаимодействия с устройством не только тач-пад, но и жесты. Например, достаточно пользователю положить правую руку рядом с клавиатурой большим пальцем вверх и система увеличит громкость. Доступно программирование разнообразных жестов и их комбинаций для выполнения широкого спектра операций, что открывает большой потенциал для кастомизации решения под любые требуемые задачи. Нивелировать разницу в том, как разные люди делают жесты и как это выглядит в тех или иных условиях освещения призвана нейронная сеть. После анализа массива данных с примерами она научилась находить сходства и отличия в положениях рук различных пользователей и распознавать, что именно они хотят. В дальнейшем с увеличением количества обработанных вариантов точность работы системы, по заверению разработчиков, также повысится.
Первоначально к созданию концепции исследователей подтолкнула мысль о том, что большую часть времени, когда люди используют компьютер, набирая что-то на клавиатуре или прикасаясь к тач-паду, их веб-камера бездействует. Добавив к ней зеркало, они изменили обзор, тем самым сфокусировав ее на руках. Это позволило расширить сценарии применения камеры, задействовав ее в те моменты, когда она простаивала, при этом оптимизировать интерфейс взаимодействия с пользователем и открыть потенциал для дальнейшего развития технологии. В будущем Typealike сможет заменить ручные контроллеры и другие средства ввода данных и управления на жесты.
Комментирует Даниэль Фогель, доцент компьютерных наук Университета Ватерлоо:
«Мы всегда стремимся создавать вещи, которые людям будет легко использовать. Мы хотим, чтобы они просто смотрели на что-то вроде Typealike и говорили – да, это имеет смысл. Но для того, чтобы сделать технологию интуитивно понятной, иногда требуется множество долгих исследований и сложное программное обеспечение».
