Оригинальный подход к считыванию мимики реализовала группа исследователей из Корнельского университета. Как правило, для подобных целей применяются биометрические системы, анализирующие видеопоток с камеры, но в этом проекте ученые пошли другим путем, задействовав для разработки технологии звуковые сигналы.
Комментирует Ченга Чжан, доцент информатики Корнельского университета и главный исследователь лаборатории интеллектуальных компьютерных интерфейсов для будущих взаимодействий:
«Устройства для отслеживания выражения лица на основе камеры слишком большие, тяжелые и энергоемкие, что существенно ограничивает сферы их применения. К тому же они способны собирать слишком много персональной информации. Наша технология использует совершенной иной принцип работы».
По результатам проведенных разработок группа исследователей создала специальное носимое устройство, похожее на наушники, которое получило название EarIO. В процессе эксплуатации оно генерирует звуковые импульсы, отражающиеся от щек пользователя и затем захватываемые встроенным микрофоном. Полученные сигналы анализирует система на базе алгоритма глубокого обучения, а результат в реальном времени отображает компьютерная 3D-модель. Разработанная технология позволяет с высокой точностью фиксировать все движения мышц лица и считывать мимику людей любого пола и возраста даже при наличии ветра, шума дороги или фоновых разговоров.
EarIO способно передавать собранную информацию на смартфон по беспроводному соединению Bluetooth, что в отличие от систем на базе камер, которым из-за большого объема транслируемых данных необходимо соединение по Wi-Fi, помогает добиться более высокого уровня конфиденциальности. Вторым важным преимуществом устройства является крайне низкое энергопотрбление, составляющее в 25 раз меньше, чем ученым удалось добиться при создании самой энергоэффективной камерной системы считывания. В совокупности все это позволяет перейти от стационарных биометрических решений к мобильным, идеально подходящим для персонального ношения.
Дополняет Руйдонг Чжан, докторант кафедры информационных технологий Корнельского университета:
«Разработанный нами метод акустического детектирования обладает очень высокой чувствительностью. С одной стороны это хорошо, так как он способен фиксировать любые, даже самые незначительные движения мышц лица, но с другой – когда вы слегка двигаете головой, реагируя на что-то происходящее вокруг, то система также считывает это, что бывает не всегда уместно. Сейчас мы работаем над решением этой задачи и, думаю, в скором времени сможем реализовать более совершенный алгоритм анализа мимики».
