Во вторник Google объявила, что код Project Gameface, устройства управления «мышью» без использования рук, которое управляется выражениями лица, теперь доступен как открытый исходный код для разработчиков Android. Это позволяет разработчикам интегрировать эту функцию в свои приложения, что дает пользователям возможность управлять курсором с помощью жестов лица или движений головы, таких как открытие рта для перемещения курсора или поднятие бровей для щелчка и перетаскивания.
Project Gameface, изначально созданный для настольных компьютеров и анонсированный на прошлогодней конференции Google I/O, использует камеру устройства и базу данных выражений лица из API распознавания ориентиров лица MediaPipe для управления курсором.
«Посредством камеры устройства оно плавно отслеживает выражения лица и движения головы, переводя их в интуитивно понятный и персонализированный контроль», — объяснили в Google. «Теперь разработчики могут создавать приложения, в которых пользователи могут настраивать свой опыт, настраивая выражение лица, размер жестов, скорость курсора и многое другое».
Вдохновением для Project Gameface послужил Лэнс Карр, стример видеоигр с ограниченными возможностями движения из-за паралича нижних конечностей и мышечной дистрофии. Карр сотрудничал с Google в этом проекте, чтобы создать доступную альтернативу дорогим системам отслеживания движений головы.