Забудьте о жестах, Microsoft демонстрирует Apple язык! Это не шутка, которую вы читаете в этой статье. Прошло много времени с момента, когда Apple представила Vision Pro, работающий на VisionOS. Теперь VisionOS может похвастаться впечатляющим ручным управлением в воздухе, но патент Microsoft предлагает совершенно новый метод ввода — языковые жесты.

Благодаря машинному обучению промежуточный сенсор будет улавливать движения языка. Да, вы правильно поняли. Патент Microsoft описывает будущее, где пользователи смогут управлять своим компьютером или приложениями с помощью языка. Этот футуристический патент, о котором сообщила компания Patently Apple, даже позволит использовать языковые жесты для набора текста на виртуальной клавиатуре. Патент признает ограничения современных методов голосовой связи и отслеживания глаз. Их решение? Использование точных движений языка пользователя.

В патенте подробно описывается, как инерционный датчик будет регистрировать движения языка, которые затем будут интерпретироваться системой. Машинное обучение также сыграет свою роль: систему обучат распознавать определенные языковые жесты. Один из примеров описывает взаимодействие пользователя с виртуальной клавиатурой. Просматривая буквы глазами, система отслеживания взгляда определяет нужную букву и выделяет ее. Затем эта буква вводится с помощью определенного языкового жеста, например, постукивания по верхним зубам. Для удаления можно использовать другой жест, например, постукивание по левой щеке.

Эта технология все еще находится на стадии патентования, но она демонстрирует, как крупные компании, такие как Microsoft, вкладывают огромные средства в свои исследовательские и разработочные подразделения, чтобы формировать будущее взаимодействия человека и компьютера. Сейчас это может показаться странным, но кто знает, что будет завтра?