Apple сделала еще одно дополнение к своему растущему репертуару искусственного интеллекта, создав инструмент, который использует большие языковые модели (LLM) для анимации статических изображений на основе текстовых подсказок пользователя.
«Хотя интерфейсы с одноразовыми подсказками распространены в коммерческих системах преобразования текста в изображение, таких как Dall·E и Midjourney, мы утверждаем, что анимация требует более сложного набора пользовательских факторов, таких как время и координация, которые трудно полностью указать в одна подсказка — таким образом, могут потребоваться альтернативные подходы, которые позволят пользователям итеративно создавать и уточнять созданные проекты, особенно для анимации.
«Мы объединили новые принципы проектирования языковых подсказок к артефактам дизайна с возможностями LLM по генерации кода, чтобы создать новый инструмент анимации на базе искусственного интеллекта под названием Keyframer. С помощью Keyframer пользователи могут создавать анимированные иллюстрации из статических 2D-изображений с помощью подсказок на естественном языке. Используя GPT-4 3, Keyframer генерирует код анимации CSS для анимации входной масштабируемой векторной графики (SVG)».
Чтобы создать анимацию, пользователь загружает SVG-изображение — скажем, космической ракеты — а затем вводит подсказку типа «создать три дизайна, где небо переливается разными цветами, а звезды мерцают». Затем Keyframer генерирует код CSS для анимации, и пользователь может затем уточнить его, отредактировав код напрямую или введя дополнительные текстовые подсказки.
«Keyframer позволил пользователям итеративно совершенствовать свои проекты с помощью последовательных подсказок, вместо того, чтобы заранее рассматривать весь дизайн», — объясняют авторы. «Благодаря этой работе мы надеемся вдохновить будущие инструменты анимационного дизайна, которые сочетают в себе мощные генеративные возможности LLM для ускорения создания прототипов дизайна с динамическими редакторами, которые позволят создателям сохранять творческий контроль».
Согласно газете, исследование проводилось на основе интервью с профессиональными анимационными дизайнерами и инженерами. «Я думаю, это было намного быстрее, чем многое из того, что я делал», — сказал один из участников исследования, цитируемый в газете. «Я думаю, что сделать что-то подобное раньше заняло бы несколько часов».
Это нововведение является лишь последним в серии прорывов Apple в области искусственного интеллекта. На прошлой неделе исследователи Apple выпустили модель искусственного интеллекта, которая использует возможности мультимодальных LLM для редактирования изображений на уровне пикселей.
В конце декабря Apple также сообщила, что добилась успехов во внедрении LLM на iPhone и других устройствах Apple с ограниченной памятью, изобретая инновационную технику использования флэш-памяти.