Исследователи Apple представили новый метод обучения больших языковых моделей (LLM), который обеспечивает интеграцию как текстовой, так и визуальной информации.
В выводах, изложенных в исследовательской статье под названием «MM1: методы, анализ и выводы из мультимодального предварительного обучения LLM», представлен новый подход к разработке более интеллектуальных и гибких систем искусственного интеллекта. Apple утверждает, что модель MM1, используя разнообразный набор данных, включающий пары изображений и текстовых описаний, документы, содержащие изображения и текст, а также только текстовую информацию, устанавливает новый стандарт в способности искусственного интеллекта выполнять такие задачи, как подписывание изображений, отвечая на вопросы визуально и генерируя естественный языковой вывод с высокой точностью.
Исследования в Apple сосредоточены на комбинации различных типов обучающих данных и архитектур моделей, что позволяет искусственному интеллекту понимать и генерировать язык на основе визуальных и лингвистических сигналов. Это критически важно для задач, требующих глубокого понимания мира, таких как интерпретация сложных изображений или ответы на вопросы, включающие визуальные элементы.
В документе также отмечаются выдающиеся способности модели MM1 к контекстному обучению, особенно в ее наибольшей конфигурации, включающей 30 миллиардов параметров. Эта версия модели, по всей видимости, проявляет удивительные возможности многоэтапного рассуждения над несколькими изображениями с использованием подсказок «цепочки мыслей» из нескольких этапов — метода, который позволяет искусственному интеллекту решать сложные, открытые проблемы на основе минимальных примеров.
Это исследование является частью более широкой инициативы Apple по расширению возможностей искусственного интеллекта в условиях растущей конкуренции. Ранее сегодня Марк Гурман из Bloomberg сообщил о переговорах Apple с Google о лицензировании генеративных моделей большого языка Gemini от Google для реализации новых функций, которые появятся в iPhone в составе iOS 18.