AMD опубликовала результаты внутренних тестов производительности искусственного интеллекта (ИИ) мобильного процессора Ryzen 7 7840U с номинальным энергопотреблением 15 Вт и конкурирующего процессора Intel Core Ultra 7 155H с TDP 28 Вт при работе с крупными языковыми моделями Llama 2 и Mistral Instruct 7B. Сравнение показало преимущество процессора AMD, несмотря на более низкое энергопотребление.
Для тестирования производительности ИИ обе компании использовали приложение LM Studio на ноутбуках с соответствующими процессорами. Задачи включали написание истории, скрипта игры на движке Unity и стихотворения. Для выполнения этих задач применялись ИИ-модели Llama 2 7B от Meta✴ и Mistral Instruct 7B с поддержкой 7 млрд параметров.
AMD оценила производительность своего процессора по времени от отправки запроса до получения первого токена (Time to first token) и количеству выданных токенов в секунду. Компания отметила, что процессоры Ryzen могут использовать для решения задач ИИ специализированный движок NPU, графическое ядро RDNA 3 и вычислительные ядра Zen 4. Поддержка инструкций AVX512 и VNNI также способствовала успеху Ryzen 7 7840U в сравнении с конкурентом.
Помимо тестов AMD опубликовала в блоге инструкцию по запуску LM Studio на ПК с процессорами Ryzen AI или с видеокартами Radeon RX 7000 для работы с языковыми моделями.
Информационный портал Tom’s Hardware отмечает, что Intel уже осведомлена о недостаточной производительности своих процессоров семейства Meteor Lake в области ИИ. Поэтому компания обещает значительное увеличение производительности ИИ для графических процессоров и специализированных вычислительных блоков в будущих процессорах Arrow Lake и Lunar Lake, ожидаемых во второй половине текущего года.