В технологической отрасли, особенно в дизайне процессоров, может быть достигнут определенный баланс между универсальностью и производительностью. Хотя компьютерные чипы или системы могут быть построены, чтобы предложить универсальность и, таким образом, выполнять широкий спектр задач, обычно также можно разработать и оптимизировать системы для очень специфических приложений. В случае компьютерного чипа вся его архитектура может быть спроектирована вокруг определенных типов данных, без каких-либо механизмов обработки особых случаев. Эта концепция может показаться знакомым для некоторых из вас: в крипто-майнинге, например, процессоры общего назначения и графические процессоры в значительной степени были заменены ASIC, которые чрезвычайно эффективны в своей единственной задаче, но непригодны для чего-либо еще.

Аналогичное развитие наблюдается в ускорении ИИ. Процессоры с интегрированными NPU уже вышли на потребительский рынок. Компания Taalas недавно представила чип HC1, не предназначенный для ускорения только любой модели ИИ, но очень специфической: относительно небольшой Llama 3.1 8B. Несмотря на специализацию, некоторая степень тонкой настройки остается возможной. По словам Тааласа, чип может достигать 16,960 токенов в секунду, в отличие от 353 токенов в секунду, поставляемых Nvidia B200. По сравнению с Cerebras WSE-3, HC1, как сообщается, предлагает в десять раз больше производительности, потребляя меньше энергии, не говоря уже о том, что он стоит примерно в 20 раз дешевле. Цены и доступность еще не объявлены.

Министр науки РК предложил построить инновационный штаб — Qazinform.com.