Стартап Маска по искусственному интеллекту xAI только что представил Grok-1.5, который, очевидно, вносит некоторые существенные улучшения по сравнению с предыдущей версией.

Grok-1.5 теперь способен обрабатывать 128 тысяч токенов, что в 16 раз больше, чем в предыдущей версии . По сути, это позволяет модели предлагать в 16 раз больше кратковременной памяти и, как следствие, способность обрабатывать значительно более длинные документы.

Для тех, кто не знаком, в LLM токены — это наименьшие единицы данных, которые можно обработать. В контексте текста токен может быть словом или частью слова. Как сообщается, расширенная версия Grok также может обрабатывать более сложные подсказки.

Grok-1.5 хорошо справляется с программированием и математическими задачами.
Grok-1.5 теперь также лучше выполняет задачи, связанные с кодированием и математикой. Чтобы дать представление, стартап Маска, занимающийся искусственным интеллектом, поделился некоторыми результатами тестов, которые они протестировали с новой моделью.

«В наших тестах Grok-1.5 набрал 50,6% баллов по тесту MATH и 90% баллов по тесту GSM8K, двум математическим тестам, охватывающим широкий спектр задач соревнований от начальной до старшей школы». xAI добавила: «Кроме того, он набрал 74,1% в тесте HumanEval, который оценивает способности генерации кода и решения проблем».

Grok-1.5 построен на основе специальной среды распределенного обучения на основе JAX, Rust и Kubernetes. Специальный координатор обучения гарантирует, что проблемные узлы автоматически обнаруживаются и удаляются из задания по обучению. Короче говоря, им удалось оптимизировать тренировочный процесс.

В настоящее время Grok доступен только подписчикам X Premium+ . Говоря о доступности Grok-1.5, платформа отмечает, что ранние тестеры и существующие пользователи Grok или подписчики X Premium+ получат эту возможность «скоро». Ожидается, что он будет постепенно распространяться на более широкую аудиторию.