Согласно недавнему объявлению на аккаунте компании в Weibo, модель большого языка Xiaomi (LLM) под названием MiLM официально прошла регистрацию для больших моделей.
Xiaomi заявляет, что MiLM готова к интеграции в её продукты, включая смартфоны, устройства «умного дома» и даже автомобили Xiaomi. Это также намекает на возможность открытия функций MiLM для более широкой аудитории в будущем.
MiLM впервые появился публично в августе 2023 года на эталонных платформах C-Eval и CMMLU, где добился впечатляющих результатов. Модель заняла 1-е место в своей категории параметров в таблице лидеров C-Eval и заняла 10-е место в общем зачете. Согласно информации на странице проекта на GitHub, модель MiLM-6B содержит 6,4 миллиарда параметров.
Разбивка C-Eval по конкретным предметам подчеркивает сильные стороны MiLM-6B в областях STEM (наука, технология, инженерия и математика). Модель показала высокие результаты точности по всем 20 предметам STEM, включая метрологию, физику, химию и биологию.
Хотя MiLM-6B также демонстрирует хорошие результаты по большинству гуманитарных предметов, области, требующие «абстрактного мышления», такие как право, математика, программирование и теория вероятностей, нуждаются в улучшении.
Социальные науки оказались неоднозначной областью: MiLM-6B показал хорошую точность по восьми из десяти предметов, за исключением образования и географии. В гуманитарных науках модель хорошо справляется с историей и правом, в то время как точность по другим предметам ещё предстоит определить.
MiLM-6B преодолел важный этап и теперь готов к интеграции в различные продукты Xiaomi. Хотя его эффективность варьируется в зависимости от предметной области, модель обещает улучшить взаимодействие с пользователем в различных сферах.