Сегодня 07 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Meta✴ отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4

Представитель Meta опроверг слухи о том, что компания намеренно улучшала показатели своих новых ИИ-моделей Llama 4 в бенчмарках. Вице-президент по генеративному искусственному интеллекту Ахмад Аль-Дахле (Ahmad Al-Dahle) заявил в посте на страницах X, что утверждения о подгонке результатов с целью сокрытия слабых сторон моделей Maverick и Scout — «просто неправда».

 Источник изображения: Mariia Shalabaieva / Unsplash

Источник изображения: Mariia Shalabaieva / Unsplash

Слухи о манипуляциях появились в соцсетях после публикации бывшего сотрудника Meta. Пользователь китайской платформы утверждал, что уволился из компании в знак протеста против «нечестных методов тестирования». Позже эти обвинения распространились в X (бывший Twitter) и Reddit, пишет издание TechCrunch.

Однако Аль-Дахле подчеркнул, что Meta не обучала модели Llama 4 Maverick и Llama 4 Scout на «тестовых наборах данных», то есть специальных выборках, используемых для оценки ИИ. Такая практика могла бы искусственно завысить результаты, создав ложное впечатление о возможностях моделей.

Подозрения изначально появились из-за различий в работе Llama 4 Maverick на разных платформах. Исследователи заметили, что версия модели в бенчмарке LM Arena ведёт себя иначе, чем публично доступная и не справляется с определёнными задачами. Кроме того, Meta использовала экспериментальную сборку Maverick для улучшения результатов тестов, что также вызвало вопросы.

Одновременно Аль-Дахле отмечает, что причина, по которой пользователи пока сталкиваются с нестабильным качеством моделей, может быть связана с настройками облачных провайдеров, на серверах которых размещаются скрипты. «Мы выпустили модели сразу после их готовности, и потребуется несколько дней, чтобы все публичные реализации были настроены в соответствии с нашими требованиями», — пояснил он. В Meta пообещали в любом случае продолжить работу над исправлениями багов Llama 4 для быстрой интеграции разработчиками в свои проекты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
NVIDIA потратит $1,5 млрд на аренду собственных ИИ-ускорителей у Lambda, в которую сама же и инвестировала 3 ч.
Семейство iPhone 17 окажется на 3,5 % популярнее предшествующего, как считают эксперты TrendForce 4 ч.
Tesla теперь называет свой автопилот «почти полным» 5 ч.
OnePlus и Hasselblad разорвали сотрудничество в сфере технологий обработки фото 5 ч.
Совокупная капитализация лидеров технологического рынка достигла $21 трлн — активнее других вырос Google 10 ч.
Трамп собрал с глав бигтехов обещания гигантских инвестиций в обмен на доступную энергию для дата-центров 13 ч.
Утечка раскрыла дизайн супертонкого Samsung Galaxy S26 Edge, который выйдет в начале 2026 года 13 ч.
Broadcom получила нового клиента с заказом на $10 млрд — акции взлетели на 15 % 14 ч.
В Европе появился первый экзафлопсный суперкомпьютер Jupiter — в мировом рейтинге он занял четвёртое место 15 ч.
Состоялся официальный запуск первого в Европе экзафлопсного суперкомпьютера JUPITER 15 ч.