Сегодня 02 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Meta✴ отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4

Представитель Meta опроверг слухи о том, что компания намеренно улучшала показатели своих новых ИИ-моделей Llama 4 в бенчмарках. Вице-президент по генеративному искусственному интеллекту Ахмад Аль-Дахле (Ahmad Al-Dahle) заявил в посте на страницах X, что утверждения о подгонке результатов с целью сокрытия слабых сторон моделей Maverick и Scout — «просто неправда».

 Источник изображения: Mariia Shalabaieva / Unsplash

Источник изображения: Mariia Shalabaieva / Unsplash

Слухи о манипуляциях появились в соцсетях после публикации бывшего сотрудника Meta. Пользователь китайской платформы утверждал, что уволился из компании в знак протеста против «нечестных методов тестирования». Позже эти обвинения распространились в X (бывший Twitter) и Reddit, пишет издание TechCrunch.

Однако Аль-Дахле подчеркнул, что Meta не обучала модели Llama 4 Maverick и Llama 4 Scout на «тестовых наборах данных», то есть специальных выборках, используемых для оценки ИИ. Такая практика могла бы искусственно завысить результаты, создав ложное впечатление о возможностях моделей.

Подозрения изначально появились из-за различий в работе Llama 4 Maverick на разных платформах. Исследователи заметили, что версия модели в бенчмарке LM Arena ведёт себя иначе, чем публично доступная и не справляется с определёнными задачами. Кроме того, Meta использовала экспериментальную сборку Maverick для улучшения результатов тестов, что также вызвало вопросы.

Одновременно Аль-Дахле отмечает, что причина, по которой пользователи пока сталкиваются с нестабильным качеством моделей, может быть связана с настройками облачных провайдеров, на серверах которых размещаются скрипты. «Мы выпустили модели сразу после их готовности, и потребуется несколько дней, чтобы все публичные реализации были настроены в соответствии с нашими требованиями», — пояснил он. В Meta пообещали в любом случае продолжить работу над исправлениями багов Llama 4 для быстрой интеграции разработчиками в свои проекты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
В Threads появились собственные личные сообщения — без перехода в Instagram 5 ч.
Одной из двух замороженных игр People Can Fly была Outriders 2 — подробности отменённого сиквела 7 ч.
Telegram добавил списки задач и посты от подписчиков — на последних можно зарабатывать 7 ч.
Bloomberg раскрыл список «очень состоятельных» претендентов на покупку TikTok в США 7 ч.
Rockstar вспомнила о Red Dead Online — для мультиплеерного боевика вышло первое за долгое время крупное обновление 8 ч.
Психологический хоррор Dead Take сотрёт границу между кино и играми — в главных ролях оказались звёзды Baldur’s Gate 3 и Clair Obscur: Expedition 33 10 ч.
Nvidia выпустила драйвер с поддержкой GeForce RTX 5050 11 ч.
System Shock 2: 25th Anniversary Remaster получила новую дату выхода на PlayStation, Xbox и Nintendo Switch 11 ч.
Разработчик конфиденциальных сервисов Proton решил засудить Apple за недобросовестную конкуренцию 12 ч.
Новый план Huawei по «захвату мира»: компания открыла исходный код своих ИИ-моделей 13 ч.
Федеральный суд в США отказался снять обвинения с Huawei в нарушении санкций 2 мин.
Задняя панель Nothing Phone 3 стала больше похожа на экран смартфона 38 мин.
Новая статья: Обзор смартфона HONOR 400 Pro: настоящая уличная магия 4 ч.
Apple оштрафовали на $110 млн за незаконное использование технологии связи 20-летней давности 5 ч.
Новая статья: Обзор системного блока Bloody BD-PC CZ79C3: главное — настрой! 6 ч.
Apple обвинила экс-инженера Vision Pro в краже тысяч секретных файлов перед переходом к конкуренту 6 ч.
Отечественный квантовый процессор с наибольшим числом кубитов прошёл испытания и готов к масштабированию 7 ч.
Nothing представила накладные наушники Headphone (1) — аналоговое управление, звук KEF и автономность до 80 часов за €299 9 ч.
Nothing представила флагманский Phone (3) с матричным экраном и четвёркой 50-Мп камер за $800 9 ч.
Marshall представила портативную колонку Middleton II с автономностью до 30 часов и LE Audio — она работает даже под водой 10 ч.