Сегодня 28 сентября 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Meta✴ отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4

Представитель Meta опроверг слухи о том, что компания намеренно улучшала показатели своих новых ИИ-моделей Llama 4 в бенчмарках. Вице-президент по генеративному искусственному интеллекту Ахмад Аль-Дахле (Ahmad Al-Dahle) заявил в посте на страницах X, что утверждения о подгонке результатов с целью сокрытия слабых сторон моделей Maverick и Scout — «просто неправда».

 Источник изображения: Mariia Shalabaieva / Unsplash

Источник изображения: Mariia Shalabaieva / Unsplash

Слухи о манипуляциях появились в соцсетях после публикации бывшего сотрудника Meta. Пользователь китайской платформы утверждал, что уволился из компании в знак протеста против «нечестных методов тестирования». Позже эти обвинения распространились в X (бывший Twitter) и Reddit, пишет издание TechCrunch.

Однако Аль-Дахле подчеркнул, что Meta не обучала модели Llama 4 Maverick и Llama 4 Scout на «тестовых наборах данных», то есть специальных выборках, используемых для оценки ИИ. Такая практика могла бы искусственно завысить результаты, создав ложное впечатление о возможностях моделей.

Подозрения изначально появились из-за различий в работе Llama 4 Maverick на разных платформах. Исследователи заметили, что версия модели в бенчмарке LM Arena ведёт себя иначе, чем публично доступная и не справляется с определёнными задачами. Кроме того, Meta использовала экспериментальную сборку Maverick для улучшения результатов тестов, что также вызвало вопросы.

Одновременно Аль-Дахле отмечает, что причина, по которой пользователи пока сталкиваются с нестабильным качеством моделей, может быть связана с настройками облачных провайдеров, на серверах которых размещаются скрипты. «Мы выпустили модели сразу после их готовности, и потребуется несколько дней, чтобы все публичные реализации были настроены в соответствии с нашими требованиями», — пояснил он. В Meta пообещали в любом случае продолжить работу над исправлениями багов Llama 4 для быстрой интеграции разработчиками в свои проекты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новая статья: Dying Light: The Beast — свобода или клетка? Рецензия 6 ч.
Российская платформа для разработки GitFlic дополнилась интеграцией с системами управления проектами 14 ч.
«Фотографии» в Windows 11 научатся автоматически сортировать изображения и распознавать надписи не только на английском 14 ч.
В смартфонах OnePlus обнаружена дыра в безопасности — любое приложение может читать все SMS без разрешения 16 ч.
«Бро постит ИИ-бурду у себя в приложении»: Meta запустила платформу Vibes для коротких ИИ-видео 16 ч.
YouTube Music превратили в подобие радио с ИИ-ведущими, которые «расширят музыкальные горизонты» 18 ч.
Сайт и бренд закрывшегося известного магазина «Плеер.ру» сдадут в аренду — не дешевле 500 тыс. рублей в месяц 19 ч.
Сделка с TikTok оставляет дыру в нацбезопасности США — роль Oracle раскритиковали 21 ч.
Apple разработала аналог ChatGPT — приложение Veritas для iPhone, но никому его не показывает 24 ч.
Electronic Arts готовится к выкупу за $50 миллиардов, чтобы стать частной компанией — это будет самая крупная подобная сделка в истории 27-09 02:17
Oracle взяла на себя ещё $18 млрд долга для расширения бизнеса и строительства ИИ-инфраструктуры 6 ч.
Учёные нашли у Земли седьмую «ложную Луну» — квазиспутник 2025 PN7 8 ч.
Энтузиасты объединили двенадцать dial-up модемов для просмотра YouTube без тормозов 10 ч.
Horizon Fuel Cell представила 3-МВт модуль с водородными топливными элементами для замены дизель-генераторов 13 ч.
Чип с «сосудами»: Microsoft и Corintis вытравили микроканалы для СЖО прямо в кремнии 13 ч.
Учёные запустили самую большую и детальную симуляцию Вселенной — она поможет в поиске тёмных материи и энергии 14 ч.
Майнинговая компания Iren увеличила мощность ИИ-облака, закупив тысячи ускорителей NVIDIA и AMD за $674 млн 14 ч.
Samsung уронила цены на выпуск 2-нм чипов — на треть дешевле TSMC 16 ч.
Трамп собрался привязать пошлины на импортную электронику к числу чипов в ней 22 ч.
Пентагон может называть производителя дронов DJI китайской военной компанией, постановил суд 23 ч.