Сегодня 08 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Meta✴ отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4

Представитель Meta опроверг слухи о том, что компания намеренно улучшала показатели своих новых ИИ-моделей Llama 4 в бенчмарках. Вице-президент по генеративному искусственному интеллекту Ахмад Аль-Дахле (Ahmad Al-Dahle) заявил в посте на страницах X, что утверждения о подгонке результатов с целью сокрытия слабых сторон моделей Maverick и Scout — «просто неправда».

 Источник изображения: Mariia Shalabaieva / Unsplash

Источник изображения: Mariia Shalabaieva / Unsplash

Слухи о манипуляциях появились в соцсетях после публикации бывшего сотрудника Meta. Пользователь китайской платформы утверждал, что уволился из компании в знак протеста против «нечестных методов тестирования». Позже эти обвинения распространились в X (бывший Twitter) и Reddit, пишет издание TechCrunch.

Однако Аль-Дахле подчеркнул, что Meta не обучала модели Llama 4 Maverick и Llama 4 Scout на «тестовых наборах данных», то есть специальных выборках, используемых для оценки ИИ. Такая практика могла бы искусственно завысить результаты, создав ложное впечатление о возможностях моделей.

Подозрения изначально появились из-за различий в работе Llama 4 Maverick на разных платформах. Исследователи заметили, что версия модели в бенчмарке LM Arena ведёт себя иначе, чем публично доступная и не справляется с определёнными задачами. Кроме того, Meta использовала экспериментальную сборку Maverick для улучшения результатов тестов, что также вызвало вопросы.

Одновременно Аль-Дахле отмечает, что причина, по которой пользователи пока сталкиваются с нестабильным качеством моделей, может быть связана с настройками облачных провайдеров, на серверах которых размещаются скрипты. «Мы выпустили модели сразу после их готовности, и потребуется несколько дней, чтобы все публичные реализации были настроены в соответствии с нашими требованиями», — пояснил он. В Meta пообещали в любом случае продолжить работу над исправлениями багов Llama 4 для быстрой интеграции разработчиками в свои проекты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Число айтишников в России выросло до 1 млн, но дефицит высококвалифицированных кадров остался 4 мин.
Госдума: борьба Роскомнадзора с хостерами-нарушителями не обернётся блокировкой Steam в России 40 мин.
Google платит сотрудникам отделов ИИ за ничегонеделание — лишь бы они не ушли к конкурентам 51 мин.
Голливудскую стратегию Hollywood Animal от создателей This is the Police не забросят в раннем доступе — подробности поддержки игры 2 ч.
Amazon представила ИИ-модель Nova Reel 1.1 для генерации двухминутных видео по текстовым подсказкам 5 ч.
В Meta отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4 7 ч.
«ИИ крадёт у всех»: медиаиндустрия потребовала немедленно остановить воровство контента для ИИ 11 ч.
Google научила ИИ-поиск AI Mode искать по изображениям, но пока не у всех пользователей 12 ч.
Несмотря на разгромные рецензии критиков, фильм «Minecraft в кино» оказался хитом проката 13 ч.
Инсайдер: ремейк The Elder Scrolls IV: Oblivion может выйти «в любой момент» 14 ч.