Сегодня 23 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

В Meta✴ отрицают, что искусственно завысили результаты тестов ИИ-модели Llama 4

Представитель Meta опроверг слухи о том, что компания намеренно улучшала показатели своих новых ИИ-моделей Llama 4 в бенчмарках. Вице-президент по генеративному искусственному интеллекту Ахмад Аль-Дахле (Ahmad Al-Dahle) заявил в посте на страницах X, что утверждения о подгонке результатов с целью сокрытия слабых сторон моделей Maverick и Scout — «просто неправда».

 Источник изображения: Mariia Shalabaieva / Unsplash

Источник изображения: Mariia Shalabaieva / Unsplash

Слухи о манипуляциях появились в соцсетях после публикации бывшего сотрудника Meta. Пользователь китайской платформы утверждал, что уволился из компании в знак протеста против «нечестных методов тестирования». Позже эти обвинения распространились в X (бывший Twitter) и Reddit, пишет издание TechCrunch.

Однако Аль-Дахле подчеркнул, что Meta не обучала модели Llama 4 Maverick и Llama 4 Scout на «тестовых наборах данных», то есть специальных выборках, используемых для оценки ИИ. Такая практика могла бы искусственно завысить результаты, создав ложное впечатление о возможностях моделей.

Подозрения изначально появились из-за различий в работе Llama 4 Maverick на разных платформах. Исследователи заметили, что версия модели в бенчмарке LM Arena ведёт себя иначе, чем публично доступная и не справляется с определёнными задачами. Кроме того, Meta использовала экспериментальную сборку Maverick для улучшения результатов тестов, что также вызвало вопросы.

Одновременно Аль-Дахле отмечает, что причина, по которой пользователи пока сталкиваются с нестабильным качеством моделей, может быть связана с настройками облачных провайдеров, на серверах которых размещаются скрипты. «Мы выпустили модели сразу после их готовности, и потребуется несколько дней, чтобы все публичные реализации были настроены в соответствии с нашими требованиями», — пояснил он. В Meta пообещали в любом случае продолжить работу над исправлениями багов Llama 4 для быстрой интеграции разработчиками в свои проекты.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
«Каждый заслуживает постоянный доступ к играм, за которые заплатил»: Owlcat Games поддержала движение Stop Killing Games 16 мин.
В Firefox 141 исправили 18 уязвимостей и добавили сортировку вкладок силами ИИ 41 мин.
Проверенный инсайдер подтвердил дату выхода и цену Battlefield 6 на ПК и консолях, а Electronic Arts показала тизер сюжетной кампании 2 ч.
«Наконец-то достойный наследник Dead Space»: 10 минут геймплея хоррора Cronos: The New Dawn от создателей ремейка Silent Hill 2 3 ч.
ИИ способны тайно научить друг друга быть злыми и вредными, показало новое исследование 3 ч.
AWS ограничила доступ к среде разработки Kiro с ИИ из-за её чрезмерной популярности 4 ч.
Microsoft тоже посчитала стоимость The Outer Worlds 2 слишком высокой — игра будет продаваться за $70, а не за $80 4 ч.
В ChatGPT появилась функция «Совместное обучение», которая поможет подготовиться к экзаменам 5 ч.
Люди скоро совсем перестанут понимать, как ИИ рассуждает — предупредили ведущие разработчики 5 ч.
Идея создания национального аналога SAP не нашла поддержки у бизнеса 5 ч.
Ловкость рук и никакого мошенничества: Meta показала прототип браслета, который позволит управлять ПК с помощью жестов 57 мин.
Apple запустила страховку AppleCare One для трёх устройств за $20 в месяц 2 ч.
iPhone и «основные Android-смартфоны» получат поддержку беспроводной зарядки Qi2 25W, представленной сегодня 3 ч.
Том Конрад, отмывающий репутацию Sonos, стал постоянным генеральным директором компании 3 ч.
Спрос на ленточные накопители продолжает расти: поставки LTO в 2024 году приблизились к 180 Эбайт 4 ч.
AMD запустила продажи мощнейших ПК-процессоров — 96-ядерный Ryzen Threadripper Pro 9995WX стоит $11 699 4 ч.
Китай введёт системы автономного вождения в ПДД и запретит привирать в их рекламе 5 ч.
Micron выпустила первую в мире флеш-память SLC NAND для космических ЦОД — она не боится радиации, вакуума и мороза 5 ч.
50 Гбайт за 1,5 секунды: в Китае протестировали сотовую сеть 6G 5 ч.
Дешёвой DDR5 пока не будет: китайская CXMT отложила запуск массового производства чипов DDR5 5 ч.