Сегодня 01 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Популярные модели ИИ провалили тест на прозрачность: их разработчики скрыли всё, что смогли

Стремясь приоткрыть завесу над нейросетями, работающими по принципу «чёрного ящика», Стэнфордский университет в сотрудничестве с Массачусетским технологическим институтом и Принстоном разработал оценочный «Индекс прозрачности базовой модели» (Foundational Model Transparency Index, FMTI). Новая система оценки ранжирует 10 крупнейших моделей ИИ на основе общедоступных сведений о них. Результаты удручающие, лишь модели с открытым исходным кодом дарят некоторую надежду.

 Источник изображения: Pixabay

Источник изображения: Pixabay

«В то время как социальное влияние моделей ИИ растёт, их прозрачность снижается, отражая секретность, которая сопровождала предыдущие цифровые технологии, такие как социальные сети», — утверждает соавтор исследования Саяш Капур (Sayash Kapoor). А низкая прозрачность, по мнению учёных, затрудняет «потребителям понимание ограничений модели или возмещение причинённого вреда».

FMTI оценивает 10 крупнейших моделей ИИ по 100 различным критериям, связанным с прозрачностью и открытостью. Сюда входит, например, их структура, информация, на которой они обучались, и потребность в вычислительных ресурсах. Также учитываются политики использования модели, защиты данных и снижения рисков. Полный список показателей и методологии можно найти в сопроводительном 110-страничном документе к исследованию.

 Источник изображений: Stanford University, The Center for Research on Foundation Models

Источник изображений: Stanford University, The Center for Research on Foundation Models

Перед публикацией отчёта исследователи обсуждали результаты теста совместно с руководителями каждой компании, давая им возможность аргументированно «оспаривать оценки, с которыми они не согласны». Если команда находила аргументы создателей ИИ убедительными, производилась корректировка оценок. Даже с учётом столь взвешенного подхода средняя оценка по всем моделям составила всего 37 баллов из 100 (37 %). На основании этого результата исследователи пришли к выводу, что ни одна из моделей на сегодняшний день не обеспечивает адекватной прозрачности.

Модель Llama 2 от Meta заняла первое место с результатом 54 %. Bloomz от Hugging Face, заняла второе место с 53 %, за ней следует GPT-4 от OpenAI, получившая 48 %. «OpenAI, в названии которой есть слово “открытый”, чётко показала отсутствие прозрачности в отношении большинства аспектов своей флагманской модели GPT-4», — прокомментировали этот результат исследователи. Модель Stable Diffusion 2 компании Stability AI заняла четвёртое место с 47 %. Модель PaLM2 от Google, на которой основан чат-бот Bard, замыкает пятёрку лучших, получив 40 %.

«Один из самых острых политических споров в области ИИ сегодня заключается в том, должны ли модели ИИ быть открытыми или закрытыми», — говорят исследователи. Открытые модели в целом получили более высокий рейтинг, чем закрытые. Модель считается «открытой», если её код размещается публично как открытое программное обеспечение. К открытым моделям относятся такие модели ИИ как Llama 2 и Bloomz, к закрытым — GPT-4. Стэнфордский университет продемонстрировал преимущества открытых моделей, создав свою собственную модель ИИ Alpaca на основе открытого программного кода Llama от Meta.

Исследователи надеются, что FMTI окажет позитивное влияние на политику создателей ИИ, и в дальнейшем планирует публиковать рейтинг FTMI ежегодно. Девять из десяти участников рейтинга ранее уже присоединились к инициативам правительства США по ответственному использованию ИИ. FMTI может стать дополнительным мотивирующим фактором для выполнения ими своих обязательств.

Данные рейтинга FMTI также могут пригодиться Европейскому Союзу при разработке следующей редакции «Закона об искусственном интеллекте». Исследователи полагают, что использование нового индекса даст законодателям большую ясность в отношении положения дел в области ИИ и того, что они потенциально могут изменить с помощью регулирования.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
На долю взлома аккаунтов на «Госуслугах» приходится 90 % от общего числа преступлений с неправомерным доступом к данным 14 ч.
Новая статья: RoadCraft — восстановление разрушенного. Рецензия 21 ч.
Новая статья: Gamesblender № 728: SteamOS против Windows, анонсы Warhammer Skulls и вторая жизнь WRC 22 ч.
В Twitch появятся перемотка, вертикальные трансляции и не только 31-05 15:25
Суд склоняется к мягким мерам по устранению монополии Google в онлайн-поиске, но окончательное решение придётся подождать 31-05 13:35
Google запустила ИИ-генератор видео Veo 3 для мобильных устройств на Android и iOS 31-05 08:11
Microsoft добавила в «Блокнот» возможности форматирования текста почти как в Word 31-05 07:06
OpenAI хочет, чтобы ChatGPT стал личным секретарём для каждого 31-05 07:03
Новая статья: The Slormancer — Diablo без заморочек. Рецензия 31-05 00:01
Моддер уже добавил в Elden Ring Nightreign режим для двух игроков, о котором забыли разработчики 30-05 23:05
Трамп отозвал кандидатуру Джареда Айзекмана на пост главы NASA — в этом замешан Илон Маск 4 ч.
США готовят полный запрет продаж коммерческих дронов DJI и других китайских производителей 4 ч.
SpaceX вывела на орбиту очередную партию спутников Starlink и снова посадила первую ступень носителя 14 ч.
Intel и SoftBank намерены разработать более экономичную альтернативу памяти HBM 14 ч.
Петабайтные E2 SSD готовы со временем потеснить HDD в ЦОД 19 ч.
Тонкий Galaxy S25 Edge показал удивительную прочность в тесте на изгиб и других испытаниях 20 ч.
Intel представила EMIB-T — технологию упаковки многокристальных чипов с поддержкой HBM4 и UCIe 20 ч.
Sharp представила прочный флагманский смартфон Aquos R10 с 240-Гц экраном и более доступный Wish 5 31-05 18:35
Hugging Face выпустила человекоподобного робота HopeJR всего за $3000 31-05 17:38
Игровые видеокарты спасли Nvidia от обрушения акций — продажи GeForce оказались рекордными в прошлом квартале 31-05 16:38