Сегодня 14 июля 2024
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

Для обучения GPT-5 не хватит качественных данных из всего интернета

Разработчики передовых моделей искусственного интеллекта столкнулись с неожиданной проблемой — нехваткой качественного материала для их обучения. Ситуация усугубляется тем, что некоторые ресурсы блокируют доступ ИИ к своим данным. По словам исследователей, попытки обучать ИИ на материалах других моделей и прочем «синтетическом контенте» могут обернуться «большими проблемами».

 Источник изображения: Steve Johnson / unsplash.com

Источник изображения: Steve Johnson / unsplash.com

Учёные и руководители компаний-разработчиков ИИ обеспокоены, что в ближайшие два года качественных текстов может не хватить для дальнейшего обучения больших языковых моделей (LLM), что замедлит развитие отрасли. Разрабатывающая ChatGPT компания OpenAI уже рассматривает возможность обучения GPT-5 на транскрипциях публичных роликов на YouTube.

Языковые модели ИИ собирают тексты из интернета — научные исследования, новости, статьи из «Википедии» — и разбивают их на отдельные слова или их части, используя их, чтобы научиться отвечать как человек. Чем больше входящих данных, тем лучше результат — именно на это уповала OpenAI, что помогло ей стать одним из лидеров отрасли. По словам изучающего искусственный интеллект в Исследовательском институте Epoch Пабло Вильялобоса (Pablo Villalobos), GPT-4 обучался на 12 триллионах токенов данных, а в соответствии с законами масштабирования Шиншиллы, ИИ вроде GPT-5 потребуется 60–100 триллионов токенов. Если собрать все высококачественные текстовые и графические данные в интернете, для обучения GPT-5 не хватит от 10 до 20 триллионов токенов, а может и больше — и пока непонятно, где их взять. Два года назад Вильялобос и другие исследователи уже предупреждали, что к середине 2024 года с вероятностью 50 % ИИ уже не будет хватать данных для обучения, к 2026 — с вероятностью 90 %.

По словам учёных, большинство данных в интернете непригодно для обучения ИИ, поскольку содержит бессвязный текст или не добавляет новой информации к уже имеющейся. Для этой цели подходит лишь малая часть материала — примерно десятая доля собранного некоммерческой организацией Common Crawl, чей веб-архив широко используется разработчиками ИИ. Тем временем, крупные платформы вроде социальных сетей и новостных агентств закрывают доступ к своим данным, а общественность не горит желанием открывать личную переписку для обучения языковых моделей. Марк Цукерберг (Mark Zuckerberg) считает огромным преимуществом в разработке ИИ доступ Meta к данным на своих платформах, среди которых текст, изображения и видео — правда, трудно сказать, какую долю этих материалов можно считать качественной.

 Ари Моркос. Источник изображения: arimorcos.com

Ари Моркос. Источник изображения: arimorcos.com

Стартап DatologyAI пытается бороться с нехваткой контента, используя методику «учебного плана», согласно которой данные «скармливаются» ИИ в определённом порядке, помогающем установить связь между ними. В опубликованной в 2022 году работе бывшего сотрудника Meta Platform и Google DeepMind, а ныне основателя DatologyAI Ари Моркоса (Ari Morcos) подсчитано, что данный подход помогает добиваться сопоставимых успехов в обучении ИИ при сокращении входящих данных вдвое. Впрочем, другие исследования эти данные не подтвердили.

Сэм Альтман (Sam Altman) также рассказал, что OpenAI разрабатывает новые методики обучения ИИ. По слухам, в стенах компании обсуждается возможность создания рынка данных, на котором бы определялась ценность конкретных материалов для каждой модели и справедливая цена, которую можно за них заплатить. Эта же идея обсуждается в Google, однако конкретных подвижек в этом направлении пока нет, поэтому компании-разработчики ИИ стараются дотянутся до всего, что только можно, в том числе видео- и аудиоматериалов — по словам источников в OpenAI, их собираются расшифровывать инструментом распознавания речи Whisper.

 Сэм Альтман. Источник изображения: wikipedia.org

Сэм Альтман. Источник изображения: wikipedia.org

Исследователи из OpenAI и Anthropic экспериментируют с так называемыми «высококачественными синтетическими данными». В недавнем интервью главный научный сотрудник Anthropic Джаред Каплан (Jared Kaplan) сказал, что подобные «сгенерированные внутри компании данные» могут быть полезные и использовались в последних версиях Claude. Пресс-секретарь OpenAI также подтвердил подобные разработки.

Многие исследователи проблемы нехватки данных не верят, что смогут с ней справиться, однако Вильялобос не теряет оптимизма, и верит, что впереди ещё много открытий. «Самая большая неопределённость в том, что мы не знаем, какие революционные открытия ещё предстоят», — сказал он.

По словам Ари Моркоса, нехватка данных — одна из важнейших проблем отрасли. Однако её развитие тормозит не только это — необходимые для работы больших языковых моделей чипы также в дефиците, а лидеры отрасли обеспокоены нехваткой центров обработки данных и электроэнергии.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Вечерний 3DNews
Каждый будний вечер мы рассылаем сводку новостей без белиберды и рекламы. Две минуты на чтение — и вы в курсе главных событий.
Материалы по теме
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...

window-new
Soft
Hard
Тренды 🔥
Сотрудники OpenAI обвинили компанию в препятствовании огласке о рисках ИИ 10 ч.
Разработчики игр жалуются на сбои процессоров Intel Core 13-го и 14-го поколения 11 ч.
Новая статья: Anger Foot — где мои кроссовки? Рецензия 16 ч.
Новая статья: Gamesblender № 682: закрытие авторов «Готики», подорожание Game Pass и маркировка игр в России 17 ч.
MWS увеличила выручку от облака в I квартале на 32 % 18 ч.
Razer добавила киберспортивным мышам динамическую чувствительность и поддержку движения под углом 22 ч.
ИИ повышает индивидуальную креативность, но ухудшает качество материалов в целом 23 ч.
«Это не игра, это набор бессвязных механик»: аудитория The First Descendant превысила 10 млн игроков, но проблем у шутера пока хватает 24 ч.
У OpenAI почти готов революционный ИИ Strawberry — он умеет планировать и рассуждать 13-07 12:59
OpenAI так и не разрешила некоторые вопросы безопасности ИИ 13-07 11:42
Сразу несколько стартапов готовятся поднимать туристов к границе земной атмосферы на воздушных шарах 8 ч.
Google провела кадровые перестановки для возрождения AR-устройств, но уже на основе ИИ 9 ч.
Тайваньские производители в июне хорошо заработали на буме ИИ 9 ч.
BlackRock: ИИ — это новая промышленная революция, которая подстегнёт быстрое развитие ЦОД 18 ч.
Американские производители оборудования для выпуска чипов нарастили поставки в Китай, несмотря на санкции 21 ч.
Asus представила третью версию GeForce RTX 4060 Dual с уменьшенными вентиляторами 22 ч.
Методы современной биологии помогли увеличить дальность полёта электрических самолётов в четыре раза 24 ч.
В Сан-Франциско начинает курсировать первый в мире пассажирский паром на водородном топливе 13-07 13:44
Учёные создали дистилляционный костюм для астронавтов почти как в «Дюне» — он делает питьевую воду из мочи 13-07 11:39
ИИ-гаджет Rabbit R1 сохранял переписку с пользователями без возможности её удалить 13-07 11:28