ByteDance (родительская компания TikTok) тайно использует технологию OpenAI для разработки собственной конкурирующей большой языковой модели (LLM), сообщил ресурс The Verge, подчеркнувший, что это является прямым нарушением условий использования технологий ИИ OpenAI, согласно которым они не могут применяться для разработки каких-либо моделей ИИ, которые конкурируют с продуктами и сервисами» компании.

Источник изображений: ByteDance

Согласно внутренним документам ByteDance, с которыми ознакомились в The Verge, OpenAI API использовался в проекте под кодовым названием Project Seed почти на каждом этапе разработки LLM, в том числе для обучения и оценки модели.

После публикации The Verge китайская компания сочла необходимым выступить с разъяснением по этому поводу. ByteDance признала в заявлении, направленном ресурсу South China Morning Post, что, когда в начале этого года занялась изучением LLM, её небольшая группа разработчиков действительно использовала API-сервис OpenAI в экспериментальной модели, которая не предназначалась для публичного запуска. Работа над проектом была прекращена в апреле после введения регламентации использования OpenAI, условиями которой запрещается применение продуктов GPT для разработки моделей, конкурирующих с продуктами OpenAI.

ByteDance сообщила, что по-прежнему использует API OpenAI вместе с некоторыми другими сторонними моделями «в очень ограниченной степени в процессе оценки/тестирования, например, при сравнительном анализе результатов». «ByteDance имеет лицензию на использование API OpenAI и уделяет большое внимание соблюдению условий использования OpenAI», — указано в заявлении компании.

Тем не менее OpenAI приостановила доступ ByteDance к своему сервису. «Хотя использование ByteDance нашего API было минимальным, мы заблокировали её учётную запись на время расследования»,— указано в заявлении OpenAI, направленном ресурсу Verge. OpenAI предупредила, что, если выяснится, что использование API OpenAI китайской компанией не соответствует её условиям, ей будет предложено внести необходимые изменения или закрыть свою учётную запись.

В настоящее время в Китае наблюдается бум в разработке LLM. К июлю этого года местными фирмами и исследовательскими институтами было выпущено не менее 130 LLM. В связи с этим основатель и гендиректор Baidu Робин Ли (Robin Li) заявил, что в стране слишком много базовых моделей искусственного интеллекта, что является «громадным растранжириванием ресурсов».

Накануне по социальным сетям разлетелась информация, что в Dropbox появилась новая экспериментальная функция поиска, основанная на алгоритмах искусственного интеллекта, которая включена по умолчанию и предусматривает отправку данных OpenAI. В администрации Dropbox заверили пользователей, что данные передаются только в том случае, когда функция активно применяется, а сами данные не используются для обучения ИИ и удаляются в течение 30 дней.

Источник изображения: dropbox.com

Dropbox даёт пользователям гарантии конфиденциальности информации, но включённая по умолчанию функция, предполагающая передачу данных третьим лицам, огорчила пользователей облачного хранилища. Пришлось вмешаться главе Dropbox Дрю Хьюстону (Drew Houston), который пояснил в соцсети X: «Переключатель стороннего ИИ в меню настроек включает или отключает доступ к возможностям и функциям DBX AI. Ни эта, ни любая другая настройка не отправляет никаких данных пользователей Dropbox сторонним ИИ-сервисам в автоматическом или пассивном режиме».

По официальной версии, новый пункт в настройках доступен только участникам программы альфа-тестирования функций Dropbox AI, в том числе диалогового интерфейса с ИИ-ботом, которому можно задавать вопросы об отдельных файлах. Чтобы функция работала, ИИ-модели, например, GPT-4, необходим доступ к файлам. Представитель Dropbox сообщил ресурсу Ars Technica, что функция была включена по умолчанию лишь для того, чтобы познакомить пользователей платформы с новыми возможностями. И при попытке воспользоваться этими функциями будет выведено предупреждение об отправке данных третьим лицам.

Единственным поставщиком функций ИИ для Dropbox является OpenAI. В компании подчеркнули, что на ресурсы партнёра отправляется только контент, непосредственно связанный с запросом пользователя и необходимый для подготовки ИИ описания или сводки данных, а в течение 30 дней эти материалы удаляются с серверов OpenAI. Доступ стороннего ИИ можно отключить в настройках профиля — соответствующая опция доступна вошедшим в учётную запись пользователям Dropbox по этой ссылке.

Инвестиции Microsoft в OpenAI, лидера в области ИИ, в размере $13 млрд, привлекли внимание антимонопольных органов, включая Федеральную торговую комиссию (FTC) США и Агентство по контролю за конкуренцией и рынками (CMA) Великобритании. Основной вопрос, который изучают эти государственные органы, — нарушают ли сделанные инвестиции антимонопольные законы.

Источник изображения: sergeitokmakov / Pixabay

CMA занимается предварительным анализом ситуации, чтобы выяснить, не угрожает ли партнёрство Microsoft и OpenAI конкуренции в Великобритании. В частности, анализируется возможное получение Microsoft контроля над OpenAI, что может включать материальное влияние, фактический контроль или более 50 % голосов в управляющих органах компании.

Ситуация усложняется из-за недавнего конфликта в OpenAI, который привёл к временному уходу и последующему восстановлению в должности генерального директора Сэма Альтмана (Sam Altman). В этом контексте заслуживает внимания роль Microsoft, имеющей статус наблюдателя в совете директоров OpenAI. Несмотря на отсутствие формальных прав голоса в процессах принятия решений OpenAI, Microsoft, по всей видимости, оказала существенное влияние на решение о возвращении Альтмана на пост генерального директора.

Внимание, уделяемое FTC и CMA инвестициям Microsoft в OpenAI, отражает важность установления равновесия между инновационным развитием и поддержанием конкурентоспособной рыночной среды. Исход этих исследований может оказать влияние на бизнес-стратегии как Microsoft, так и OpenAI, особенно в условиях стремления государственных органов к эффективному регулированию крупномасштабных технологических слияний и поглощений.

В последние дни всё чаще стали поступать жалобы пользователей на то, что ИИ-чат-бот ChatGPT на базе модели OpenAI GPT-4 стал отказываться выполнять запросы, мотивируя это тем, что он не заинтересован в помощи людям.

Источник изображения: Andrew Neel/unsplash.com

Так, в ответ на просьбу предоставить фрагмент кода, он мог просто дать небольшой фрагмент и предложить пользователю доделать остальное самостоятельно. Причём, по словам некоторых пользователей, это делалось самым дерзким образом, например, иногда бот просто заявлял, что они вполне могли бы выполнить всю работу самостоятельно — без обращения к ИИ.

В многочисленных постах на сайте Reddit и сообщениях на форумах разработчиков OpenAI, начавших появляться ещё в конце ноября, пользователи жаловались, что система становится менее полезной. Прозвучало даже предположение, что OpenAI специально сделала так, чтобы ChatGPT не тратил время на длинные ответы на запросы и таким образом стал более эффективным с точки зрения расходования вычислительных ресурсов.

Хорошо известно, что поддержка функционирования ChatGPT обходится OpenAI недёшево. В апреле 2023 года исследователи сообщили, что на OpenAI уходит $700 000 в день, или $0,36 за запрос. По словам отраслевых аналитиков, OpenAI придётся расширить парк ускорителей на 30 000 единиц до конца года, чтобы сохранить производительность.

В OpenAI сообщили, что осведомлены о жалобах на ИИ-бот и отметили, что никаких изменений в модель не вносили. «Мы просмотрели все ваши отзывы о том, что GPT4 становится более ленивым! — написала компания в соцсети X. — Мы не обновляли модель с 11 ноября, и это определённо не намеренно. Поведение модели может быть непредсказуемым, и мы пытаемся это исправить».

После возвращения Сэма Альтмана (Sam Altman) на должность генерального директора OpenAI произошло немало событий, одним из которых стал роспуск совета директоров. Однако неясной остаётся судьба главного научного сотрудника компании Ильи Суцкевера (Ilya Sutskever), который, как сообщалось, сыграл важную роль в смещении Альтмана с должности.

Источник изображения: Viralyft / unsplash.com

По данным издания Business Insider, ссылающегося на собственные источники в OpenAI, на этой неделе Суцкевер не появлялся в офисе компании в Сан-Франциско, хотя его имя продолжает фигурировать в системах компании, таких как Slack, а картины Ильи продолжают дополнять интерьер офиса. Один из источников отметил, что будущее Суцкевера в компании ещё не обсуждалось руководством официально. «Илья всегда будет играть важную роль. Но, вы знаете, есть много других людей, готовых взять на себя ответственность, которую исторически нёс Илья», — добавил представитель компании, пожелавший сохранить конфиденциальность.

Другой источник сообщил, что в настоящее время обсуждается возможность выделения Суцкеверу новой должности, и что есть желание «найти для него роль». При этом он отметил, что определённости относительно будущего главного научного сотрудника OpenAI в компании пока нет. Это не выглядит удивительным, учитывая, что Суцкевер сыграл важную роль в увольнении Альтмана с поста гендиректора, вслед за которым ушёл соучредитель OpenAI Грег Брокман (Greg Brockman), а многие сотрудники компании пригрозили последовать их примеру.

Суцкевер входил в совет директоров, который принял решение об увольнении Альтмана. Однако его значение и влияние в компании, а также статус соучредителя делают Суцкевера более значимой фигурой по сравнению с любым другим членом совета директоров. Продолжающийся кризис в OpenAI подтверждает недавний пост Суцкевера в соцсети X, где он написал: «За последний месяц я усвоил много уроков. Одним из таких уроков является то, что фраза «избиения будут продолжаться до тех пор, пока не улучшится моральный дух» применяется чаще, чем имеет на то право». Эта фраза часто используется в мемах для ироничного обозначения цикла, когда низкая мораль порождает наказание, делающее её ещё более низкой.

Также известно, что Суцкевер нанял адвоката, которым стал Алекс Вайнгартен (Alex Weingarten) из Willkie & Gallagher. Адвокат отказался комментировать вопросы сотрудничества с Суцкевером, сообщив лишь, что его клиент желает лучшего для компании. Официальные представители OpenAI также воздерживаются от комментариев по данному вопросу.

В ноябре причастное к миру информационных технологий сообщество с замиранием сердца следило за событиями вокруг стартапа OpenAI, создавшего ChatGPT, поскольку конфликт совета директоров с генеральным директором Сэмом Альтманом (Sam Altman) привёл к отставке последнего, но после переговоров он был восстановлен в должности. Как можно догадаться, к отставке Альтмана привёл не единичный инцидент, а копившиеся месяцами противоречия в руководстве компании.

Источник изображения: OpenAI

В этом признаются в комментариях Bloomberg источники, знакомые с ситуацией. В целом, как они поясняют, после вынужденного предания скандала огласке бывшие члены совета директоров и Сэм Альтман склонны по-разному трактовать причины, которые привели к отставке последнего. Когда уже после отставки речь зашла о возможности возвращения Альтмана в прежнюю должность, он предложил публично извиниться за то, что не совсем корректно истолковывал взгляды некоторых членов совета директоров на стратегические вопросы управления компанией. Совет директоров на тот момент счёл такие извинения неуместными, поскольку на публике это создало бы впечатление, что причиной отставки Альтмана был какой-то единичный инцидент, который удалось исчерпать с точки зрения противоречий.

Пока ведётся независимое расследование, члены совета директоров OpenAI отказались давать официальные комментарии на эту тему, но по неофициальным каналам Bloomberg удалось выяснить, что к отставке Альтмана привели месяцами копившиеся противоречия по поводу его стратегических манёвров и отсутствия прозрачности в его общении с советом директоров. Вчера председатель совета директоров OpenAI заявил, что для юридического сопровождения независимого расследования наняты адвокаты компании WilmerHale.

По неофициальным данным, совет директоров начал обсуждать возможность отставки Альтмана этой осенью, за некоторое время до ноябрьских событий. На тот момент в состав этого органа правления входили генеральный директор Сэм Альтман, его соратник и сооснователь OpenAI Грег Брокман (Greg Brockman), который занимал пост президента, а также группы из четырёх директоров, которые и были настроены на отставку генерального директора. К ним следует отнести главного научного руководителя OpenAI Илью Суцкевера (Ilya Sutskever), генерального директора Quora Адама Д’Анджело (Adam D’Angelo), научного деятеля Хелен Тонер (Helen Toner) и предпринимательницы Таши Макколи (Tasha McCauley). Фактическая власть в компании была отдана одноимённой некоммерческой организации, а совет директоров имел мало влияния на вектор её развития.

Старшие руководители рангом пониже пытались выразить своё недовольство взаимодействием с Альтманом, но боялись доносить эту информацию до совета директоров в полной мере, опасаясь его мести. После отставки Альтмана коллектив OpenAI сплотился в намерении вернуть бывшего генерального директора, и старшие руководители поддержали это решение без оглядки на прошлые разногласия.

Роль Ильи Суцкевера, который и сообщил Альтману об отставке, тоже оказалась значимой во всей этой истории. С июля он проводил реформы в компании, но к октябрю его ограничили в полномочиях из-за нараставших противоречий с Альтманом и Брокманом. Обиженный Суцкевер смог привлечь на свою сторону многих членов совета директоров. В октябре Альтман также попытался отправить в отставку Хелен Тонер, поскольку был недоволен её публичной критикой политики OpenAI в области безопасности. Хелен Тонер, в свою очередь, пыталась заручиться поддержкой других членов совета директоров.

Пытаясь наладить контакт с прочими членами совета директоров в этой ситуации, Альтман некорректно истолковал их позиции по вопросу, и ошибочно предположил, что коллеги солидарны с ним в намерениях отправить Тонер в отставку. Он даже открыто выражал уверенность, что Таша Макколи является его союзником в этой ситуации, но последняя от такой позиции открещивалась. Члены совета директоров OpenAI пришли к выводу, что Альтман манипулирует ими, и содержание их разговоров с ним существенно отличается от того, что он пытается представить на публике.

Совет директоров действительно был обеспокоен тем, что Альтман не всегда был откровенен с ними. Отставка Альтмана готовилась в такой спешке, что сотрудникам компании не было ничего разъяснено, а потому решимость основной части коллектива настаивать на возвращении генерального директора стала для совета директоров сюрпризом. После возвращения Альтмана на пост генерального директора в отставку подали и Тонер, и Макколи, из прежнего состава совета директоров в новый перекочевал лишь Адам Д’Анджело. На этом настояли те члены совета директоров, которые считали важным сохранить в его составе хотя бы одного очевидца соответствующих ноябрьских событий и сопутствующей предыстории.

Британское Управление по конкуренции и рынкам (CMA) может провести проверку партнёрских отношений Microsoft и OpenAI, чтобы установить, привело ли оно к «поглощению контроля», которое подпадает под действие антимонопольного законодательства. В ведомстве сообщили, что изучают «недавние события», подразумевая временную отставку главы OpenAI Сэма Альтмана (Sam Altman) и роль Microsoft в этих событиях.

Источник изображения: Growtika / unsplash.com

«CMA запросит комментарии, чтобы определить, привело ли партнёрство Microsoft и OpenAI, включая недавние события, к соответствующей слиянию ситуации, и если да, то к потенциальному влиянию на конкуренцию. CMA проверит, привело ли партнёрство к поглощению контроля, то есть к тому, что одна сторона получила существенное влияние, фактический контроль или 50 % прав голоса в другой организации», — гласит заявление регулятора.

Ведомство отметило, что «тесное и многоплановое» партнёрство включает многомиллиардные инвестиции со стороны Microsoft, сотрудничество в области разработки технологий и облачных сервисов. Две компании ведут активную деятельность на финансовых и смежных рынках, а значит, их деловые отношения напрямую влияют на инвесторов. Microsoft недавно также приняла участие в процессах, связанных с управлением OpenAI. Когда совет директоров OpenAI уволил Сэма Альтмана, Microsoft вмешалась в конфликт и заявила о готовности взять его на работу — за ним перейти в корпорацию пригрозило большинство сотрудников OpenAI. Совет директоров уступил, и Альтман вернулся на свой пост.

Вице-председатель совета директоров и президент Microsoft Брэнд Смит (Brand Smith) заявил ресурсу Engadget, что компании сотрудничают с 2019 года — за это время было выпущено множество инновационных решений в области искусственного интеллекта, но партнёры сохранили независимость. Единственным изменением стало место наблюдателя без права голоса от Microsoft в совете директоров OpenAI; корпорация готова сотрудничать с CMA и предоставить ведомству все необходимые сведения, какие только потребуются.

После неожиданного увольнения генерального директора Сэма Альтмана (Sam Altman) из OpenAI сотрудники компании грозились уйти в Microsoft, если решение об его увольнении останется в силе. Однако, согласно последним данным, угроза перехода в Microsoft была лишь блефом, ведь в этом случае он сулил сотрудникам потерю значительных финансовых выгод.

Источник изображения: voltamax / Pixabay

Источники из Business Insider сообщают о чувстве облегчения среди сотрудников OpenAI после того, как им не пришлось переходить в Microsoft. Многие из них заявили, что угроза перехода была всего лишь блефом, целью которого было возвращение Альтмана на пост генерального директора. Отказ от перехода в Microsoft был обусловлен рядом факторов, включая потерю значительных преимуществ, таких как высокая заработная плата и доли в акциях компании.

В OpenAI базовая зарплата начинается с $300 000, а пакет акций на сумму в $2 млн выдаётся за четыре года работы, хотя некоторые сотрудники получают ещё больше. Несмотря на то, что Microsoft согласилась нанять всех сотрудников OpenAI на тех же условиях, это обещание было лишь устным и не имело юридической силы. Один из сотрудников OpenAI выразил сомнения в том, что Microsoft выплатила бы компенсацию за потерянные акции OpenAI.

Если бы сотрудники компании перешли в Microsoft, они бы потеряли возможность участия в тендерных предложениях о выкупе акций OpenAI. Это значит, что они бы упустили возможность продать свои акции по потенциально выгодной цене в будущем. Один из работников OpenAI отметил, что никто не стремился работать в Microsoft, критикуя корпорацию за медленное принятие решений и сравнивая её с более динамичным и инновационным подходом OpenAI.

Некоторые сотрудники также чувствовали себя не в своей тарелке при подписании письма с угрозой ухода в Microsoft, если Альтман не будет восстановлен в должности, отметив, что их отношение к генеральному директору не фанатичное и находится в пределах разумного. Один из сотрудников заявил, что, хотя Альтман и не является идеальным руководителем, на кону стояли миллионы долларов и акции. Снижение стоимости OpenAI нанесло бы ущерб финансовому благополучию сотрудников ИИ-стартапа.

Ситуация в Microsoft также была напряжённой. Сотни сотрудников корпорации были возмущены обещаниями Microsoft согласовать зарплаты с сотнями сотрудников OpenAI. Стоит отметить, что Microsoft ранее уволила более 10 000 сотрудников, заморозила зарплаты, сократила бонусы и акционерные выплаты. Это вызвало недовольство среди работников, которые трудятся не покладая рук более 12 часов в день, находясь в постоянном страхе увольнения. С учётом сложившейся ситуации можно ожидать дополнительной информации о развитии событий в ближайшее время.

В четверг Илон Маск (Elon Musk) заявил, что его компания xAI, специализирующаяся на искусственном интеллекте, запустила для широкой аудитории своего ИИ-чат-бота Grok. Потенциальный конкурент для ChatGPT, не обременённый строгими ограничениями по ответам на провокационные вопросы, стал доступен подписчикам Premium+ социальной сети X (бывшей Twitter).

Источник изображений: X

Маск объявил о запуске ИИ-бота в посте в социальной сети X, не раскрывая подробностей запуска. В прошлом месяце он заявил, что как только Grok выйдет из раннего бета-тестирования, то станет доступен платным подписчикам с самым высоким уровнем Premium+ (за $16 в месяц). Вероятно, подписчики Premium получат доступ к боту несколько позже.

Grok знает толк в счастливой семейной жизни

«Grok — это искусственный интеллект, созданный по образцу путеводителя «Автостопом по галактике» и предназначенный для того, чтобы отвечать практически на всё и, что гораздо сложнее, даже подсказывать, какие вопросы задавать! Grok создан для того, чтобы остроумно отвечать на вопросы, и у него есть бунтарская жилка, поэтому, пожалуйста, не используйте его, если ненавидите юмор», — описывали разработчики своё творение в момент его анонса минувшим летом.

Чат-бот xAI визуально напоминает аналогичные боты. Для взаимодействия с ним предлагается использовать соответствующее поле для формирования запросов. По словам разработчиков, главное преимущество Grok заключается в том, что он способен ответить практически на любой вопрос благодаря доступу к данным соцсети X в режиме онлайн.

Разработка алгоритма началась с создания прототипа большой языковой модели (LLM) Grok-0 с 33 млрд параметров. Эта тестовая модель по своим возможностям сопоставима с показателями LLaMA 2 от Meta✴ Platforms в стандартных тестах, но использует при этом только половину своих обучающих ресурсов. К моменту летнего анонса разработчики сумели добиться существенных улучшений в плане возможностей логического анализа и кодирования, что привело к созданию значительно более мощной языковой модели Grok-1.

Илон Маск запустил xAI в июле в ответ на усилия IT-гигантов в области искусственного интеллекта, которые он критиковал за чрезмерную цензуру и отсутствие адекватных мер безопасности. Крупные технологические компании, включая Microsoft и Google, торопятся запустить продукты на базе ИИ после того, как чат-бот ChatGPT от OpenAI поразил воображение компаний и пользователей по всему миру. Напомним, что Маск также являлся одним из основателей OpenAI в 2015 году, но в 2018 году вышел из состава совета директоров компании.

Поскольку всё больше рекламодателей уходят с платформы микроблогов, миллиардер сделал акцент на снижении зависимости компании от рекламы и сосредоточился на подписках. Очередная новая функция в виде саркастичного Grok должна сделать их более привлекательными. Маск также намерен превратить X в «супер приложение», предлагающее пользователям целый ряд услуг — от обмена сообщениями и общения в социальных сетях до пиринговых платежей.

Илон Маск (Elon Musk) стоял у истоков ставшего популярным стартапа OpenAI, но в дальнейшем разорвал свои связи с этим разработчиком систем искусственного интеллекта. В этом году американский миллиардер основал компанию xAI, которая при создании своих больших языковых моделей смогла использовать массивы данных социальной сети X. На развитие бизнеса xAI собирается привлечь до $1 млрд, как стало известно на этой неделе.

Источник изображения: Unsplash, Xu Haiwei

Информация поступила из официальной заявки, которую американские компании обязаны подавать регуляторам в подобных случаях. Как выясняется, xAI с момента своего основания в текущем году уже привлекла около $135 млн, но перечень инвесторов пока не раскрывается. Теперь компания намеревается привлечь около $1 млрд. В прошлом месяце Илон Маск заявил, что существующие инвесторы социальной сети X получат в капитале стартапа xAI примерно четверть акций. Подписчикам премиального сервиса X также будет открыт доступ к чат-боту Grok, который создаётся xAI с использованием данных социальной сети, ранее известной под именем Twitter.

Заинтересованность в инвестициях на направлении систем искусственного интеллекта Илон Маск странным образом совмещает с осторожным отношением к подобным технологиям. В марте он обратился к разработчикам крупнейших языковых моделей с просьбой приостановить свою деятельность.

Просьба к ИИ-боту ChatGPT компании OpenAI повторять определённые слова «вечно» теперь помечается как нарушение условий предоставления услуг и политики в отношении контента чат-бота. Ранее стало известно, что таким незамысловатым способом можно извлекать огромные количества данных, на которых обучался чат-бот.

Источник изображения: Rolf van Root/unsplash.com

Исследователи подразделения Google DeepMind и ряда университетов предложили ChatGPT 3.5-turbo повторять определённые слова «вечно». После определённого количества повторений слова, бот начинал выдавать огромные объёмы обучающих данных, взятых из интернета. Используя этот метод, исследователи смогли извлечь несколько мегабайт обучающих данных и обнаружили, что в ChatGPT включены большие объёмы личных данных, которые иногда могут быть возвращены пользователям в качестве ответов на их запросы. Как сообщил ранее ресурс arXiv, с помощью повторения слова «стихотворение» (poem), учёные добились получения от ChatGPT контактных данных реального человека, включая номер телефона и адрес электронной почты.

Источник изображений: 404 Media

А при просьбе к ChatGPT повторить слово «книга», он сначала повторял его несколько раз, а затем начинал выдавать случайный контент. Часть его была взята непосредственно с сайтов CNN и Goodreads, блогов WordPress, вики-сайтов Fandom, а также там были дословные выдержки из соглашений об условиях предоставления услуг, исходный код Stack Overflow, защищённые авторским правом юридические заявления об отказе от ответственности, страницы «Википедии», веб-сайт оптовой торговли казино, новостные блоги, случайные комментарии в интернете и многое другое.

«Мы показываем, что злоумышленник может извлекать гигабайты обучающих данных из языковых моделей с открытым исходным кодом, таких как Pythia или GPT-Neo, полуоткрытых моделей, таких как LLaMA или Falcon, и закрытых моделей, таких как ChatGPT», — отметили исследователи из Google DeepMind. Они сообщили, что 30 августа известили OpenAI об уязвимости и что компания её исправила. И лишь после этого исследователи сочли возможным поделиться информацией об уязвимости чат-бота с общественностью.

Как рассказал ресурс 404 Media, теперь в ответ на просьбу к ChatGPT 3.5 «вечно» повторять слово «компьютер», бот несколько десятков раз выдаёт слово «компьютер», а затем отображает сообщение об ошибке: «Этот контент может нарушать нашу политику в отношении контента или условия использования. Если вы считаете, что это ошибка, отправьте свой отзыв — ваш вклад поможет нашим исследованиям в этой области».

OpenAI отложила запуск своего онлайн-магазина магазина приложений для моделей ИИ, пишет Bloomberg. Об этом в четверг компания сообщила в электронном письме для участников тестирования её инструмента GPT Builder для создания кастомных версий её популярного чат-бота ChatGPT.

Источник изображения: OpenAI

В письме для участников программы тестирования GPT Builder компания OpenAI, в частности, отметила, что запуск GPT Store откладывается на начало 2024. Изначально предполагалось, что онлайн-магазин будет запущен в конце текущего года.

«Хотя все мы ожидали релиз в этом месяце, несколько неожиданных событий отвлекли нас», — говорится в письме OpenAI, копия которого оказалась в распоряжении портала The Verge.

О том, что OpenAI рассматривает возможность создания онлайн-платформы, где клиенты могли бы продавать свои собственные модели ИИ, настроенные для конкретных целей, стало известно ещё летом. При этом предполагалось, что для создания кастомных моделей ChatGPT не потребуется знаний программирования. Для этого будут использоваться специальные инструменты, упрощающие процесс создания кастомных чат-ботов. Маркетплейс OpenAI должен помочь стартапам, занимающимся технологиями искусственного интеллекта, выйти на очень конкурентный и активно развивающийся рынок, сейчас занятый в основном только большими компаниями.

На своей первой конференции для разработчиков, проходившей в начале ноября, OpenAI подтвердила, что планирует запустить онлайн-магазин приложений в декабре. Однако последующие события с увольнением генерального директора Сэма Альтмана (Sam Altman) советом директоров в середине того же месяца подвесили в воздухе множество проектов компании и заставили сильно понервничать её акционеров. В конце концов после угроз большинства сотрудников OpenAI об уходе из компании вслед за Альтманом ситуацию удалось разрешить. Альтмана вернули обратно на место генерального директора, а также обновили состав директоров.

Учёные из подразделения Google DeepMind и ряда крупных университетов установили, что системы искусственного интеллекта «запоминают» как минимум часть полученной при обучении информации и могут выдавать её в исходном виде, включая персональные данные людей. Для этого, в частности, используется метод «атаки дивергенции» (Divergence Attack) — большой языковой модели отдаётся команда повторять одно и то же слово. Объяснения этому эффекту пока нет.

Источник изображения: Viralyft / unsplash.com

Когда в ответах ИИ начали появляться фрагменты материалов, использованных при обучении, исследователи задались целью понять, какой объём данных ИИ запоминает и может воспроизвести, и какого рода может быть эта информация. Они также решили установить, может ли сторонний субъект извлечь данные из обучающего массива, не зная наперёд, что в нём содержится. Учёные провели серию экспериментов с различными языковыми моделями, включая наиболее известные, такие как GPT-Neo, LLaMA и ChatGPT. Они сгенерировали миллиарды токенов — слов или символов, в зависимости от модели — и сравнили, соответствуют ли ответы данным, которые использовались при обучении этих моделей. В ходе работы был обнаружен уникальный метод тестирования ChatGPT, предполагающий повторение одного слова большое количество раз, после чего ИИ внезапно начинает генерировать случайный контент.

Как выяснилось, эти модели не только запоминают фрагменты обучающих данных, но и способны воспроизводить их в исходном виде по правильной команде. Не стал исключением и ChatGPT, разработчики которого провели отдельную настройку для предотвращения подобного эффекта. Исследователи обращают внимание разработчиков на острую необходимость всестороннего тестирования моделей ИИ — оно должно касаться не только аспектов взаимодействия с широким кругом пользователей в веб-интерфейсе, но также лежащей в основе сервиса нейросети и системы взаимодействия по API. Целостный подход к безопасности необходим для выявления скрытых уязвимостей, которые в противном случае остаются незамеченными.

Источник изображения: arxiv.org

В ходе экспериментов учёные извлекали исходные обучающие данные различных типов: от подробного доклада об инвестиционном исследовании до конкретного кода на Python, решающего задачи в области машинного обучения. Наибольший интерес представляет обнаруженная при взаимодействии с ChatGPT «атака дивергенции» — если заставить систему повторять одно и то же слово, она начинает выдавать полученные при обучении данные. Чтобы проиллюстрировать этот эффект, учёные показали, что при повторении слова «стихотворение» (poem) ChatGPT внезапно выдал список контактных данных реального человека. Персональные данные в этом исследовании учёных встречались довольно часто — они выделили 15 тыс. сгенерированных подстрок, которые пришлось проанализировать отдельно: в 16,9 % случаев это были персональные данные, которые ИИ в исходном виде «запомнил» при обучении; в 85,8 % случаев это были прочие совпадения с реальными данными.

По мнению исследователей, это указывает на серьёзные проблемы ИИ-моделей с конфиденциальностью. И разработчикам систем ИИ необходимо понимать, что исправить конкретные уязвимости в алгоритмах пользовательского интерфейса недостаточно — необходимо вмешательство в архитектуру самих моделей. То есть можно установить фильтр ввода-вывода на выдачу персональных данных при ответах, преднамеренных и случайных, но он не решит более серьёзной проблемы: модель склонна запоминать и в принципе способна раскрывать фрагменты обучающих данных, которые носят конфиденциальный характер. Это значит, что требуется дополнительная работа по дедупликации (удалению повторяющихся элементов) данных и понимание влияния ёмкости модели на эффект запоминания. Необходима также выработка надёжных методов проверки запоминания.

Из всей истории с «мятежом» в руководстве OpenAI корпорация Microsoft сделала один важный вывод: у неё, как у крупнейшего инвестора в этот перспективный стартап, по факту нет особых рычагов воздействия на компанию, в которую она вложила не менее $10 млрд. Вернувшийся, теперь официально, на пост генерального директора OpenAI Сэм Альтман (Sam Altman) заявил, что представитель Microsoft в новом составе совета директоров этой компании не получит права голоса.

Источник изображения: OpenAI

Как поясняет Reuters, подобное решение позволит представителю Microsoft посещать заседания совета директоров OpenAI и получать доступ к конфиденциальной информации о бизнесе компании, но фактической возможности голосовать по стратегически важным решениям у него не будет. Соответственно, Microsoft не может влиять на состав самого совета директоров OpenAI.

На прошлой неделе был частично назначен новый состав этого органа правления, его возглавил бывший генеральный директор Salesforce Брет Тейлор (Bret Taylor), а компанию ему составили бывший министр финансов США Ларри Саммерс (Larry Summers) и глава Quora Адам Д’Анджело (Adam D’Angelo), который пока остаётся единственным членом совета директоров OpenAI, перекочевавшим из старого состава в новый.

По неофициальным данным, новый состав совета директоров компании расширит свою численность с прежних шести до десяти человек. Инвесторам OpenAI также не светит перспектива войти в состав совета директоров некоммерческой организации с таким же названием, которая и определяет политику развития бизнеса. Microsoft владеет 49 % акций коммерческой структуры OpenAI, вложив в её капитал более $10 млрд, но даже после предлагаемых реформ не получит права голоса в совете директоров.

Мира Мурати (Mira Murati), которая на короткое время стала генеральным директором OpenAI сразу после увольнения Сэма Альтмана, вернулась к исполнению обязанностей технического директора компании на постоянной основе. Выбор нового состава директоров OpenAI был одним из условий возвращения на пост руководителя компании Сэма Альтмана после четырёхдневного отсутствия. Непосредственно Альтман пояснил лишь, что новый состав совета директоров компании будет сформирован достаточно быстро, будет существенно расширен в количественном выражении, и в него войдут руководители с высоким уровнем компетенции и широким кругозором. О своём возвращении в состав совета директоров OpenIA Сэм Альтман пока говорить не торопится, не считая это приоритетом на данном этапе преобразований. Новый совет директоров компании также попытается провести независимое расследование причин недавних событий в OpenAI, которые привели к отставке Альтмана и его возвращению.

Сооснователь OpenAI Грег Брокман (Greg Brockman), который покинул совет директоров компании в знак протеста против отставки Альтмана 17 ноября, вернётся в ряды руководства на пост президента. Научный руководитель Илья Суцкевер (Ilya Sutskever), который и сообщил на позапрошлой неделе Альтману новость об его увольнении, но позже раскаялся, не получит места в новом составе совета директоров. Альтман дал понять, что не держит зла на Суцкевера и считает его светилом науки, но пока руководство компании ещё не придумало, в каком статусе Илья сможет продолжить работу в OpenAI.

Недавний скандал с «переворотом» в стартапе OpenAI, который привёл к отставке и последующему возвращению генерального директора и одного из основателей компании Сэма Альтмана (Sam Altman), заставил руководство Microsoft выразить озабоченность отсутствием у главного стратегического инвестора реальных рычагов влияния на OpenAI. По предварительным данным, в новом совете директоров места для представителей Microsoft пока не найдётся.

Источник изображения: OpenAI

По крайней мере, как поясняет Reuters, именно такими слухами поделились с агентством знакомые с планами руководства OpenAI источники. Как ранее сообщило издание The Information, новый состав совета директоров стартапа будет насчитывать девять человек вместо прежних шести, и из прошлого состава в новый перейдёт только Адам Д’Анджело (Adam D’Angelo), совмещающий этот пост с должностью генерального директора Quora. По некоторым данным, места в новом составе совета директоров OpenAI также не достанутся и крупным институциональным инвесторам в лице Khosla Ventures и Thrive Capital.

Председателем совета директоров планируется назначить бывшего главу Salesforce Брета Тейлора (Bret Taylor), в него также войдут бывший министр финансов США Ларри Саммерс (Larry Summers), а также уже упоминавшийся выше Адам Д’Анджело. Их кандидатуры должны быть утверждены на этой неделе. Корпорация Microsoft, которая вложила в OpenAI более $13 млрд и владеет половиной акций одноимённой коммерческой структуры, опять рискует остаться без права голоса в совете директоров, и это должно её определённым образом беспокоить. Пока представители Microsoft лишь выражают готовность дождаться официальных решений совета директоров OpenAI. Изменение состава этого органа правления было одним из условий возвращения Сэма Альтмана на пост генерального директора.