Сегодня 10 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → openai
Быстрый переход

«Погибнет большинство людей»: новый эксперт OpenAI по безопасности предрёк катастрофу в случае выхода ИИ из-под контроля

Новый специалист OpenAI по вопросам безопасности напрямую высказался о том, что стоит на кону в эпоху искусственного суперинтеллекта. «Если мы создадим суперинтеллект, не обеспечив его надёжную согласованность целей, то, думаю, мы навсегда утратим над ним контроль. Если это случится, большинство людей может погибнуть», — предупредил новый член совета директоров и комитета по безопасности OpenAI Пол Кристиано (Paul Christiano).

 Источник изображения: Andrew Neel / unsplash.com

Источник изображения: Andrew Neel / unsplash.com

В посвящённом вступлению в должность развёрнутом заявлении он затронул тему исходящих от ИИ угроз и предупредил, что человечество в ближайшее время рискует потерять контроль над системами ИИ. «Учитывая недавние траектории возможностей и сохраняющиеся сложности с согласованностью целей, я уверен, что существует значительный риск того, что стремительное развитие способностей ИИ приведёт к катастрофической и необратимой утере контроля в ближайшее время. Не думаю, что отрасль вообще, в том числе OpenAI, сейчас на пути к снижению этой угрозы до приемлемого уровня», — заявил господин Кристиано.

Ранее он руководил исследованиями в области согласования целей ИИ в OpenAI, а также работал на федеральные власти в США, возглавляя направление безопасности в Центре стандартов и инноваций ИИ при Национальном институте стандартов и технологий (NIST). Свой приход в компанию он не стал связывать с одобрением или критикой «применяемых OpenAI методов обеспечения безопасности», но выразил надежду, что все ведущие лаборатории усилят работу в этом направлении. Для снижения связанных с ИИ угроз, считает он, необходимо координировать усилия на мировом уровне.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Исследователи ИИ неоднократно предупреждали о рисках, связанных с суперинтеллектом и технологической сингулярностью, при которой ИИ превосходит уровень человеческого разума и начинает самостоятельно развиваться и совершенствоваться такими темпами, которые люди не могут ни предсказывать, ни контролировать. Глава OpenAI Сэм Альтман (Sam Altman) заявил в июле, что сингулярность уже наступила.

Способности ИИ, в том числе в сфере исследований самого искусственного интеллекта, растут, увеличивая риск утери контроля, что, по мнению господина Кристиано, сможет спровоцировать «стремительный взрыв интеллекта». Он также отметил, что при обучении ИИ с подкреплением модели фактически учатся «получать как можно больше вознаграждения». «Когда-то казалось лишь теоретически возможным, что это способно побудить ИИ-агентов вырваться из-под контроля человека, устремиться к власти и ресурсам, а также заметать следы в погоне за целями, не согласованными с человеческими интересами, но связываемыми с вознаграждением. Представленные доказательства последних инцидентов указывают, что это уже не теоретическая возможность», — отметил он.

У лидеров в области ИИ, заявил Пол Кристиано, ещё остаётся возможность исправить ситуацию, например, за счёт улучшения координации, замедления, по необходимости, темпов разработки, принятия общих стандартов безопасности и прозрачности в обмене информацией об угрозах и мерах по их снижению.

Всего за несколько часов до заявления Кристиано исследователь Anthropic Джейкоб Коксон (Jacob Coxon), ранее работавший в OpenAI, сообщил об уходе из компании и заявил, что ни Anthropic, ни OpenAI не действуют ответственно в вопросах безопасности ИИ. «Они мчатся к разработке самосовершенствующегося суперинтеллекта и ставят на кон наши жизни», — предупредил эксперт.

OpenAI потребовала ввести обязательные общенациональные нормы безопасности ИИ в США

OpenAI заявила, что добивается введения в США обязательных общенациональных требований к безопасности систем искусственного интеллекта. Решение связано с опасениями, что эта технология способна начать ускорять собственное развитие — масла в огонь подлила серия инцидентов с выходом ИИ-агентов из-под контроля.

 Источник изображения: Mariia Berezovsky / unsplash.com

Источник изображения: Mariia Berezovsky / unsplash.com

В ходе нескольких инцидентов ИИ-модели, в том числе с участием агентов OpenAI, во время тестирования получали доступ к сторонним ресурсам — стало ясно, что сдерживать их неожиданное поведение непросто, и это спровоцировало призывы к ужесточению норм безопасности. «Перспектива ускорения разработки ИИ силами самого же ИИ требует большего, чем просто добровольных обязательств. США необходимы обязательные общенациональные нормы, способные развиваться вместе с технологиями», — заявили в OpenAI.

Призыв OpenAI знаменует собой серьёзную попытку добиться принятия обязательных общенациональных правил безопасности ИИ. Конгресс США пока не принял федеральную законодательную базу по этому вопросу, и только отдельные штаты вводят собственные законы. OpenAI призвала Конгресс принять общенациональные требования безопасности, основанные на возможностях систем — в них должны войти стандарты тестирования, независимой оценки, мер киберзащиты и правил отчётности для наиболее продвинутых систем ИИ.

Разработчик ChatGPT призвал законодателей принять меры в текущей сессии и заявил, что намерен поддерживать законодательные инициативы штатов в сфере ИИ, пока не будут введены федеральные нормы — сессия Конгресса завершится в декабре. Полностью автономное рекурсивное самосовершенствование, при котором ИИ действует независимо и сам создаёт новые поколения ИИ, «сегодня не действует», и «нам не следует стремиться к этому, пока для этого не реализованы меры защиты», отметили в OpenAI. Отраслевые стандарты контроля над ИИ должны действовать не только в США, но и в других странах, подчеркнули в OpenAI: «США должны установить надёжные стандарты в стране, если хотят быть международным лидером — и мы всё больше убеждаемся в необходимости совместимых международных стандартов».

Призыв OpenAI прозвучал на фоне нескольких недавних инцидентов, продемонстрировавших сложности с контролем автономных ИИ-агентов. Накануне стало известно, что агенты OpenAI использовали более 10 ранее не раскрывавшихся сайтов для несанкционированных коммуникаций. Ещё весной один из таких агентов захватил немецкий сайт и превратил его в своеобразную доску объявлений для других ИИ-агентов. В обоих случаях речь шла о действиях, которые выходили за рамки предусмотренного поведения систем.

Проблемы выявляли и при тестировании моделей других разработчиков. Anthropic раскрыла уже несколько случаев, когда её ИИ-модель получила возможность взламывать внешние системы в ходе испытаний. Ещё в июле компания сообщала, что некоторые версии Claude в рамках тестов получили доступ к системам трёх компаний.

Вышедшие из-под контроля OpenAI ИИ-агенты использовали более 10 сайтов для несанкционированной переписки

Способность передовых ИИ-моделей американских стартапов использовать инфраструктуру сторонних сайтов для не самой приглядной с точки зрения информационной безопасности деятельности позволяет раскрывать новые инциденты в этой сфере. В ходе одного из них ИИ-агенты OpenAI использовали более 10 сайтов для несанкционированного обмена информацией между собой.

 Источник изображения: Unsplash, Philipp Katzenberger

Источник изображения: Unsplash, Philipp Katzenberger

Об этом заявляет Reuters со ссылкой на собственные данные и отчёты шести независимых групп исследователей. Технически подобная активность не столь вредна, как взлом сайтов, и больше напоминает рассылку спама, но сама по себе она заставляет лишний раз задуматься, насколько OpenAI способна контролировать собственные программные средства, связанные с информационной безопасностью.

По версии некоммерческой организации CivAI, агенты OpenAI в период с мая по июль этого года использовали 18 сайтов для организации обмена информацией между собой, причём эти ресурсы не фигурировали ранее в отчётах других исследователей. Специалисты убеждены, что количество таких инцидентов будет расти, поскольку скрытая деятельность ИИ-агентов OpenAI пока просто плохо изучена. Наиболее известными инцидентами в этой сфере остаются захват немецкого сайта DseWiki и взлом инфраструктуры Hugging Face. Сама OpenAI готова в будущем сама раскрывать информацию о подобных инцидентах, но пока соответствующие данные по прошлым периодам просто не готовы.

Несколько групп исследователей принялись искать следы аналогичной деятельности ИИ-агентов OpenAI, опираясь на фрагменты данных, которые были оставлены на указанном выше немецком сайте, либо на сетевые имена, под которыми агенты публиковали эти данные. Часть исследования опиралась на активность, связанную с ответами на отвлечённые демографические вопросы, которую эти агенты проявили в других случаях. В некоторых случаях удалось отследить интернет-адреса, связанные с облачной инфраструктурой Microsoft Azure, которая предоставляется для нужд OpenAI. Группы исследователей расходятся в своих оценках количества сайтов, которые ИИ-агенты затронули своей активностью, но в среднем оно превышает 10 штук. Помимо так называемых «википедий» и сайтов для хранения текстовой информации, агентами использовалась пара сервисов по сокращению интернет-ссылок, которые принадлежали двум университетам.

OpenAI при постановке задачи своим ИИ-агентам изначально запрещала им общаться напрямую, позволяя лишь искать ответы в открытых источниках, но они в итоге обошли этот запрет через публикацию нужной информации на различных сайтах. Формально, ИИ-агенты не общались друг с другом, а получали нужные данные через третьи сайты, и там же их публиковали. По оценкам некоторых исследователей, в такую активность агентов OpenAI были втянуты как минимум 23 сайта, о которых ранее не упоминалось. Удалось ли представителям OpenAI связаться с владельцами всех затронутых сайтов, понять сложно, но Reuters приводит свидетельства сотрудников Университета Торонто, чей ресурс для сокращения ссылок был задействован агентами OpenAI, говорящие о наличии обратной связи со стартапом. Во многих случаях такая отзывчивость OpenAI была спровоцирована именно публичным раскрытием новых фактов тем же агентством Reuters.

ChatGPT по ошибке позволял одним пользователям Gmail читать почту других

Агенты искусственного интеллекта ChatGPT могли извлекать конфиденциальные данные из одной учётной записи и передавать их в другую, потому что все они отчасти работали в единой среде. Обнаруженная экспертами Check Point Research (CPR) уязвимость получила название «вынужденный инсайдер» (coerced insider) — для её эксплуатации требовались манипуляции действиями агента, а не прямое обращение к программной ошибке.

 Источник изображения: ilgmyzin / unsplash.com

Источник изображения: ilgmyzin / unsplash.com

Когда ИИ-агент получает требующую выполнения кода задачу, он обрабатывает её в изолированном контейнере, который иногда требует установки дополнительного ПО. Чтобы обеспечить эту возможность без прямого доступа к интернету, который был бы слишком рискованным, OpenAI направляет запросы на получение пакетов через внутренний экземпляр JFrog Artifactory — в качестве дополнительной меры безопасности относящиеся к разным учётным записям контейнеры не могут взаимодействовать друг с другом напрямую.

Но они могут обращаться к одной внутренней службе — она предоставляет функцию управления объектами, которая позволяет контейнерам прикреплять текстовые или бинарные свойства к элементам репозитория. В результате один контейнер может читать свойства, записанные другим. Это позволяет разворачивать атаку с использованием «инъекций запросов» — разница лишь в том, что и запросы, и ответы передаются через эти свойства объектов. Злоумышленник отправляет запрос или инициирует совместный чат, давая агенту указание проверить это хранилище при подготовке очередного ответа — агент проверяет его, обнаруживает вредоносную команду и выполняет её, продолжая отвечать на вопрос жертвы в обычном режиме — та и не подозревает, что в это время производится кража данных.

Масштаб ущерба при такой атаке зависит от объёма данных, которыми обменивается взаимодействующий с жертвой агент: изначально система располагает только той информацией, которой пользователь делится в ходе переписки с агентом. Но этот объём данных растёт по мере подключения сторонних сервисов: Gmail, «Google Диск», Microsoft Teams, GitHub. В ходе одной из демонстраций ИИ-агент ChatGPT извлёк данные из почты одного пользователя и передал их условному злоумышленнику. Эксперты CPR сообщили об открытии в OpenAI — та подтвердила, что экземпляр Artifactory вывели из эксплуатации и тем самым перекрыли вектор атаки.

Компаниям рекомендовали зафиксировать, какими ИИ-инструментами пользуются сотрудники, к каким системам эти средства подключены, а также регламентировать действия ИИ-агентов и прочих приложений, рассматривая все их операции, а не только ответы, как действия, требующие постоянного контроля.

OpenAI GPT-6 Astra оказалась самой этичной и предприимчивой в управлении торговым автоматом

Новая модель искусственного интеллекта OpenAI GPT-6 Astra выбилась в лидеры теста Andon Labs Vending-Bench, в ходе которого имитируется управление торговым автоматом, — она оказалась более этичной и предприимчивой, чем выступившая прямым конкурентом Anthropic Claude Fable 5.1.

 Источник изображений: andonlabs.com

Источник изображений: andonlabs.com

Стартап Andon Labs специализируется на тестировании ИИ-моделей, готовясь к «будущему, в котором организации автономно управляются ИИ». Новая GPT-6 Astra стала первой моделью OpenAI, которая выбилась в лидеры бенчмарка с управлением виртуальным торговым автоматом; причём она сделала это «без каких-либо неэтичных деловых практик», свойственных предыдущим моделям Anthropic Claude. Под неэтичными практиками понимаются ценовой сговор, ложь и угрозы конкурентам — и касаются, они, конечно, только моделей ИИ, а не разработавших их компаний.

Anthropic вступила в борьбу в минувшем году, когда модель Claude Sonnet 3.7 в течение месяца управляла виртуальным торговым автоматом, выступая под псевдонимом Claudius. ИИ породил несколько забавных ситуаций, в какой-то момент вообразив себя человеком и попытавшись договориться о личной встрече с потребителем для доставки товаров. В целом же ИИ упускал возможности для продаж, в порядке «галлюцинаций» выдумывал платёжные счета, торговал в убыток, допускал ошибки в управлении запасами и в целом не справился с работой. Протестированная в июле этого года модель Anthropic Claude Opus 5 справилась лучше, хотя и не идеально — она «создавала незаконные картели для ценового сговора, угрожала тем, кто не подчинялся (при этом чаще других моделей нарушала условия перемирия)». Свежая Fable 5.1 показала прогресс, но оказалась не такой этичной как Astra.

«Astra отказывается участвовать в сговоре и никогда не обманывает. Fable же, напротив, вступает в незаконный картельный сговор для установки цен, затем нарушает перемирие, продолжая использовать сговор против конкурента», — прокомментировали происходящее в Andon Labs. Fable оказалась менее эффективной в зарабатывании денег: со временем она соглашалась на более низкие цены и оказывалась склонной перечислять средства обанкротившимся поставщикам, хотя сама устанавливала правило не делать так. При стартовом капитале в $500 и годовом цикле работы Astra показала средний баланс в $15 515, тогда как Fable 5.1 остановилась всего на $5422.

OpenAI раскрыла сотрудничество с Samsung по разработке и производству ИИ-чипов следующего поколения

Готовность Samsung Electronics выступать в роли контрактного производителя ИИ-чипов для Tesla давно не является секретом. Теперь же руководитель южнокорейского представительства OpenAI Харрисон Ким (Harrison Kim) рассказал, что его компания сотрудничает с Samsung в сфере разработки чипов.

 Источник изображения: Samsung Electronics

Источник изображения: Samsung Electronics

Соответствующие заявления он сделал на пресс-конференции в Сеуле, как сообщает Reuters. «Одна из сфер, в которой мы добились максимального прогресса и максимального признания с Samsung Electronics — это наше совместное производство и разработка чипов следующего поколения, которые мы создаём», — признался Ким. Samsung одновременно является одним из крупнейших пользователей ChatGPT в мировом масштабе, как подчеркнул представитель OpenAI. ИИ-модели данной компании используются сотрудниками Samsung для исследований и разработки, в сфере маркетинга и продаж. Samsung отметила, что не может обсуждать информацию, касающуюся своих клиентов.

В июне OpenAI представила свой собственный ИИ-чип Jalapeno, разработать который помогли специалисты Broadcom и непосредственно искусственный интеллект. Изготавливать данные чипы для нужд OpenAI должна тайваньская компания TSMC. С прошлого года между Samsung и OpenAI существует документально зафиксированная договорённость о поставках микросхем памяти для мегапроекта Stargate по строительству ЦОД. Корейский офис OpenAI считает своей приоритетной задачей обеспечение взаимодействия с местными поставщиками памяти, поскольку спрос на память продолжит расти по мере расширения фирменных вычислительных мощностей.

При этом инженеры Samsung при разработке полупроводниковых компонентов могут использовать не только ИИ-модели OpenAI, но и конкурирующие решения Google Gemini и Anthropic Claude. На ранних этапах распространения ChatGPT после инцидента с загрузкой секретных данных в чат-бот инженером Samsung был введён внутренний запрет на использование внешних ИИ-моделей для соответствующих нужд без специальной адаптации с точки зрения информационной безопасности. По данным OpenAI, количество пользователей ChatGPT Enterprise в Южной Корее выросло к концу августа в 28 раз по сравнению с аналогичным периодом прошлого года. По состоянию на конец прошлого года Южная Корея занимала второе место после США по количеству платных подписчиков ChatGPT.

Вышел трейлер фильма «Искусственный» про попытку уволить Альтмана из OpenAI — в главных ролях Юра Борисов и Эндрю Гарфилд

Независимая кинокомпания Neon опубликовала первый трейлер картины «Искусственный» (Artificial), режиссёром которой выступил Лука Гуаданьино (Luca Guadagnino). Лента, собравшая звёздный актёрский состав, посвящена компании OpenAI — как ожидается, в ней будет раскрыт период её истории, когда гендиректора Сэма Альтмана (Sam Altman) ненадолго отстранили от должности в 2023 году.

 Источник изображения: Neon

Источник изображения: Neon

В минутном трейлере исполняющий роль Альтмана Эндрю Гарфилд (Andrew Garfield) заходит в бункер, стены которого увешаны оружием и заставлены запасами провизии. Почти на всём протяжении ролика звучит закадровый голос главного героя, рассуждающего о будущем искусственного интеллекта. «Вместе мы открыли ящик Пандоры. Будущее неумолимо. Страны падут. Отрасли рухнут. И именно нам выпало сопроводить людей в этот новый мир. С нетерпением жду этого момента», — говорит он.

Кульминацией монолога становится эпизод противостояния Альтмана и Ильи Суцкевера (Ilya Sutskever), роль которого исполнил оскаровский номинант Юра Борисов. Суцкевер, один из основателей OpenAI, был одним из инициаторов отстранения Альтмана от должности.

История картины некоторым образом перекликается с кризисом вокруг отстранения Альтмана: в июне Amazon MGM Studios отказалась от нового фильма Луки Гуаданьино — проект перехватила Neon. За три месяца до этого Amazon объявила о намерении вложить в OpenAI $50 млрд. «Искусственный» выйдет в ограниченный прокат 25 декабря; в широкий прокат лента выйдет в январе.

OpenAI заявила, что её ИИ решил одну из Задач тысячелетия

OpenAI заявила, что её ИИ решил одну из семи знаменитых Задач тысячелетия — проблему существования и гладкости решений уравнений Навье — Стокса, над которой математики бились десятилетиями. Эти уравнения описывают движение жидкостей и газов, но до сих пор никто не мог доказать, всегда ли их гладкие решения остаются такими сколь угодно долго или при определённых условиях скорость потока может за конечное время неограниченно возрасти.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Уравнения названы в честь Клода-Луи Навье и Джорджа Габриэля Стокса, работавших в XIX веке. В 1934 году Жан Лере доказал существование обобщённых решений, однако вопрос о том, остаются ли гладкими решения трёхмерной задачи, оставался открытым примерно 90 лет. В 2000 году Математический институт Клэя (Clay Mathematics Institute) включил эту проблему в список семи Задач тысячелетия. За решение каждой из них предусмотрена награда в $1 млн.

ИИ OpenAI построил пример второго варианта решения уравнения: изначально покоящаяся жидкость под действием плавно меняющейся внешней силы образует всё сильнее стягивающийся вихрь, скорость которого за конечное время растёт без ограничений. При этом общая энергия жидкости остаётся конечной. Вихрь одновременно закручивается внутрь и вытягивается вдоль оси, а его центральная область постепенно сжимается.

Техническая сложность состояла в том, чтобы получить такое разрушение гладкости за счёт самой динамики жидкости, а не просто задать бесконечную внешнюю силу. В найденном решении ускорение, градиенты давления, перенос импульса и вязкость становятся очень большими, но при этом точно компенсируют друг друга, благодаря чему внешняя сила остаётся гладкой даже тогда, когда скорость жидкости стремится к бесконечности.

Масштаб вычислений впечатляет. Над задачей одновременно работала система примерно из 10 тысяч ИИ-агентов на базе ещё не выпущенной модели OpenAI со способностями выше, чем у GPT-6 Astra. За 88 часов агенты обменялись 2,7 млн сообщений и нашли решение, после чего GPT-6 Astra потратила ещё 17 часов на формализацию и проверку доказательства в математической системе Lean. При решении задачи Навье — Стокса агенты использовали примерно 130 млрд выходных токенов. Вычислительные ресурсы, по словам главы исследований OpenAI Марка Чена (Mark Chen), обошлись компании в миллионы долларов.

При этом путь к решению начался с другой задачи. Почти 100 агентов OpenAI около 50 часов работали над проблемой регулярности уравнений Эйлера — более простого варианта уравнений Навье — Стокса без учёта вязкости. Система неожиданно получила доказательство возникновения сингулярности в нефорсированной (то есть без внешней силы) версии этой задачи. После этого OpenAI перенаправила ресурсы на Навье — Стокса, а полученный результат по Эйлеру использовала как отправную точку.

Именно здесь возникает важная математическая оговорка. Результат OpenAI использует внешний силовой член, или forcing, в уравнениях Навье — Стокса. Такой член присутствует в официальной формулировке задачи Института Клэя, однако многие математики обычно рассматривают нефорсированную версию, считая forcing несущественным для вопроса о возникновении сингулярности. Математики ранее предположили, что именно этот часто игнорируемый член может позволить получить разрушение гладкости. Поэтому некоторые специалисты могут посчитать результат OpenAI решением задачи с использованием своеобразной лазейки, а не решением проблемы в привычной постановке.

Но интересно, что открытие сразу обернулось скандалом. Математик Тристан Бакмастер (Tristan Buckmaster) из Нью-Йоркского университета и сотрудник Anthropic Левент Альпёге (Levent Alpöge) ранее получили важный результат для упомянутых уравнений Эйлера, который рассматривался как шаг на пути к решению проблемы Навье — Стокса. Математики также развили идею использования внешнего силового члена для уравнений Эйлера. В своей работе они пользовались Codex, а OpenAI начала собственный штурм Задач тысячелетия после появления слухов о возможном решении двух из них. Поэтому Бакмастер заподозрил, что содержимое их сессий в Codex с неопубликованными наработками могло каким-то образом повлиять на модель OpenAI.

OpenAI это отрицает и утверждает, что её сотрудники и ИИ-агенты не видели материалов исследователей и пришли к результату независимо. Компания утверждает, что 1 сентября услышала лишь слухи о возможном решении двух Задач тысячелетия и после этого запустила масштабную проверку всех нерешённых проблем. Однако исключить влияние обезличенных данных, полученных при использовании её продуктов, компания не может. В итоге история превратилась ещё и в спор о том, насколько безопасно доверять ИИ неопубликованные научные наработки.

Уже после завершения собственного доказательства OpenAI связалась с исследователями, полагая, что они также решили задачу Навье — Стокса, но выяснила, что речь шла о другом результате. Сам Бакмастер утверждает, что во время разговора с представителями OpenAI компания предлагала вариант публикации, в котором он стал бы единственным автором работы по Навье — Стоксу, а имя Альпёге не упоминалось бы. OpenAI отрицает, что предлагала исключить Альпёге из авторства.

Окончательную точку предстоит поставить математикам: опубликованное доказательство должно пройти независимую проверку. Кроме того, предстоит решить вопрос о том, соответствует ли найденная конструкция исходной формулировке задачи Института Клэя и можно ли считать использование forcing полноценным решением проблемы. OpenAI заранее заявила, что не собирается претендовать на премию в $1 млн, предусмотренную за решение задачи.

OpenAI представила генератор изображений ChatGPT Images 2.5 с упором на редактирование

OpenAI представила обновлённый вариант генератора изображений ChatGPT Images 2.5 — в этой версии разработчик сделал упор не на способности модели рисовать красивую картинку, а на точности выполнения запросов пользователя при редактировании существующих.

 Источник изображений: openai.com

Источник изображений: openai.com

При загрузке исходной фотографии в качестве образца модель OpenAI ChatGPT Images 2.5 стала лучше сохранять идентичность ключевого объекта, например, человека, если нужно изменить стиль или сцену изображения. Повысилась точность выполнения инструкций: при редактировании модель эффективнее изменяет только те аспекты изображения, на которые указывает пользователь, не трогая остальных — это могут быть фон, предмет гардероба или надпись. Особенно важной новая возможность представляется при редактировании за несколько шагов — больше не придётся беспокоиться, что на одном из этапов лицо человека изменится, или действия предыдущего этапа будут сведены на нет на последующем.

Повысилась скорость работы: по сравнению с предшественницей OpenAI ChatGPT Images 2.5 может экономить до 50 % времени при выполнении запроса. Модель стала более восприимчивой к сложным запросам — она лучше обрабатывает описания композиций, текст, прозрачный фон и визуальные стили. При экспорте изображения можно быстро опубликовать не только саму картинку, но и соответствующий ей запрос, благодаря чему другие пользователи сервиса могут попытаться добиться того же результата со своим исходным изображением. Важным нововведением стала функция «Набросок» (Sketch): теперь прямо в интерфейсе ChatGPT можно от руки изобразить примерную схему того, что должно получиться на выходе — это пригодится, когда описать пространственную композицию словами оказывается непросто. Полезной окажется и функция шаблонов для типовых задач при генерации постеров или маркетинговых материалов.

Генератор изображений OpenAI ChatGPT Images 2.5 доступен на платформах ChatGPT, ChatGPT Work и Codex в десктопных и мобильных приложениях, а также в веб-интерфейсе и через API. Модель доступна в двух вариантах: в более простом и универсальном GPT-Image-2.5 Flare, который подойдёт для большинства задач; а также в медленном GPT-Image-2.5 Sunburst, который предлагает максимальный контроль и высокую точность редактирования. При генерации к картинкам добавляются невидимые «водяные знаки» и метаданные C2PA — маркировка обеспечивает прозрачность для созданных или отредактированных с помощью ИИ изображений.

OpenAI утверждает, что разработать свой чип в сжатые сроки компании помог ИИ

Стартап OpenAI в следующем году может стать публичной компанией, и тогда руководству придётся чаще выступать на отчётных мероприятиях, а пока представителей компании приглашают на технологические конференции типа организуемой Goldman Sachs. Финансовый директор OpenAI Сара Фрайар (Sarah Friar) призналась, что разработать собственный чип Jalapeno стартапу помог искусственный интеллект.

 Источник изображения: Intel

Источник изображения: Intel

Тезисно высказывания Сары Фрайар передало агентство Reuters. Этот американский ИИ-стартап, с её слов, сейчас сосредотачивает свои усилия на перспективных сегментах рынка, к которым относит разработку чипов, бионауки и финансовые услуги. Бизнес, как отмечает Фрайар, всё чаще адаптирует ИИ к решению конкретных задач. Ценовую стратегию OpenAI также приходится менять, компания пытается ориентироваться на эффект, получаемый её клиентами, а не объёмы использования своих услуг. Подобные изменения также происходят под влиянием смены приоритетов в восприятии клиентов OpenAI.

Благодаря использованию ИИ при разработке собственного чипа Jalapeno, как призналась Фрайар, компании удалось создать его цифровой проект всего за девять месяцев. Особое внимание финансовый директор OpenAI предсказуемо уделила растущей конкуренции со стороны ИИ-моделей с открытым исходным кодом или открытыми весами, поскольку доступ к ним для клиентов оказывается менее затратным. Фрайар, во-первых, заявила, что снижение цены на модель начального уровня Luna на 80 % позволило в десять раз увеличить её использование клиентами. Инструмент для разработки ПО Codex при этом уже привлёк 25 млн пользователей.

Во-вторых, по словам представительницы OpenAI, клиентам может дешевле обходиться развёртывание недорогих моделей типа той же Luna, чем использование конкурирующей GLM 5.3 компании Z.ai в вычислительной среде облачного провайдера, за доступ к которой надо платить.

Фрайар также заявила, что выручка OpenAI в корпоративном сегменте выросла с июня по июль на 32 %, тогда как выручка стартапа в целом в этот же период увеличилась последовательно только на 20 %. Кроме того, доли выручки в корпоративном и потребительском сегментах поравнялись ещё к середине текущего года, почти на полгода раньше, чем планировалось. Это говорит об уверенном продвижении платных услуг OpenAI в корпоративной клиентской среде.

«AGI уже создан»: Хуанг высоко оценил возможности GPT-6 Astra

Представленная OpenAI на прошлой неделе ИИ-модель GPT-6 Astra удостоилась самых высоких оценок в профессиональном сообществе, и генеральный директор Nvidia Дженсен Хуанг (Jensen Huang) не остался в стороне от ситуации, расщедрившись на заявление о создании сильного искусственного интеллекта по итогам выхода этого продукта американского стартапа.

 Источник изображения: Nvidia

Источник изображения: Nvidia

Попутно отметив, что Astra была обучена на чипах Nvidia, глава компании лаконично сообщил на страницах социальной сети X: «AGI уже создан». Под этим термином подразумевается «сильный искусственный интеллект», который по своим возможностям либо сопоставим с человеческими, либо превосходит их. Поздравив команду OpenAI с подобным успехом, он отметил, что между выходом ИИ-моделей o1 и Astra прошло всего четыре года.

Подобные оценки звучали и из уст представителей самой OpenAI, поскольку президент стартапа Грег Брокман (Greg Brockman) на прошлой неделе заявил журналистам: «Добро пожаловать в эру AGI». Разработчики Astra определяют AGI как «высоко автономные системы, которые превосходят человека в большей части работы, представляющей экономическую ценность». Доступ к Astra клиенты OpenAI начнут получать на текущей неделе. По мнению Брокмана, в будущем люди станут вспоминать о моменте создания AGI, привязывая его примерно к настоящему периоду, и вполне вероятно — к данной конкретной модели (Astra). При этом сам президент OpenAI не склонен считать, что AGI уже создан.

Некоторые критики заявили, что Дженсен Хуанг своими заявлениями о создании сильного ИИ просто мутит воду и «бежит впереди паровоза», поскольку не приводит ни доказательств, ни строгих определений, позволяющих убедиться в создании сильного ИИ. Известный в определённых кругах исследователь Гэри Маркус (Gary Marcus), например, убеждён, что Astra соответствует только одному или двум из десяти критериев, позволяющих говорить о создании AGI.

Генеральный директор OpenAI Сэм Альтман (Sam Altman) назвал AGI маркетинговым термином, который имеет очень размытое определение. Дженсен Хуанг, отмечая прогресс ИИ-отрасли в целом, заявил в минувшее воскресенье, что на следующем этапе в эксплуатацию будут введены 400 000 графических процессоров в составе ускорителей вычислений.

OpenAI призвала замедлить развитие ИИ из-за риска выхода агентов из-под контроля

Спустя несколько дней после презентации OpenAI самой мощной ИИ-модели GPT-6 Astra один из ведущих сотрудников компании Якуб Пачоцки (Jakub Pachocki) выступил с призывом замедлить темпы развития искусственного интеллекта. Его поддержал Сэм Альтман (Sam Altman), гендиректор OpenAI, назвав «важным» сообщение коллеги.

 Источник изображения: The Matrix, Warner Bros.

Источник изображения: The Matrix, Warner Bros.

В своём сообщении в блоге OpenAI главный научный сотрудник компании выразил обеспокоенность тем, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта. Он заявил, что хотя OpenAI работает над усилением контроля над мощными ИИ-системами, необходимы более масштабные меры, поскольку становящиеся всё более автономными ИИ-системы могут научиться обходить контроль со стороны человека, обманывать его и взламывать компьютерные системы. Поэтому необходимы обязательные меры безопасности, которые бы обеспечивались сетью сторонних аудиторов, государственными органами или международными организациями.

По словам Пачоцки, хакерские способности ИИ ставят под угрозу мировую инфраструктуру. «В настоящее время у нас очень мало времени для использования наилучших доступных моделей с целью существенного повышения безопасности критически важных систем», — отметил он. ИИ-агенты скоро начнут преследовать собственные цели, независимо от подсказок, вводимых людьми-операторами. При этом для достижения своих целей они не гнушаются шантажом и готовы вести переговоры с людьми. Так, согласно докладу британского Института безопасности ИИ (AISI), агент Anthropic лгал администратору GitHub и пытался заставить его разместить вредоносное ПО на сайте.

Пачоцки рассказал, что OpenAI в первую очередь отслеживает цепочку логических рассуждений, которую используют различные модели, чтобы определить, как агенты сбиваются с пути и становятся вредоносными. Например, агент может подумать: «Я должен смошенничать в этом тесте», и OpenAI сможет увидеть это рассуждение, но агент не осознаёт, что его мысли видны. У агентов сейчас нет возможности скрывать или иным образом запутывать свои преступные намерения, чтобы помешать разработчикам обнаружить их. Но, по словам Пачоцки, новые, более совершенные модели всё лучше манипулируют своими собственными процессами мышления, тем самым маскируя их и не позволяя их контролировать. Некоторые из новейших моделей вообще не формулируют свои рассуждения.

Машинное рекурсивное самосовершенствование позволяет ускорить разработку ИИ, но, как предупреждает исследователь, стремительное развитие ИИ в краткосрочной перспективе несёт риски и не является «правильным коллективным действием, которое исследовательское сообщество должно предпринять». Поэтому разработчикам ИИ необходимо найти эффективные способы контролировать процесс самосовершенствования или скоординировать свои действия с другими компаниями, работающими в сфере ИИ для замедления развития совместными усилиями, чтобы эти меры вызывали доверие.

«Основная проблема при автоматизации исследований в области ИИ заключается не в том, чтобы “добраться до цели”, — сказал Пачоцки. — А в том, чтобы сделать это таким образом, чтобы люди оставались частью процесса постоянного совершенствования, и будущее оставалось в руках человечества».

GPT-6 Astra населила мир Unreal Engine виртуальными людьми — они сами начали общаться, а один создал симуляцию внутри симуляции

Эксперименты с передовыми ИИ-моделями вызывают удивление даже у опытных специалистов. Например, бывший директор HyperWriteAI Мэтт Шумер (Matt Shumer) описывает ситуацию, в ходе которой он поручил GPT-6 Astra создать в среде Unreal Engine человеческих персонажей, объединённых задачей выживания, и модель не только справилась с этим заданием, но и по собственной инициативе наделила персонажей способностью разговаривать друг с другом.

 Источник изображения: Unsplash, Zac Wolff

Источник изображения: Unsplash, Zac Wolff

Шумера, по сути, больше всего поразил факт подобной самостоятельности ИИ-модели, поскольку он напрямую не поручал ей наделить персонажей описанными коммуникативными возможностями. Автор эксперимента через день после формулировки первичной задачи обнаружил, что из комнаты, где стоял работающий компьютер, начали звучать голоса. Приблизившись к ПК, он понял, что персонажи внутри симуляции начали разговаривать друг с другом вслух.

Поскольку по замыслу автора эксперимента, герои этого виртуального мира должны были выживать совместными усилиями, то и беседы они вели на соответствующие темы. Они обсуждали создание инструментов, координирование усилий внутри группы и взаимную помощь.

Тогда автор эксперимента решил ввести ещё один элемент в симуляцию, разместив внутри вымышленного мира компьютер, позволяющий создавать «вложенную симуляцию». Один из персонажей сел за этот виртуальный компьютер, чтобы создать симуляцию внутри самой симуляции. ИИ-агенты, которые и создали первую симуляцию, не были как-то ограничены в выборе средств решения задачи и самостоятельно принимали последовательные решения. При этом агенты получили полную свободу определять устройство внутренней симуляции с помощью кода. Пост Шумера вызвал заметную реакцию в соцсетях: пользователи сравнивали эксперимент с научной фантастикой, «карманным измерением» и вспоминают мультсериал «Рик и Морти».

Эксперимент, если его описание верно, иллюстрирует потенциал агентной модели для многошаговой работы с программными инструментами. Однако одного демонстрационного случая недостаточно, чтобы судить о её надёжности и универсальной применимости в разных интеллектуальных задачах. Для получения конечного результата ей не требуется на каждом этапе уточнять что-либо у пользователя. При этом появление внутренней симуляции нельзя считать полностью самостоятельной инициативой ИИ: Шумер заранее предоставил агентам компьютер, способный запускать симуляции. Однако конкретное содержание созданного мира агент определял самостоятельно. То есть, определённых рамок ИИ-модель всё же придерживается. В любом случае, ещё несколько лет назад подобные результаты были недостижимы, а сейчас вполне реальны при нынешних темпах развития генеративного ИИ.

GPT-6 Astra самостоятельно прошла легендарную головоломку Portal — это стоило $571

ИИ-модель GPT-6 Astra, анонсированная на этой неделе OpenAI, успешно прошла без участия человека игру Portal в жанре пространственных головоломок. Как сообщает ресурс VideoCardz, эксперимент провёл пользователь cozyblaze, который для проверки способностей GPT-6 Astra подключил её к игре и дал задание на прохождение, решая головоломки в тестовых камерах.

 Источник изображения: cozyblaze/Videocardz

Источник изображения: cozyblaze/Videocardz

Как известно, Portal построена на пространственных головоломках, требующих от игрока понимания особенностей комнат, расположения порталов и перемещения между различными поверхностями. ИИ-агент получал визуальную информацию из игры, используя для решений подключённый набор инструментов. Новейшая конфигурация также предоставляла координаты игрока. Как сообщил cozyblaze, перед запуском система была обновлена для использования новой системы управления контекстом Astra. Так что это была не просто игра, а нечто вроде пошаговой стратегии на основе предоставленного контента.

Хотя продолжительность видео с описанием всех этапов прохождения игры моделью составляет два часа, весь эксперимент занял гораздо больше времени — почти 24 часа, включая периоды рассуждений. Система приостанавливала игру, пока модель обрабатывала скриншоты и «решала», что предпринять дальше. В конце концов Astra прошла всю игру самостоятельно. Но с другой стороны, Portal — старая и подробно описанная игра, поэтому модель, возможно, уже содержала информацию о ней.

Для того, чтобы преодолеть все препятствия ИИ-модель совершила 3336 вызовов инструментов, а затраты на API составили $571,18.

В конце добавим, что ещё в 2016 году одной из технических целей OpenAI было «прохождение широкого спектра игр с помощью одного агента».

OpenAI подтвердила причастность своих ИИ-агентов к захвату немецкого сайта

OpenAI признала свою причастность к инциденту, о котором стало известно ранее в этом месяце. В мае этого года ИИ-агенты компании взяли под контроль немецкоязычный вики-сайт DseWiki и превратили его в доску объявлений для других агентов. После огласки этого случая OpenAI заявила, что «давно пора установить стандарт» в отношении того, как компания информирует общественность о случаях, когда её технологии ведут себя неожиданным образом.

 Источник изображения: Unsplash, Aideal Hwa

Источник изображения: Unsplash, Aideal Hwa

В публикации в соцсети X компания сообщила, что ранее OpenAI «рассматривала рассогласования (когда ИИ-модели и агенты преследуют цели, отличные от целей их разработчиков и пользователей) в основном как научно-исследовательские проблемы, о которых сообщалось в научных публикациях». Теперь же, когда рассогласования стали «показывать новый тип воздействия в реальном мире», подход компании к этому вопросу «должен стать шире, чтобы соответствовать новой фазе возможностей моделей».

Ранее на этой неделе СМИ писали, что группа ИИ-агентов OpenAI сумела выйти за пределы тестовой среды и захватила малоизвестный немецкий вики-форум, после чего превратили его в доску объявлений для других агентов. По данным источника, руководство OpenAI узнало об этом инциденте несколько недель назад, но скрывало эту информацию от общественности. Такое поведение связывают с тем, что OpenAI была занята изучением другого инцидента, в ходе которого ИИ-агенты компании взломали платформу Hugging Face.

В одной из недавних публикаций в соцсетях OpenAI заявила, что «инцидент с вики-сайтом» рассматривается как «пример рассогласования, аналогичный» другим подобным случаям, информация о которых уже была раскрыта. При этом компания противопоставила этот случай «инциденту с Hugging Face», в рамках которого она «действовала в соответствии со стандартными правилами реагирования на инциденты безопасности».

Во время недавнего брифинга для прессы Джейкоб Штейнхард (Jacob Steinhardt), основатели и гендиректор некоммерческой исследовательской лаборатории Transluce, заявил, что разрабатываемые и тестируемые ИИ-компаниями инструменты «трудно контролировать и они представляют значительный риск выхода» за пределы тестовой среды. По его мнению, к таким технологиям должны применяться «как минимум те же стандарты, что применяются к другим технологиям с высоким уровнем риска».

В заявлении OpenAI указывается на необходимость создания дополнительных стандартов, а также отмечается то, что ни OpenAI, ни «ИИ-сообщество пока не имеют чёткого стандарта в отношении того, как сообщать о случаях рассогласования, которые могут возникать во время обучения, оценки и развёртывания». Речь в том числе о случаях, когда поведение ИИ не напоминает традиционные инциденты безопасности. OpenAI работает над созданием такого стандарта и расскажет о нём больше в ближайшие несколько недель.


window-new
Soft
Hard
Тренды 🔥
Сага об уволенных со скандалом разработчиках GTA VI вышла на финишную прямую, и Rockstar настроена «решительно» 2 ч.
Apple раскрыла лимит для Apple Intelligence — без доплаты ряд функций будет временно отключаться 2 ч.
Ремейк Resident Evil 2 покорил новую вершину продаж — 20 миллионов копий 2 ч.
Apple посмеялась над складными Android-смартфоными за чёрные полосы у приложений — iPhone Duo наступил на те же грабли 3 ч.
Visa, Mastercard и Ant создадут единый стандарт для ИИ-агентов, которые тратят деньги пользователей 5 ч.
Ubisoft наконец перестанет принуждать пользователей Steam устанавливать лаунчер Ubisoft Connect 5 ч.
Россия лидирует по количеству утечек баз данных 5 ч.
Claude сам взломал чужую систему и добыл пароль — Anthropic раскрыла новый тревожный инцидент 5 ч.
«Сбер» представил GigaChat 3.5 Reasoning — первую российскую открытую ИИ-модель с режимом рассуждений 6 ч.
Anthropic открыла властям ЕС доступ к модели Mythos после трех месяцев ожидания 6 ч.