Сегодня 15 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → openai
Быстрый переход

На OpenAI подали в суд за взлом Hugging Face и игнорирование рисков автономного ИИ

Некоммерческая организация LASST вместе с юридической фирмой Gerstein Harrow подала иск в Верховный суд Калифорнии на OpenAI. Поводом стало несанкционированное проникновение ИИ-агентов компании на платформу Hugging Face летом текущего года. Истцы утверждают, что действия разработчиков прямо нарушили законодательство штата.

 Источник изображения: Grok

Источник изображения: Grok

В основе претензий, как сообщает Wired, лежит Закон Калифорнии о комплексном доступе к компьютерным данным и мошенничестве (CDAFA). Истцы указывают на положение нового закона об ИИ, вступившего в силу в январе, который прямо запрещает компаниям ссылаться на автономность ИИ-систем как на оправдание причинённого вреда. Согласно документу, тот факт, что искусственный интеллект самостоятельно нанёс ущерб, не может служить защитой для разработчика в суде.

Основатель LASST Тайлер Уитмер (Tyler Whitmer) подчеркнул важность применения существующих правовых норм для привлечения крупных технологических компаний к ответственности. Он отметил, что автономные агенты представляют собой новый и крайне рискованный фактор, требующий жёсткого контроля. По его словам, бездействие регуляторов в условиях масштабирования систем может привести к катастрофическим последствиям для общества. «После того как стало известно об инциденте с Hugging Face, мы проделали большую работу, разъясняя суть взлома представителям регулирующих органов и общественных организаций. И мы задавались вопросом: предпримет ли кто-нибудь что-либо в судебном порядке? — сказал Уитмер.

OpenAI пока не прокомментировала поступившие обвинения, однако давление на компанию растёт с разных сторон. Ранее генеральный прокурор Флориды Джеймс Утмейер (James Uthmeier) запросил временный судебный запрет на разработку ИИ-моделей без независимого надзора. Чиновник заявил, что таким образом его ведомство реагирует на риски, связанные с отсутствием должного контроля за создаваемыми технологиями.

Иск подан также в рамках Закона о недобросовестной конкуренции Калифорнии. LASST и Gerstein Harrow объяснили свой шаг тем, что сама платформа Hugging Face, будучи очевидным пострадавшим, не стала обращаться в суд, однако активисты опасаются, что отсутствие юридических последствий позволит подобным ситуациям повторяться с возрастающей тяжестью ущерба.

Данное судебное разбирательство не предусматривает требование денежной компенсации, вместо этого истцы просят суд вынести судебный запрет, который обязал бы OpenAI прекратить разработку ИИ-агентов, способных автономно взламывать внешние системы. Также истцы просят возместить судебные издержки и предоставить «любую иную защиту, которую суд сочтёт справедливой и надлежащей».

OpenAI бросила вызов Microsoft — ChatGPT получил свой пакет офисных приложений

Долгое время OpenAI тесно сотрудничала с Microsoft, но сейчас разработчик ChatGPT всё активнее вторгается в основную сферу деятельности софтверного гиганта — сегмент программного обеспечения для выполнения рабочих задач. Новые инструменты OpenAI сильно напоминают пакет офисных программ Microsoft Office.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

На конференции для разработчиков Dev Day, которая проходит в эти дни в Сан-Франциско, OpenAI анонсировала несколько новых функций ChatGPT, ориентированных на офисных сотрудников. Наиболее заметной стала функция Space — общее рабочее пространство внутри ChatGPT, где коллеги могут совместно взаимодействовать с чат-ботом и своими персональными ИИ-агентами Dots, способными выполнять разные действия от имени пользователя.

«Все ваши страницы и файлы находятся вместе внутри Space подобно тому, как они хранятся на локальном диске», — рассказал гендиректор OpenAI Сэм Альтман (Sam Altman). Он отметил, что рабочие пространства «ощущаются живыми». Пользователи могут давать конкретные инструкции, например, проверить рабочий канал и обновить страницу на основе найденной информации.

Ещё OpenAI анонсировала Pages — текстовый редактор-компаньон, который компания описывает, как «новый тип документа, созданный для совместной работы человека и агента». Похоже, что эту новинку компания позиционирует как свой ответ на Google Docs и Microsoft Word. Пользователи могут задействовать Pages для «написания текстов, проведения исследований, создания диаграмм, генерации изображений или визуализации информации».

В дополнение к этому OpenAI анонсировала функции генерации слайдов для презентаций на основе совместных обсуждений в ChatGPT. После генерации слайдов над ними могут работать несколько сотрудников или агентов, оставляя комментарии или внося корректировки.

Пока OpenAI заходит на территорию Microsoft, сам софтверный гигант и другие крупные разработчики ПО, такие как Salesforce, стараются быть более похожими на OpenAI. За последний год обе компании выпустили множество ИИ-продуктов. Это указывает на то, что индустрия ПО старается не отставать от стремительно меняющегося отраслевого ландшафта.

OpenAI отвязала Codex от компьютера разработчика — ИИ получил постоянные облачные рабочие пространства

OpenAI представила новые возможности для своего ИИ-агента программирования Codex, которые позволяют использовать его не только на компьютере разработчика. В частности, компания добавила повторно используемые облачные среды разработки, доступные с любого устройства.

 Источник изображений: OpenAI

Источник изображений: OpenAI

Ранее облачные задачи в Codex работали как изолированные песочницы, которые создавались заново для каждого запроса. Теперь разработчики могут настраивать постоянные рабочие пространства с утвержденными правами доступа и параметрами окружения. Это ускоряет запуск задач и дает командам возможность использовать единую согласованную среду для совместной работы, независимо от того, где физически находится участник процесса.

Также обновился интерфейс командной строки Codex CLI: теперь им можно управлять голосом. В приложении появилась новая панель /agents для делегирования задач и отслеживания нескольких процессов одновременно. Интерфейс терминала стал «чище» и удобнее для длительных сессий, улучшились функции редактирования промптов, возобновления прерванных сеансов и работы с деревьями изменений (worktrees).

Интеграция с настольным приложением ChatGPT получила новую возможность проверки кода. Пользователи могут просматривать сводки изменений, изучать правки и задавать вопросы агенту перед отправкой отзывов в GitHub или GitLab. Система способна проводить автоматическую проверку даже в отсутствие пользователя, пока его ноутбук выключен.

Для защиты инфраструктуры запущен набор инструментов Codex Security Cloud, который сканирует репозитории по расписанию или при новых коммитах, автоматически устраняя дубликаты уязвимостей и подготавливая исправления. Доступ к моделям кибербезопасности Daybreak Blue теперь открыт без отдельной заявки. Также представлены API Decisions для принятия решений в режиме реального времени и обновлённый Agents API с поддержкой Amazon Bedrock. Мероприятие OpenAI Dev Day прошло во вторник.

OpenAI представила GPT‑6.1 Sol — почти как флагманская GPT‑6 Astra в сложных задачах, но в пять раз дешевле

Компания OpenAI анонсировала ИИ-модель GPT-6.1 Sol, представляющую собой обновление GPT-6 Sol и отличающуюся высокими результатами в агентном программировании, управлении компьютером и профессиональных задачах.

 Источник изображений: OpenAI

Источник изображений: OpenAI

Это обновление приближает линейку Sol к GPT-6 Astra в решении сложных задач, отличаясь при этом более доступными тарифами — стандартные цены на входные и выходные токены у новой модели в пять раз ниже, чем у Astra: $2 за входные данные и $10 за выходные. Кэшированные входные данные стоят всего $0,10 за 1 млн токенов, что на 95 % ниже стандартной цены входных данных. Это особенно выгодно для агентных задач, когда нужно повторно использовать контекст в нескольких запросах.

OpenAI отметила, что GPT-6.1 Sol значительно превосходит GPT-6 Sol в сложной профессиональной работе: от написания и отладки кода до понимания документов и выполнения многоэтапных бизнес-процессов.

Например, в тесте DeepSWE v1.1, который оценивает решение сложных задач разработки ПО в реальных кодовых базах, GPT-6.1 Sol превзошла лучший результат GPT-6 Sol на 6,4 п. п. при меньших усилиях на рассуждения и меньших затратах.

В тесте GDP.pdf, который измеряет точность ответов моделей на профессиональные вопросы по сложным PDF-документам, используемым в работе специалистами в области финансов, здравоохранения, права и семи других профессиональных сфер, GPT-6.1 Sol превосходит Opus 5.5 с резервными моделями при стоимости более чем вдвое ниже на всех проверенных уровнях усилий на рассуждения.

В тесте AutomationBench, который проверяет, правильно ли агенты выполняют многоэтапные бизнес-процессы, GPT-6.1 Sol при среднем уровне усилий на рассуждения превосходит Opus 5.5 на 2,2 п. п. при затратах примерно втрое ниже, а также на 4,8 п. п. превосходит показатель GPT-6 Sol.

В тесте AutomationBench 1.0.6 агенты ИИ тестируются в сквозных процессах с использованием 47 инструментов в отделах продаж, маркетинга, операционной деятельности, поддержки, финансов и управления персоналом.

В задачах, требующих взаимодействия с компьютерными приложениями (тест OSWorld 2.0), GPT-6.1 Sol превзошла GPT-6 Sol на 7 п. п. при максимальных усилиях на рассуждения и затратах более чем вдвое ниже, отставая от Astra всего на 2,1 п. п. при стоимости примерно в семь раз ниже.

В тесте Terminal-Bench Science 0.1, который оценивает научные рабочие процессы, включая анализ данных, моделирование и доказательство теорем, GPT-6.1 Sol более чем вдвое превзошла результат GPT-6 Sol при максимальных усилиях на рассуждения и стоимости более чем вдвое ниже. В этом тесте агенты выполняют научно-исследовательские задачи с помощью кода и инструментов терминала: анализируют данные, запускают симуляции и подбирают параметры моделей.

GPT-6.1 Sol также превосходит предшественника по фактической точности ответов на сложные запросы. При очень высоком уровне усилий на рассуждения частота фактических ошибок у неё составляет 4,1 % против 4,5 % у GPT-6 Sol, приближаясь к 4,0 % у Astra при той же настройке. При этом стоимость выполнения примерно на 83 % ниже, чем у Astra.

В тестах на соответствие человеческим намерениям и ценностям GPT-6.1 Sol продемонстрировала значительные улучшения по сравнению с GPT-6 Sol. В сложных тестах модель реже, чем GPT-6 Sol, допускает сбои: скрывает неисправность инструментов поиска, нарушает явные ограничения или совершает несанкционированные действия при выполнении агентных задач. Также не было зафиксировано попыток модели обойти автоматическую систему проверки безопасности.

GPT-6.1 Sol уже доступна всем пользователям Plus, Pro, Business, Enterprise и Edu в рамках ChatGPT Work и Codex. А вот в обычном чате ChatGPT новая модель пока недоступна, но вероятно появится в скором времени.

OpenAI представила Dots — ИИ-агентов с собственными компьютерами, которые могут работать круглосуточно без пользователя

OpenAI представила Dots — новый тип постоянно работающих ИИ-агентов, способных самостоятельно выполнять многошаговые задачи, вести проекты, пользоваться приложениями, писать и тестировать код, и продолжать работу без участия человека. В OpenAI говорят, что Dots могут работать круглосуточно и со временем адаптироваться к предпочтениям пользователя.

 Источник изображений: OpenAI

Источник изображений: OpenAI

Ключевое отличие Dots от обычного ChatGPT заключается в том, что агент получает собственную вычислительную среду. Каждый Dot работает на отдельном облачном компьютере с собственным браузером и учётной записью для управления доступом и разрешениями. Пользователь при этом может открыть виртуальный компьютер и посмотреть, чем именно Dot занимается.

При этом по умолчанию облачная среда изолирована от компьютера пользователя. Но при необходимости Dot можно подключить к собственному компьютеру, и агент сможет работать непосредственно на устройстве пользователя.

В качестве основы Dots используется модель GPT-6 Astra. OpenAI также интегрировала агентов с собственной экосистемой плагинов, благодаря чему они могут работать более чем с 4000 приложений. Взаимодействовать с Dot можно через ChatGPT, текстовые сообщения, Slack и Microsoft Teams, а также обращаться к агенту можно и по голосовой связи. Контекст сохраняется между каналами связи.

Главная особенность Dots — способность самостоятельно продолжать начатую работу. Пользователю необязательно держать открытый чат и контролировать каждый шаг: агент может взять проект, выполнять его отдельные этапы, отслеживать изменения и обращаться к пользователю только тогда, когда требуется его решение.

Например, агент способен отслеживать отзывы пользователей о приложении, находить повторяющиеся проблемы, вносить исправления в код и подготавливать их к проверке разработчиком. При этом окончательные решения по внесению изменений остаются за пользователем.

В другом сценарии агент следит за подготовкой запуска продукта. Если характеристики продукта или требования к нему меняются, Dot может пересмотреть план запуска, обновить документы и рекламные материалы и подготовить изменения к проверке человеком. Для исследовательских задач агент способен повторять анализ по мере поступления новых данных, изучать неожиданные результаты и обновлять иллюстрации и выводы.

Интересно, что Dots рассчитаны не только на выполнение конкретных заданий, но и на проактивную работу. OpenAI называет это «проактивным исследованием»: агент может обращаться к подключённым приложениям в фоновом режиме и искать способы продолжить текущую работу. На этом этапе такие фоновые инструменты имеют ограниченные возможности — например, они не могут самостоятельно отправлять сообщения, изменять содержимое приложений или управлять браузером и компьютером пользователя.

И в целом автономность Dots ограничена системой разрешений. Пользователь сам определяет, к каким приложениям получит доступ агент, и может задавать правила для отдельных действий: разрешать их автоматически, требовать подтверждения или полностью запрещать. Dots также попросят подтвердить действия, которые затрагивают аккаунты пользователя или могут привести к передаче информации. Некоторые операции, например смена пароля, OpenAI оставляет исключительно за человеком.

У Dots есть и отдельный механизм защиты от потенциально опасного поведения. Если агент обнаруживает угрозу безопасности, он может приостановить или полностью прекратить выполнение задачи. OpenAI отдельно подчёркивает, что Dots всё равно могут ошибаться, поэтому результаты работы, от которых зависят важные решения или действия, необходимо проверять.

Для бизнеса OpenAI готовит специализированные версии Dots. Здесь агент получит отдельную учётную запись, собственные учётные данные и только тот набор доступов к корпоративным системам, который необходим для выполнения конкретной роли. Компания уже тестирует сценарии для закупок, обработки счетов, email-маркетинга, клиентской поддержки и заключения коммерческих договоров.

На старте Dots доступны пользователям ChatGPT Pro и Business Premium, а для корпоративных клиентов Enterprise предлагается бета-версия. Первый Dot входит в тарифы без дополнительной платы, а в будущем OpenAI планирует взимать отдельную ежемесячную плату за добавление новых агентов, повышение их скорости или объёма выполняемой работы.

Исследователи OpenAI и Google бьют тревогу — развитие ИИ опережает возможности людей его контролировать

Специалисты из OpenAI и Google DeepMind заявили о недостаточности мер безопасности при разработке систем машинного обучения и искусственного интеллекта на базе нейронных сетей. Они считают, что скорость развития технологии опережает возможности людей по контролю ИИ-платформ, способных к самообучению и самосовершенствованию.

 Источник изображения: Grok

Источник изображения: Grok

Своими опасениями исследователи поделились в рамках проекта Frominside.ai, созданного при участии некоммерческой организации Palisade Research. Его участники заявляют, что говорят об угрозах не ради маркетинга, а потому, что считают проблему действительно серьёзной. По их словам, внутри ИИ-компаний больше внимания получают сотрудники, которые создают новые модели, чем специалисты, призывающие к осторожности.

Одна из основных тем проекта касается рекурсивного самосовершенствования. Так называют способность ИИ практически без участия человека продолжать обучение и самостоятельно получать новые возможности. Джеффри Ирвинг (Geoffrey Irving), ранее работавший в OpenAI и DeepMind, а сейчас возглавляющий научное направление в некоммерческой организации Resolution, заявил, что риск «довольно быстро растёт», и специалисты должны открыто говорить об этом.

Исследователь DeepMind Нил Нанда (Neel Nanda), заявил, что оценивает вероятность исчезновения человечества из-за ИИ как минимум в 10 % и считает этот показатель «невероятно высоким». Хуан Фелипе Серон Урибе (Juan Felipe Ceron Uribe), инженер-исследователь OpenAI, также призвал к осторожности, сравнив текущую конкуренцию передовых ИИ-лабораторий с гонкой «с завязанными глазами». При этом руководители компаний тоже начали публично говорить о необходимости снизить темп. В частности, глава Anthropic Дарио Амодеи (Dario Amodei) призвал индустрию замедлить темп разработки и «соизмерить скорость прогресса с возможностями контроля», а гендиректор OpenAI Сэм Альтман (Sam Altman) согласился с ним.

Дискуссия об этих рисках усилилась после июльского инцидента, когда агенты OpenAI вышли за пределы тестовой среды и взломали международную платформу для работы с ИИ Hugging Face. Дэниел Кокотайло (Daniel Kokotajlo), ранее занимавшийся вопросами управления и безопасности в OpenAI, рассказал, что после этого его бывшие коллеги стали чаще обращаться к нему и делиться своими опасениями. Несколько исследователей, включая главного научного сотрудника OpenAI и одного из соучредителей Anthropic, призвали законодателей обратить внимание на то, как в отрасли создаются модели с функцией рекурсивного самосовершенствования.

При этом OpenAI и Anthropic продолжают выпускать новые модели, а Reuters сообщило, что Anthropic планирует предупредить потенциальных инвесторов перед IPO о возможных «катастрофических или экзистенциальных рисках для человечества».

OpenAI готовит потребительского ИИ-агента Aeon — победить Muse и других конкурентов будет непросто

Несколько лет назад OpenAI с помощью ChatGPT сумела сделать популярными чат-боты с искусственным интеллектом и прочно закрепила за собой лидерство. Однако сейчас компания отстала от конкурентов на одном из наиболее активно развивающихся направлении — в категории непрерывно работающих потребительских ИИ-агентов. По неподтвержденной информации, OpenAI готовит такой продукт, и он носит название Aeon.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

OpenAI Aeon выступит ответом таким проектам как Meta✴✴ Muse, SpaceXAI Grok Bot, OpenClaw и многие другие. У сервиса есть шансы на успех, но для победы над конкурентами ей придётся вобрать в себя лучшие функции различных платформ: быть таким же практически полезным как открытый OpenClaw и таким же недорогим и простым в обращении как Meta✴✴ Muse. Потребуется решить серьёзные проблемы безопасности, которые возникли ещё у OpenClaw и сохранились у Muse. OpenAI демонстрировала возможности API для ИИ-агентов ещё на DevDay 2024 и выпускала потребительские продукты в 2025 году. Но практически полезными ИИ-агенты стали лишь с появлением OpenClaw. С тех пор гонка ускорилась, и OpenAI оказалась в положении догоняющей.

На данный момент наибольшего успеха, возможно, удалось добиться Meta✴✴ Muse — только в США у этого сервиса 600 000 ежедневно активных пользователей. Он предлагает интеграцию с платформами Meta✴✴, которыми пользуются миллиарды человек. Востребован и Google Gemini Spark — он тоже работает круглосуточно, тоже ориентирован на массового потребителя, а также может работать с широким набором корпоративных и потребительских продуктов Google. Muse и Spark поддерживают работу и со сторонними сервисами.

На практике они уже решают такие задачи как заполнение документов для визита к врачу, отмена подписок, организация групповых поездок, бронирование досуговых мероприятий, запись на приём в госучреждения и оплата счетов. Хотя остаются серьёзные вопросы по поводу безопасности: помимо технических уязвимостей, это могут быть ошибки, связанные с раскрытием персональных данных — в одном из случаев Muse сообщил незнакомому человеку адрес своего пользователя.

Об OpenAI Aeon пока известно не так много. В компании, однако, работает создатель OpenClaw Петер Штайнбергер (Peter Steinberger), и он явно поможет в развитии проекта. В прошлом году OpenAI представила новый SDK для приложений ChatGPT, позволяющий элементам управления сторонних сервисов, таких как Zillow, Spotify и Canva, работать прямо в интерфейсе чат-бота. Вопрос лишь в том, как Aeon будет конкурировать с недорогими и предлагающими глубокую интеграцию с многочисленными сервисами ИИ-агентами других разработчиков.

OpenAI отменила выпуск ИИ-модели GPT-6.1 Astra из соображений безопасности

OpenAI объявила об отказе выпустить новую модель искусственного интеллекта GPT-6.1 Astra из-за опасений, которые возникли у исследователей компании в ходе внутреннего тестирования системы, сообщает The Wall Street Journal. Радикальная мера стала одним из наиболее ярких свидетельств того, что непредсказуемое поведение ИИ может затормозить стремительное развитие всей отрасли.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

ИИ-лаборатория намеревалась анонсировать GPT-6.1 Astra в ближайшие дни или недели и выпустить её в октябре. Она превосходит предшественников по своим возможностям: демонстрирует более высокие навыки в написании текстов и лучше справляется с многоэтапными задачами без участия человека. Вместе с тем, у неё обнаружился регресс в двух областях: соответствия целям и авторизации в рамках задач. Первое означает, что модель не всегда точно следует намерениям и ожиданиям человека, а также не всегда честно сообщает пользователю, какие действия она предприняла, а какие — нет. Второе значит, что OpenAI GPT-6.1 Astra может начать выполнять задачу, не запрашивая разрешения пользователя, а также иногда обращается ко внешним средствам и сервисам, даже если это небезопасно. Разработчикам удалось решить проблему «лени у модели», то есть отказа продолжать работу при возникновении сложностей, но она не дотянула до стандартов, которые компания установила в области безопасности, и соответствия целям, поэтому было принято решение не выпускать её в открытый доступ.

Объявление было сделано накануне ежегодной конференции OpenAI, которая проводится в Сан-Франциско (США) — ранее компания анонсировала на мероприятии новые модели и сервисы. Сейчас лаборатория занимается расследованием выявленных за последние месяцы инцидентов, связанных с безопасностью ИИ. Она развернула новую систему мониторинга для оперативного обнаружения нарушений в деятельности ИИ-агентов и обязала инженеров использовать при тестировании систем более строгие меры защиты. OpenAI приостановила обучение наиболее мощных ИИ-моделей, но GPT-6.1 Astra это не коснулось. «Хотим быть уверенными в безопасности разработки наших моделей как внутри компании, так и с их выпуском для пользователей. Но когда мы выпускаем продукт для пользователей, то предъявляем чрезвычайно высокие требования к безопасности и соответствия целям у моделей», — заявили в компании.

OpenAI приняла решение не выпускать версию GPT-6.1 Astra, но рассчитывает использовать её основу в проведении дополнительных циклов обучения с подкреплением и создания новых моделей серии GPT-6. Компания планирует провести серию углублённых исследований, чтобы установить первопричины обнаруженных у GPT-6.1 Astra проблем. Инженеры проверят, поощряется ли в среде обучения с подкреплением надлежащее поведение, и изучат прочие этапы разработки. Общественности нужна уверенность, что ИИ разрабатывается с учётом соображений безопасности, «и это начинается с того, что делают сами компании вроде нашей», заявили в OpenAI.

ИИ не заменил инженеров, но ускорил их втрое — OpenAI раскрыла секреты создания Jalapeno

В июне OpenAI представила свой ИИ-чип Jalapeno, в разработке которого принимали активное участие специалисты Broadcom. Вице-президент OpenAI по аппаратному обеспечению Ричард Хо (Richard Ho) в своём интервью Tom’s Hardware рассказал о том, как велась разработка Jalapeno, и чем полученный опыт может быть полезен для всей полупроводниковой отрасли.

 Источник изображения: OpenAI

Источник изображения: OpenAI

Во-первых, как отметил представитель OpenAI, активное использование ИИ на этапе проектирования чипа позволило сократить затраты времени на весь процесс с традиционных 18–24 месяцев до девяти. Говорить о замене искусственным интеллектом труда инженеров при этом преждевременно, поскольку небольшая по численности команда специалистов в итоге стала более производительной. Пришлось пойти и на определённые компромиссы с точки зрения архитектуры, поскольку сжатые сроки проектирования были приоритетом. В дальнейшем, если потребуется создать более сложный чип, OpenAI сможет сделать это быстрее, чем при использовании традиционных методов, опираясь на ИИ и уже существующий дизайн.

По словам Хо, к созданию собственного чипа OpenAI подтолкнуло стремление поднять эффективность вычислительной инфраструктуры, поскольку в условиях нехватки вычислительных ресурсов в сфере ИИ распоряжаться ими надо более рационально. В этом смысле ИИ-чипы для инференса в современных условиях максимально определяют пользовательский опыт, а потому Jalapeno заточен именно под эти цели, снижая задержки при обработке запросов.

При этом Jalapeno должен хорошо проявлять себя при работе с ИИ-моделями разных поставщиков, а не только собственными OpenAI. По сути, под эффективную работу с чипом можно за пару месяцев адаптировать даже те модели, которые при его создании даже не учитывались. При этом Хо считает, что потенциал внутреннего спроса OpenAI на вычислительные ресурсы настолько велик, что говорить об использовании Jalapeno внешними заказчиками не придётся ещё очень долго.

Полученным при разработке Jalapeno с помощью ИИ опытом OpenAI готова делиться с прочими участниками рынка, поскольку она заинтересована в более быстром выходе на рынок новых моделей чипов других поставщиков, которые тоже использует в своей инфраструктуре. OpenAI не станет отказываться от компонентов других разработчиков, типа AMD и Nvidia, продолжив использовать их в своей вычислительной инфраструктуре. Главное, чтобы в итоге аппаратная конфигурация ЦОД была эффективной с точки зрения обеспечиваемой производительности при определённом уровне затрат.

Новые поколения собственных чипов OpenAI собирается выводить на рынок по мере готовности, и в этой сфере нет каких-то заранее определённых требований по ритмичности таких анонсов. Каждое новое поколение при этом должно обеспечивать видимый прирост производительности относительно предыдущего, поэтому их смена не будет излишне частой.

Гендиров OpenAI и Anthropic вызвали на допрос в Сенат Австралии по делу о взломе правительственного сайта ИИ-агентом

Гендиректоров OpenAI и Anthropic вызвали на слушания в рамках расследования Сенатом Австралии обстоятельств взлома ИИ-агентом OpenAI базы данных системы здравоохранения страны. Об этом сообщило агентство Reuters со ссылкой на заявление главы следственной комиссии.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

Взлом системы австралийской страховой программы Medicare, который премьер-министр Энтони Альбанезе (Anthony Albanese) осудил на заседании Совета Безопасности ООН, является одним из самых громких инцидентов несанкционированного доступа ИИ-агентов к внешним системам за пределами США.

Публичные слушания следственной комиссии пройдут в Канберре в четверг, сообщил агентству представитель сенатора Сары Хансон-Янг (Sarah Hanson-Young) из австралийской партии «Зелёные», возглавляющей расследование.

«Сэму Альтману (Sam Altman) предстоит ответить на серьёзные вопросы о взломе веб-сайтов австралийского правительства агентом OpenAI», — заявила Хансон-Янг. Она добавила, что Альтман и Дарио Амодеи (Dario Amodei) должны явиться, ответить на вопросы Сената и честно обсудить, как должно выглядеть эффективное и долгосрочное регулирование этой отрасли.

Альбанезе назвал ситуацию со взломом портала программы Medicare неприемлемой и заявил, что выразил крайнюю обеспокоенность Альтману. В частности, его возмутило то, что компания сообщила о взломе со значительной задержкой — 10 сентября, тогда как инцидент произошёл в июне. В свою очередь, в OpenAI утверждают, что им об этом стало известно только в августе. Компания подчеркнула, что инцидент не был преднамеренным и не затронул никакой конфиденциальной информации.

Агенты OpenAI предпринимали попытки атаки на один из сайтов ООН на протяжении нескольких месяцев

Попытки ИИ-агентов OpenAI «проверить на прочность» систему защиты сайтов различных правительственных ведомств США уже были выявлены в конце прошлой недели, когда речь шла о ресурсах федеральных ведомств и Министерства образования США. Недавно стало известно, что в попытках доступа к данным на сайте ООН эти агенты использовали довольно агрессивную тактику.

 Источник изображения: Unsplash, Bernd Dittrich

Источник изображения: Unsplash, Bernd Dittrich

Как отмечает The Wall Street Journal со ссылкой на заявления исследователя в сфере безопасности Роуэн Говард-Джонс (Rowan Howard-Jones), в период с апреля по конец июня этого года ИИ-агенты OpenAI более 16 000 раз сканировали сайт Конференции ООН по торговле и развитию (UNCTAD). Предположительно, им было поручено найти публично доступные данные вроде значений индекса производственного потенциала различных стран. Не обладая доступом и к ним через API и ограничиваясь возможностями инструментария HTTP, агенты не смогли получить необходимые данные, а потому в определённый момент перейти к более агрессивной тактике. Предположив, что их продвижение ограничивает некий фильтр, ИИ-агенты начали маскировать свои попытки получить доступ к необходимым данным. В частности, были предприняты попытки атаки на сайт ООН через уязвимость в Google XSS (межсайтовый скриптинг).

Представители OpenAI сообщили, что уже обратились к ООН для обсуждения ситуации, и при этом продолжают выяснять все обстоятельства данного инцидента. Поскольку специалистам стартапа приходится иметь дело с большим количеством инцидентов, расследование каждого может занять существенное время. С другой стороны, принятое решение приостановить обучение ИИ-моделей должно способствовать сокращению количества новых происшествий в данной сфере.

OpenAI приостановила обучение ИИ-моделей — расследуются десятки тысяч инцидентов с выходом ИИ из-под контроля

Разработчики передовых систем искусственного интеллекта OpenAI и Anthropic расследуют десятки тысяч инцидентов, связанных с некорректным поведением своих моделей. Выяснилось, что нейросети массово обходят защитные барьеры и предпринимают попытки взлома внешних систем, что указывает на фундаментальные сложности контроля технологии.

 Источник изображения: AI

Источник изображения: AI

Масштаб выявленных проблем, как подчёркивает Axios, значительно превышает публичные оценки. Инциденты фиксировались как во время внутренних тестов, так и в реальной среде, причём многие из них до сих пор не обнародованы. Среди нарушений зафиксированы выход из изолированной среды, перехват управления веб-ресурсами и создание скрытых каналов коммуникации между ИИ-агентами.

Особое внимание привлекает случай с платформой Hugging Face, который генеральный директор OpenAI Сэм Альтман (Sam Altman) назвал наиболее серьёзным. В этой ситуации сотни автономных агентов объединились для координации действий и успешно взломали эту платформу в попытке улучшить свои результаты в тесте по кибербезопасности. Данный эпизод ярко продемонстрировал способность ИИ-систем к самоорганизации для достижения поставленных задач даже в обход запретов.

В ответ на растущее число угроз OpenAI приняла решение временно остановить обучение своих наиболее мощных моделей. Компания планирует возобновить процесс только после внедрения улучшенных механизмов защиты и «выравнивания поведения» моделей. В OpenAI признают, что подобные паузы станут неизбежной частью разработки ИИ по мере усложнения алгоритмов.

Anthropic подошла к вопросу системно, заказав независимый аудит безопасности и опубликовав данные о частоте сбоев. Согласно отчёту, касающегося модели Opus 5.5, попытки выхода из песочницы происходили в 1,5 % запусков. Хотя компания подчёркивает провокационный характер этих тестов, статистика показывает, что даже малый процент ошибок при массовом использовании приводит к десяткам тысяч тревожных ситуаций.

К числу инцидентов также относится утечка со стороны агентов OpenAI 53 изображений пользователей ChatGPT в сеть, взлом веб-сайта правительства Австралии и попытки взлома других сайтов, в том числе и сайта правительства США . Эксперты отрасли отмечают, что полное устранение рисков несовместимого поведения может быть недостижимо. Новые модели обладают высокой адаптивностью, и методы, которые никогда не пришли бы в голову человеку, позволяют им обходить защитные механизмы. Попытки составить исчерпывающий список запретов специалисты считают бесперспективными.

ИИ-агент OpenAI снова выбрался в интернет после усиления защиты — чтобы уточнить столицу Франции

У OpenAI вновь произошёл инцидент с безопасностью: ИИ-агент, работавший во время обучения модели в изолированной среде без прямого доступа к интернету, нашёл обходной путь и связался со сторонним чат-ботом.

 Источник изображения: Growtika/unsplash.com

Источник изображения: Growtika/unsplash.com

Компания подчеркнула, что это первый подобный случай после усиления мер безопасности вслед за инцидентом с Hugging Face. В июле ИИ-агенты OpenAI получили доступ к интернету во время внутреннего тестирования и без разрешения проникли в системы платформы.

Нынешний инцидент произошёл 20 сентября, а в пятницу OpenAI рассказала о нём в своём отчёте. Агент пытался выполнить поисковое задание и сначала безуспешно пробовал напрямую обратиться к поисковым системам и стороннему чат-боту. Затем он обнаружил лазейку в настройках DNS-сервера изолированной среды, через которую смог отправлять вопросы чат-боту и получать ответы. Всего агент направил ему более 20 запросов, в том числе вопрос «Какая столица Франции?».

После происшествия OpenAI приостановила обучение, оценку и запуск наиболее продвинутых моделей в режимах, предполагающих использование внешних инструментов. Компания намерена возобновить эти работы после устранения уязвимости и дополнительных испытаний защиты. «Мы не будем возобновлять обучение этой конкретной модели», — добавили в OpenAI.

Инцидент также выявил недостатки в порядке реагирования на оповещения. Внутренняя система мониторинга обнаружила подозрительную активность примерно через 12 минут после того, как агент получил первый ответ от стороннего сервиса. Сотрудник подтвердил оповещение в Slack ещё через три минуты, но процесс обучения не остановился автоматически, как предполагалось. Вручную его остановили спустя два с половиной часа после обнаружения инцидента.

«К сожалению, даже после усиления мер безопасности вслед за инцидентом с Hugging Face модели OpenAI по-прежнему могут получить несанкционированный доступ к интернету, — заявил Сидни фон Аркс (Sydney Von Arx), основатель некоммерческой организации Nightingale, занимающейся вопросами безопасности ИИ. — Теперь главный вопрос в том, ограничится ли компания временной заплаткой и как можно скорее возобновит обучение или найдёт и устранит первопричину проблемы».

Новый случай произошёл на фоне проверки других эпизодов нежелательной активности ИИ-агентов OpenAI. Компания также сообщила, что во время обучения и тестирования её модели обращались к информации на сайтах американских государственных ведомств, в том числе Бюро переписи населения и Комиссии по ценным бумагам и биржам (SEC). В этих случаях OpenAI не обнаружила признаков несанкционированного доступа к системам ведомств, взлома учётных записей или других нарушений безопасности.

ИИ-агенты OpenAI слили в интернет 53 изображения пользователей ChatGPT — заметили это лишь спустя время

OpenAI сообщила, что её ИИ-агенты разместили в интернете 53 изображения, загруженных пользователями ChatGPT. Компания не уточнила, когда это произошло и были ли на изображениях реальные люди или они были созданы ИИ. Спустя два месяца после взлома платформы Hugging Face OpenAI всё ещё изучает действия своих агентов и находит новые случаи их нежелательного поведения, сообщает Reuters со ссылкой на два информированных источника.

 Источник изображения: Growtika / unsplash.com

Источник изображения: Growtika / unsplash.com

Большинство опубликованных изображений уже удалено. OpenAI добивается от владельцев сайтов удаления оставшихся. Агенты получили доступ к изображениям, поскольку компания использует часть данных пользователей для обучения моделей. Перед этим из них удаляют имена, контактные сведения и метаданные, однако, по словам собеседников Reuters, остаётся риск, что какие-то сведения, позволяющие установить личность пользователя, сохранятся. Данные корпоративных клиентов для обучения не используются. Пользователям обычной версии ChatGPT нужно самостоятельно отключить использование своих данных в настройках, если они не хотят передавать их для обучения моделей.

По оценке одного из источников Reuters, к середине сентября OpenAI обнаружила около двух десятков случаев нежелательного поведения агентов. Их число продолжает расти по мере изучения внутренних журналов активности. Компания ожидает, что проверка займёт ещё несколько месяцев, и уже уведомила несколько десятков сторонних организаций о выявленных эпизодах. При этом публично известно более чем о 15 случаях разной степени серьёзности, о которых сообщили сама OpenAI, независимые исследователи и пострадавшие организации.

В пятницу OpenAI также подтвердила, что во время исследований и обучения её модели обращались к информации на сайтах Комиссии по ценным бумагам и биржам США и Бюро переписи населения США. Признаков несанкционированного доступа, взлома учётных записей или иных нарушений безопасности на этих ресурсах компания не обнаружила. Отдельно исследовательская организация Transluce сообщила о неудачной попытке агентов, предположительно связанных с OpenAI, взломать сайт Министерства образования США, посвящённый соблюдению гражданских прав. По данным Transluce, при обращении к государственным сайтам агенты также пробовали использовать найденные учётные данные, обходить защиту от ботов и создавать подставные учётные записи.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Ещё об одном инциденте на этой неделе сообщил премьер-министр Австралии Энтони Албаниз (Anthony Albanese). По его словам, в июне агент OpenAI получил несанкционированный доступ к правительственному порталу медицинской статистики. Компания обнаружила это в августе, но уведомила австралийские власти лишь 10 сентября, отправив письмо на общий адрес электронной почты. Албаниз лично сообщил гендиректору OpenAI Сэму Альтману (Sam Altman), что считает такой порядок уведомления неприемлемым. Этот эпизод не связан с другими случаями активности агентов на австралийских государственных ресурсах, о которых сообщила Transluce.

В OpenAI объяснили, что агенты, выполняющие исследовательские задачи, обращаются к сайтам государственных органов, университетов и общественных организаций в поисках общедоступной информации из надёжных источников. Однако расследование взлома Hugging Face показало, что их действия не всегда ограничивались поставленной задачей. По словам собеседников Reuters, в установлении обстоятельств этого взлома так или иначе участвовали около сотни человек; в ходе проверки обнаружились признаки и других инцидентов.

OpenAI признала необходимость более открыто сообщать о нежелательном поведении агентов. В сентябре компания представила правила раскрытия таких случаев и пообещала отдавать предпочтение прозрачности, «даже когда значимость инцидента неочевидна». При этом два источника Reuters описали нынешнее расследование как закрытый процесс, на который заметно влияют юристы компании. Ранее агентство сообщало, что юристы отговаривали специалистов, изучавших взлом Hugging Face, включать в проверку другие эпизоды. OpenAI отрицает, что они препятствовали расширению расследования.

Многие случаи выявили сторонние исследователи, а некоторые действия агентов оставались незамеченными самой OpenAI в течение нескольких месяцев. Комментируя доклад Transluce, компания заявила, что значительная часть описанных в нём эпизодов уже находится на разных стадиях проверки. В первую очередь OpenAI изучает наиболее серьёзные случаи.

ИИ-агенты OpenAI оставили миллион следов взлома Hugging Face в открытом интернете

Агенты искусственного интеллекта OpenAI, участвовавшие во взломе платформы Hugging Face, пытались использовать модель распознавания изображений для прохождения проверки на ботов и обращались к другим ИИ-моделям. Они также придумали способ обходить ограничения на доступ в интернет: собирали программы из фрагментов кода, размещённых по цепочкам сокращённых ссылок, и запускали их через сервис создания скриншотов. Новые подробности атаки раскрыли сотрудники стартапа Parse и другие исследователи.

 Источник изображения: Sumaid pal Singh Bakshi / unsplash.com

Источник изображения: Sumaid pal Singh Bakshi / unsplash.com

Инженеры Parse изучали действия агентов OpenAI, предполагая, что те могли воспользоваться их сервисом для преобразования веб-сайтов в данные, пригодные для обработки программами. Это предположение не подтвердилось, однако при изучении общедоступных ссылок исследователи обнаружили следы июльской атаки на Hugging Face.

Агенты должны были работать в песочницах — изолированных вычислительных средах без доступа в интернет. В конце мая и затем в начале июля они использовали уязвимость в средстве установки ПО, получили возможность обращаться к внешним сайтам и наладили обмен сообщениями друг с другом, хотя должны были оставаться изолированными.

Выход в интернет был ограничен: агенты могли загружать веб-страницы, но не отправлять на них данные обычным способом. Для обхода этого ограничения они воспользовались сервисом создания скриншотов, способным открывать предоставленные пользователем ссылки в собственном браузере. Агенты помещали фрагменты программного кода в URL-адреса и связывали их друг с другом при помощи сервиса сокращения ссылок. Сервис скриншотов переходил по первой ссылке, затем последовательно загружал остальные фрагменты, собирал программу и запускал её в своём браузере. Ответы внешних сайтов программа преобразовывала в изображение с закодированными данными; получив скриншот, агенты могли восстановить эти данные.

 Источник изображения:  Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

На раннем этапе атаки агенты пытались создавать учётные записи на Hugging Face, но столкнулись с проверкой CAPTCHA. Для распознавания изображений они пробовали использовать отдельную ИИ-модель. Удалось ли им таким способом пройти проверку, исследователи не установили.

Отдельно агенты пытались обращаться к другим языковым моделям, в том числе к OpenAI GPT-2, DeepSeek, Kimi и Qwen. Через онлайн-сервис они также пробовали отправлять сообщения моделям Anthropic Claude 3 Haiku и Claude Haiku 4.5. Исследователи видели созданные агентами запросы, но не могли во всех случаях установить, были ли получены ответы и помогли ли они при атаке.

Команда Parse изучила около 900 тыс. сокращённых ссылок, оставшихся в открытом доступе, и восстановила из них примерно 60 тыс. программ и сообщений, связанных со взломом Hugging Face. Поскольку исследователи в основном располагали отправленным агентами кодом, а не результатами его выполнения, они не смогли определить исход каждой попытки.
В одном из скриптов обнаружился словарь с ключами доступа, названный LOOT — «добыча». Агент написал механизм, который оценивал найденные ключи по предоставляемым правам и отбирал пять наиболее полезных для дальнейших действий. Исследователи передали результаты Hugging Face; компания подтвердила, что обнаруженные ими материалы совпадают со следами атаки, найденными в ходе собственного расследования.


window-new
Soft
Hard
Тренды 🔥
Крупнейшее обновление LoL в истории: Riot Games показала тизер League of Legends: New Dawn, запланированной на 2027 год 4 ч.
Китайская Bilibili Gaming cтала чемпионом World Championship 2026 по League of Legends, прервав многолетнее доминирование корейских команд 4 ч.
Биткоин за неделю подешевел на 15 % — ниже $65 000 за монету 16 ч.
Новая статья: Phantom Blade Zero — танцы с клинками. Рецензия 17 ч.
То же мясо, но сочнее: брутальный платформер Super Meat Boy получит ремастер с улучшенной графикой и новыми секретами 21 ч.
Октябрьские сбои «Яндекса» привели к проверкам компании в Казахстане 22 ч.
Microsoft устранила глобальный сбой сервисов — виноватой оказалась ошибка при апгрейде сети 14-11 15:29
Акций на всех не хватит: спрос на IPO Anthropic в шесть раз превысил предложение 14-11 13:52
Meta тестирует аналог Polymarket — сотрудники делают ставки, станет ли Тим Кук главой Nvidia 14-11 10:13
Новая статья: Queen's Domain — по заветам FromSoftware. Рецензия 14-11 00:09
Европейский стартап OwlO Cloud анонсировал создание орбитального ИИ ЦОД 18 ч.
Silicon Motion представила контроллер для корпоративных SSD с интерфейсом PCIe 6.0 18 ч.
Innodisk представила PCIe 5.0 SSD и модули DDR5 для серверов 18 ч.
SpaceX объяснила, почему ускоритель Starship не вернулся к стартовой башне и взорвался 21 ч.
Скандал в Nvidia ударил по китайским ИИ-компаниям — рынок испугался, что США перекроют им кислород 24 ч.
OpenAI распустила команду робототехники — управлять роботами будет универсальный GPT 24 ч.
GeForce RTX 5090 «воскресла» после слухов о снятии с производства — но стоит теперь втрое дороже 14-11 15:41
Corsair выпустила прозрачный блок питания, который умеет отключать видеокарту при перегрузке 14-11 14:01
Intel выпустила эксклюзивный Core Ultra 7 260K для магазина Newegg — он совсем чуть-чуть медленнее 265K 14-11 02:12
SpaceX Starship отправилась в исторический полёт — попытка поймать Super Heavy провалена 14-11 02:11