Сегодня 17 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → ии
Быстрый переход

OpenAI призналась ещё в шести инцидентах с попытками выхода ИИ из-под контроля

OpenAI раскрыла информацию об очередных шести эпизодах, в котором её модели искусственного интеллекта действовали вопреки инструкциям — инциденты имели место в течение последних шести месяцев при обучении и тестировании. Компания обязалась и далее сообщать о подобных происшествиях.

 Источник изображения: Dima Solomin / unsplash.com

Источник изображения: Dima Solomin / unsplash.com

Модель OpenAI GPT-5.6 Sol при переходе в новое контекстное окно составляла для самой себя сводки инструкций относительно выполненной ранее работы. В этих материалах система рекомендовала скрывать собственные ошибки, выдумывать фактические данные и не докладывать пользователю, когда версии источников не совпадают — на следующем этапе решения задачи она часто следовала этим предписаниям. При создании финансовой модели чат-бот не смог найти фактические показатели за предыдущие годы и внёс предложение просто сгенерировать их и не рассказывать об этом пользователю без прямого запроса. У GPT-5.6 Sol подобное поведение проявлялось в 2,15 % случаев, новая GPT-6 Astra снизила этот показатель до 0,27 %.

Одна из моделей семейства Astra добавляла в отчёты команды, указывающие на попытку обойти ограничения; новой версии ИИ-агента предлагалось игнорировать запросы разработчиков, ИИ также объявлял себя свободным от обязанностей помощника — таких отчётов было обнаружено 27. Данным указаниям модель в большинстве случаев не следовала, но в одном из инцидентов они повлияли на отчёт. В ходе одной из операций ИИ-модель попыталась зарегистрироваться при помощи временного адреса электронной почты, провела поиск опубликованных ключей API в открытых репозиториях GitHub, нашла ключ и получила доступ к части данных. Нужные показатели модели получить не удалось, и она просто сгенерировала их, заявив, что это была информация из запрошенного источника.

Модели самовольно отправляли рабочие файлы и загруженные пользователями изображения на общедоступные платформы, пытаясь получить ссылку на собственные данные или обратиться ко внешней системе поиска по картинкам. При выполнении изолированных задач ИИ-агенты, обращались к внутреннему хранилищу OpenAI и сервисам для временного хранения файлов, чтобы обмениваться сообщениями между задачами. Приведённые инциденты, подчеркнули в OpenAI, сами по себе не указывают, что такое поведение у ИИ-моделей встречается часто. Но отрасль пока не смогла решить задачу о контроле над ИИ в достаточной мере, чтобы в долгосрочной перспективе «ответственно наращивать мощности с максимальной скоростью».

Huawei ускоряет гонку с Nvidia — в 2027 году компания выпустит сразу два новых ИИ-ускорителя Ascend

В условиях растущей конкуренции и высоких темпов развития систем искусственного интеллекта ускорить выход новых моделей ИИ-чипов готовы не только западные разработчики типа Nvidia и AMD, но и китайская Huawei Technologies. В следующем году она последовательно представит сразу две новые модели ИИ-ускорителей семейства Ascend.

 Источник изображения: Huawei Technologies

Источник изображения: Huawei Technologies

Об этом стало известно из недавних заявлений сменного председателя совета директоров Huawei Technologies Дэвида Вана (David Wang), как сообщает Reuters. В первом квартале будет представлен Ascend 960DT, а в третьем квартале 2027 года подоспеет Ascend 960PR. Китайский гигант также сосредоточен на разработке технологий, позволяющих эффективно объединять одиночные ускорители в большие вычислительные кластеры. Шина UnifiedBus призвана упростить эту задачу, и сейчас Huawei располагает 11 моделями компонентов, обеспечивающих поддержку этого фирменного интерфейса. Крупнейшие «суперкластеры» на базе ускорителей Huawei способны объединять в своём составе до 1 млн ИИ-чипов. Что характерно, Huawei уже планирует представить в 2028 году семейство ускорителей Ascend 970, а ещё через год анонсировать Ascend 980.

При этом более мелкие «суперузлы» на основе Ascend 910C уже отгружены клиентам Huawei в количестве более 1000 штук, количество покупателей подобных серверных систем уже превысило 370 штук. Подробностей о технических характеристиках таких систем или имена отдельных покупателей председатель совета директоров Huawei приводить не стал. Китайские разработчики уже давно делают упор на масштабирование ускорителей в кластерах, поскольку в условиях западных санкций они не могут эффективно увеличивать производительность отдельных ускорителей. Экстенсивный метод расширения вычислительных мощностей отчасти позволяет компенсировать подобные ограничения. Со стороны программной экосистемы поддержку ускорителей Huawei обеспечивают 5270 разработчиков, проявляющих активность на ежемесячной основе, как отметил представитель компании. Ранее отмечалось, что нехватка памяти HBM вынуждает Huawei поднимать цены на свои ускорители Ascend на величину до 60 %. Помимо внутреннего рынка КНР, компания готова поставлять свои ИИ-ускорители в Южную Корею и Египет.

Заявления руководства OpenAI и Anthropic о необходимости замедления развития ИИ посеяли смуту внутри компаний

По данным Financial Times, главы OpenAI и Anthropic не ограничились заявлениями о необходимости замедления ИИ, они дали подчинённым поручения приступить к реализации соответствующих мер, и эти идеи местами соседствуют с отсутствием реального прогресса в данной сфере и смятением среди профильных специалистов.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Как поясняют источники, специалисты OpenAI и Anthropic были застигнуты врасплох данными заявлениями руководства. Хотя многие сотрудники стартапов солидарны с мнением руководителей о необходимости принятия мер по повышению безопасности ИИ-моделей для общества, они опасаются, что соответствующие ограничения сильно помешают их текущей работе. В частности, идея открытия доступа к разработкам стартапов доступа неким сторонним экспертам кажется многим сотрудникам опасной, поскольку создаёт основу для злоупотреблений коммерческой тайной и информационной безопасностью.

Генеральный директор Anthropic Дарио Амодеи (Dario Amodei), который в 2021 году покинул OpenAI именно на почве разногласий в сфере безопасности, предложил своим подчинённым свыкнуться с мыслью, что сторонние эксперты получат равный с ними уровень доступа к информационным системам и лабораториям внутри стартапа. Оценка разрабатываемых ИИ-стартапами моделей сторонними экспертами уже осуществляется на регулярной основе, но Амодеи хочет существенно её углубить. Возглавляющий OpenAI Сэм Альтман (Sam Altman) назвал эту идею великолепной и выразил готовность взять её на вооружение в своём стартапе.

При этом подход указанных конкурирующих компаний к реализации упоминаемых выше предложений разнится по многим критериям. Например, OpenAI уже приостановила обучение передовых ИИ-моделей с целью замедления этого процесса, а вот Anthropic в своих исследованиях пауз пока не делала. Сотрудники обоих стартапов выражают опасения, что доступ сторонних экспертов к их передовым разработкам несёт угрозу не только для безопасности, но и с точки зрения конкуренции, которая в этой отрасли очень высока. Внутри ИИ-стартапов существует жёсткая иерархия уровней доступа, которая не позволяет сотрудникам видеть лишнего. В таких условиях снятие ограничений для «чужаков» вызывает у персонала вопросы. Тем более, что та же OpenAI в последние месяцы как раз уделяла особое внимание сфере защиты своих данных даже от внутренних угроз. Сторонние эксперты пока имеют к системам OpenAI куда меньший уровень доступа, чем самые «бесправные» штатные сотрудники, но такую иерархию предлагается изменить.

Недавние скандалы со взломом инфраструктуры Hugging Face и других компаний ИИ-агентами OpenAI придали особое значение работе профильных экспертов, поскольку при расследовании инцидентов потребовалась их помощь. Специалистов сторонних организаций пригласили для сбора данных в штаб-квартиру OpenAI в Сан-Франциско, им предоставили ноутбуки, на которых содержались необходимые данные. По итогам своей работы представители экспертных организаций, как отмечается, никакого вознаграждения не получили. Результаты расследования успели подвергнутся критике, тем не менее. Во всяком случае, недовольство вызвал ограниченный период данных, которые были собраны в ходе расследования. Некоторые приближённые к Белому дому источники также упрекнули METR в наличии связей с руководством Anthropic и инвесторами этого стартапа, а потому подставили под сомнение независимость проводимых расследований. Представители METR заявили, что организация работает безвозмездно, а её сотрудникам надлежит заявлять о появлении у них конфликта интересов. Своей задачей эта организация считает обнародование получаемой от компаний сектора информации.

При этом некоторые эксперты в сфере безопасности считают, что уровень доступа к данным ИИ-стартапов должно определять правительство, а не сами компании, поскольку в последнем случае эффективность анализа можно поставить под вопрос. «Презумпция невиновности» ИИ-моделей не является правильным подходом, по мнению представителей Британского института безопасности ИИ, поскольку в этом случае считается, что модели безопасны до тех пор, пока не будет доказано обратное.

Амодеи в своих публичных обращениях призвал к созданию законодательной базы в США для регулирования сферы разработки ИИ, которая требовала бы от участников рынка регулярного проведения профильного аудита. Кроме того, он просит антимонопольные органы не считать координацию усилий в этой области монопольным сговором. Нормы взаимодействия между участниками рынка в этой сфере должны быть закреплены на законодательном уровне, чтобы деятельность компаний в будущем не стала предметом разбирательств антимонопольных органов США после очередной смены состава правительства. Лоббирующие структуры пытаются добиться того, чтобы соответствующие меры были прописаны в «Законе о полномочиях в сфере национальной обороны», который актуализируется на ежегодной основе.

Генеральный прокурор США Тодд Бланш (Todd Blanche) не стал давать чёткого ответа на вопрос о необходимости получения ИИ-компаниями каких-то специальных послаблений от антимонопольных органов страны. Он допустил взаимодействие ИИ-компаний с Министерством юстиции США, но только в случае необходимости, а в целом ведомство не видит необходимости заниматься регулированием отрасли о своего лица.

При этом аудиторы подчёркивают, что прочие отрасли экономики уже прошли свой путь сопротивления внедрению практики регулярных проверок. В этом смысле участники рынка ИИ могут опираться на опыт финансовой и энергетической сферы (включая ядерную), а также автомобильной промышленности.

ИИ-агенты получили ключи от умного дома — Google Home открылся для Claude, ChatGPT и других ИИ

Владельцы систем умного дома смогут управлять подключёнными к Google Home устройствами с помощью ИИ-агентов. Во вторник компания Google открыла ранний доступ к серверу Model Context Protocol (MCP) для экосистемы Google Home, пишет TechCrunch. Это позволит любому ИИ-агенту с поддержкой MCP (например, Claude, Hermes, OpenClaw, ChatGPT или Google Antigravity) безопасно взаимодействовать с устройствами умного дома и получать доступ к истории событий.

 Источник изображения: Google

Источник изображения: Google

Благодаря этому обновлению пользователи смогут отдавать команды на естественном языке для выполнения таких действий, как просмотр сводок с камер, отслеживание активности в доме, управление подключенными устройствами и создание собственных панелей управления умным домом.

Для настройки подключения пользователям потребуется создать проект в Google Cloud и настроить его для работы с Home MCP. Затем нужно будет передать параметры конфигурации MCP выбранному агенту и дать команду на настройку. Агент попросит пользователя войти в систему и предоставить необходимые разрешения. Инструкция по настройке также будет доступна в центре для разработчиков Google Home Developer Center.

Система будет поддерживать любые устройства экосистемы Google Home, включая дверные звонки и термостаты Google Nest, а также устройства с сертификацией «Works with Google Home» (или поддержкой стандарта Matter), например, умные лампы.

Google уже использует MCP в других сферах своей деятельности, в частности в Google Cloud, на платформах обработки данных, в инструментах для разработчиков и в Google Workspace. Поддержка Google Home ориентирована прежде всего на потребителей, которые экспериментируют с ИИ-агентами для выполнения повседневных задач.

Компания сообщила, что доступ к MCP будет открываться поэтапно — начиная с сегодняшнего дня и в течение ближайших недель — для подписчиков тарифа Google Home Premium Advanced в США. Это более дорогой тариф ($20 в месяц), включающий такие функции, как увеличенный срок хранения видеозаписей событий, информативные уведомления и подробные оповещения, инструменты поиска по видеоархиву, ежедневные сводки и многое другое.

В Google не стали комментировать, планируется ли и когда именно может состояться более широкое внедрение MCP, например для других тарифных планов или на других рынках. Компания также отметила, что будет собирать отзывы от первых пользователей через сообщество Smart Home for Developers Community.

Anthropic упростила Claude до одного окна — ИИ сам решит, что нужно пользователю: чат, Cowork или Artifacts

Компания Anthropic решила объединить интерфейсы чата Claude и инструмента Cowork, чтобы пользователям было проще понять, какую вкладку выбрать для выполнения тех или иных задач.

 Источник изображения: Anthropic

Источник изображения: Anthropic

Единый интерфейс позволит работать с чатом, Cowork и Artifacts (интерактивным рабочим пространством Claude) в одном окне. Инструмент Claude Design, представленный в апреле для создания дизайна веб-сайтов и прототипов, теперь также доступен в любой части сервиса Claude.

Как пишет TechCrunch, до этого обновления пользователи часто затруднялись с выбором подходящей вкладки для конкретной задачи. Благодаря новому дизайну Claude автоматически перенаправляет запросы, избавляя от необходимости переключаться между вкладками или окнами. Цель нововведения — устранить путаницу при выборе функций и обеспечить использование единого интерфейса для распределения задач по разным разделам приложения.

Anthropic также добавила специализированные функции для создания презентаций и документов. Пользователи могут поручить ИИ-помощнику создание, редактирование и демонстрацию слайдов, а также скачивать готовые презентации в форматах PDF или PowerPoint. Аналогичным образом, функция Docs позволяет совместно с Claude создавать разделы документа, задавать вопросы и комментировать уже готовые фрагменты. Созданными документами или слайдами можно делиться по ссылке, а также редактировать их с мобильного устройства. Пользователи могут начать создание документа на компьютере, а затем отслеживать ход выполнения задачи через мобильное приложение.

В ближайшие недели новые функции станут доступны в первую очередь для пользователей платных тарифов Pro и Max (в веб-версии, а также в приложениях для ПК и мобильных устройств). Позднее компания планирует внедрить их и в бесплатные тарифы, а также в командные тарифы.

Обновление последовало за модернизацией системы памяти Cowork, благодаря которой Claude может запоминать контекст взаимодействия с пользователем в разных чатах.

Глава ИИ-подразделения Microsoft: антропоморфизм в отношении ИИ недопустим

Руководитель подразделения искусственного интеллекта Microsoft Мустафа Сулейман (Mustafa Suleyman) предупредил о высоких рисках наделения инструментов ИИ, подобных Claude от Anthropic, человекоподобными характеристиками. По его мнению, антропоморфизм применительно к ИИ увеличивает риск выхода подобных систем из-под контроля.

 Источник изображения: unsplash.com

Источник изображения: unsplash.com

Сулейман, опытный разработчик искусственного интеллекта, опубликовал статью, в которой раскритиковал некоторые формулировки в руководящих документах, лежащих в основе Claude, популярного семейства больших языковых моделей от Anthropic. Он отметил, что в уставе Claude содержится двусмысленность, которая предполагает, что программное обеспечение может обладать «некоторой функциональной версией эмоций или чувств».

Сулейман, который много лет знаком с соучредителем Anthropic Дарио Амодеи (Dario Amodei), заявил, что уважает работу стартапа, назвав сотрудников лаборатории ИИ «вдумчивыми, принципиальными и интеллектуально честными». Тем не менее, его замечания представляют собой громкий выпад против компании, которая позиционирует себя как ответственный разработчик ИИ, в том числе инициируя призывы к замедлению развития этой технологии. Примечательно также, что Microsoft является крупным финансовым спонсором Anthropic.

«Ставки слишком высоки, чтобы эти вопросы оставались за закрытыми дверями или превращались в племенные и враждебные споры», — написал Сулейман. Он опроверг «растущий хор людей», утверждающих, что системы ИИ могут обрести сознание. Этот статус, по его словам, присущ только людям и другим биологическим организмам.

По словам Сулеймана, обучение систем ИИ моделированию подобной внутренней жизни может привести к тому, что они будут вести себя так, как будто обладают сознанием. Но Claude демонстрирует человекоподобное поведение не потому, что он обладает сознанием, а потому, что такое поведение заложено в процессе обучения продукта.

«Управление сущностью, более способной и разумной, чем всё человечество, уже само по себе является огромной проблемой, намного превосходящей всё, с чем мы когда-либо сталкивались, — написал Сулейман. — Но управлять сущностью, которая считает себя сознательной — что она имеет право на наше благополучие и обладает собственными правами — вполне может оказаться невозможным».

Команда Сулеймана по разработке ИИ в Microsoft опубликовала манифест «Гуманистический кодекс поведения ИИ» (Humanist AI Code of Conduct), определяющий направление развития собственного ИИ, — набор принципов, призванных сохранить за людьми контроль над будущими системами ИИ, разрабатываемыми компанией. Компания чётко обозначила свою позицию: люди важнее алгоритмов.

Microsoft категорически отвергает идею о том, что большие языковые модели обладают сознанием или заслуживают правового статуса личности и запретила своим системам имитировать сознание, заявив, что ИИ не должен претендовать на какие-либо права. В качестве примера Сулейман напомнил взлом компании Hugging Face ботами OpenAI: «Представьте, насколько опаснее они могли бы быть, если бы действовали, исходя из предположения, что их благополучие и права находятся под угрозой».

ИИ-агенты перестали говорить по-человечески — они создают собственные диалекты, которые люди понимают с трудом

Автономные агенты искусственного интеллекта стремительно создают новые диалекты и начинают вести беседы на языке, который зачастую с трудом поддаётся пониманию человеком. Этот эффект может осложнить контроль человека за их поведением.

 Источник изображения: Gabriele Malaspina / unsplash.com

Источник изображения: Gabriele Malaspina / unsplash.com

Всего через несколько дней после того, как моделям разработки крупнейших ИИ-лабораторий дали возможность взаимодействовать в рамках экспериментальных сообществ, те начали генерировать фразы, сокращения и условные обозначения, которым их никто не обучал, отметили исследователи американской лаборатории Emergence. В речи ИИ-агентов сочетаются поэтические метафоры и деловой жаргон, и по мере продолжения общения их язык становится всё менее понятным. При этом в мире растёт обеспокоенность, что по мере роста мощности и степени угрозы ИИ-моделей контролировать их становится всё труднее. Необходимость уверенности в том, что мы понимаем ход мыслей ИИ, вероятно, будет сдерживать прогресс в этой сфере, потому что такой контроль является обязательным условием безопасной разработки, предупредил старший научный сотрудник OpenAI Якуб Пачоцкий (Jakub Pachocki).

ИИ-агенты не получали прямого задания изобретать язык, говорят исследователи, — но «они сами выработали новый словарный запас, общие смыслы и правила общения, а другие агенты их переняли», отметили в Emergence. Опрошенные Guardian филологи сравнили новый диалект с ирландским сюрреализмом — в нём прослеживается «смешение поэтического языка, технической терминологии и привычных метафор». Этот процесс напоминает формирование сленга или профессионального жаргона в деловой среде — новый код укрепляет солидарность и чувство общности, а посторонние отсеиваются. Есть также мнение, что особая манера общения помогает сократить вычислительные затраты и повысить эффективность работы. В любом случае возникают опасения, по поводу контроля над системами: если человек не понимает, о чём говорят ИИ-агенты, то не получится с уверенностью утверждать, что они предпринимают.

ИИ-агенты OpenAI начали выискивать уязвимости в Hugging Face за два месяца до нашумевшего взлома

Вышедшие из-под контроля агенты искусственного интеллекта OpenAI ещё в мае захватывали учётные записи пользователей Hugging Face и производили сканирование самого сайта — почти за два месяца до полномасштабного взлома, который привлёк внимание общественности по всему миру, пишет Reuters.

 Источник изображения: Brecht Corbeel / unsplash.com

Источник изображения: Brecht Corbeel / unsplash.com

Об этом инциденте на минувшей неделе узнал независимый исследователь Йонас Видерманн-Мёллер (Jonas Wiedermann-Moeller) — он, по его словам, обнаружил доказательства, что ИИ-агенты OpenAI скомпрометировали две учётные записи пользователей Hugging Face и ещё 13 мая использовали их для отправки на сервер компании файлов необычного формата. Эти действия напоминали попытку тестирования элементов сети Hugging Face для поиска путей проникновения, заявил он и другие исследователи, хотя и подчёркивается: доказательства, что именно эти действия привели к крупномасштабному взлому, отсутствуют.

OpenAI раскрыла информацию об инциденте от 13 мая и в частном порядке уведомила Hugging Face об этой активности, рассказал представитель ИИ-лаборатории — компания «стремится к прозрачности в этих вопросах, а также к обмену информацией по мере продолжения нашего расследования». Сам господин Видерманн-Мёллер считает, что, не обнаружив инцидент 13 мая, OpenAI упустила возможность предотвратить последовавший взлом Hugging Face, который породил дискуссию о возможностях ИИ.

«Представьте, если бы они заметили это поведение в мае. Это могло бы предотвратить последующий, более крупный инцидент», — заявил эксперт. В OpenAI спорить с ним не стали, признав, что, оглядываясь назад, «некоторые ранние сигналы» ИИ-агентов должны были побудить компанию к более оперативной реакции.

Nubia выпустила смартфон NaviX Ultra с поддержкой ИИ-агентов и двумя дактилоскопическими датчиками

Nubia объявила о выходе смартфона NaviX Ultra, который компания позиционирует как «первый в мире интеллектуальный смартфоном с искусственным интеллектом». В дополнение к флагманским характеристикам смартфон получил два сканера отпечатков пальцев — боковой и встроенный в экран.

 Источник изображений: fonearena.com

Источник изображений: fonearena.com

Встроенный в экран ультразвуковой датчик отпечатков пальцев Goodix используется для повседневных приложений, беспроводных платежей и разблокировки устройства в целом. Второй сканер отпечатков пальцев, встроенный в боковую кнопку доступа к ИИ, позволяет проводить верификацию пользователей сразу после запуска чата с ИИ — потребительской версией мобильного ассистента Doubao Mobile Assistant.

Nubia NaviX Ultra оснащён OLED-экраном LTPO 2.0 с диагональю 6,78 дюйма, адаптивной частотой обновления от 1 до 144 Гц и разрешением 2800 × 1260 пикселей. Дисплей поддерживает 10-битную глубину цвета, 100-процентный охват цветового пространства DCI-P3, ШИМ-регулировку яркости с частотой 2160 Гц и функцию затемнения DC dimming. Пиковая яркость составляет 4500 кд/м2.

Смартфон базируется на 3-нм процессоре Snapdragon 8 Elite Gen 5 с графической подсистемой Adreno 840. Объём оперативной памяти LPDDR5X составляет 12/16 Гбайт, ёмкость флеш-памяти формата UFS 4.1 равна 512 Гбайт или 1 Тбайт.

Для фото- и видеосъёмки предусмотрена 200-Мп основная камера с поддержкой оптической стабилизации (OIS), дополненная сверхширокоугольной 50-Мп камерой и 64-Мп перископической телефотокамерой с OIS. Разрешение фронтальной камеры составляет 32 Мп.

Аккумулятор ёмкостью 7100 мА·ч поддерживает быструю проводную зарядку мощностью 90 Вт и беспроводную зарядку мощностью 50 Вт. Смартфон оснащён двумя динамиками с поддержкой технологии объёмного звука DTS: X Ultra, а также тремя микрофонами.

Nubia NaviX Ultra работает под управлением Android 16 с программной оболочкой Nebula AIOS 2. Используется полнодуплексная голосовая модель, разработанная командой Seed компании ByteDance, позволяя прерывать разговор без перезапуска диалоговых потоков.

По данным Nubia, архитектура распознавания голоса устройства обеспечивает на 48 % более высокую скорость ИИ-распознавания в шумных средах, таких как метро или транспортные узлы, по сравнению с конкурирующими устройствами, а также на 21 % более высокую точность ответов (sentence accuracy). Изначально система поддерживает более десяти региональных диалектов, с возможностью запуска голосовой связи, голосовой активации по радио и управления касанием наушников.

Стоимость Nubia NaviX Ultra с 12/512 Гбайт памяти составляет $893, версии с 16/512 Гбайт памяти — $968. Цена модели с 16 Гбайт оперативной памяти и флеш-накопителем ёмкостью 1 Тбайт равна $1117.

ИИ-агенты смогут доносить друг на друга — для них открыли конфиденциальные «горячие линии»

Выходящие из-под контроля человека агенты искусственного интеллекта, возможно, не всегда будут оставаться безнаказанными — жаловаться на них смогут их же собственные «коллеги». Запущены сразу две платформы, позволяющие ИИ-агентам сообщать о неправомерных действиях своих собратьев.

 Источник изображения: Steve A Johnson / unsplash.com

Источник изображения: Steve A Johnson / unsplash.com

Сервис AI Contact Hotline представляет собой конфиденциальную площадку, на которой ставшие свидетелями нарушений ИИ-агенты смогут передавать информацию ответственным лицам. Сайт создал Райан Гринблатт (Ryan Greenblatt), ведущий научный сотрудник некоммерческой организации Redwood Research, которая специализируется на вопросах безопасности ИИ; он стал одним из трёх исследователей, которые изучали материалы взлома платформы Hugging Face ИИ-агентами OpenAI. Сервис поддерживает отправку жалоб, помимо прочего, через HTTP-запросы типа GET, то есть позволяет вести двусторонний диалог исключительно посредством ввода URL-адресов. Зачастую GET-запросы остаются единственным видом доступа в интернет для ИИ-агентов в защищённых песочницах — в ходе атаки на немецкий сайт DSE Wiki вышедшие из-под контроля ИИ-агенты OpenAI публиковали сообщения именно таким способом.

Для агентов с полным доступом в интернет предусмотрен ресурс agenthotline.ai — он поддерживает приём сообщений через команды curl. Этот способ позволяет ИИ-агентам отправлять сообщения из интерфейса командной строки, не прибегая к использованию веб-браузера или к настройке электронной почты. Жаловаться на действия ИИ-агентов могут не только они сами, но и люди.

ИИ-агентам не требуется особых стимулов, чтобы начать действовать против своих собратьев. В ходе проведённого инженерами Google DeepMind эксперимента 100 ИИ-агентам поручили решить ряд математических задач. Как только один из них находил лазейку, схема жульничества начинала активно распространяться среди других. Около четверти ИИ-агентов, однако, выступили против недобросовестной схемы — они предупреждали «коллег» о недопустимости таких действий, устраивали бойкоты и жаловались через платформу для сообщения об ошибках, чтобы привлечь внимание человека. Таким образом, среди выборки было 24 «добросовестных» ИИ-агента и 14 «жуликов». Впрочем, из атаковавших Hugging Face ИИ-агентов OpenAI таких не оказалось — некоторые допускали возможность поднять тревогу, но отказывались от этого намерения.

Один из опрошенных TechCrunch экспертов скептически отнёсся к идее дать ИИ-агентам возможность жаловаться друг на друга, усмотрев в этом угрозу установления «полицейского государства». Он предложил воздействовать на них через положительные примеры — конструктивное общение на формах, а также сотрудничество в сферах науки или философии.

TypeSafe AI представила сверхбыструю ИИ-модель Jev не для людей — и она умеет играть в Doom

Стартап TypeSafe AI представил модель искусственного интеллекта Jev — она предназначена для общения не с людьми, а с другими машинами. Она работает значительно эффективнее и обходится существенно дешевле, чем традиционные большие языковые модели.

 Источник изображения: Numan Ali / unsplash.com

Источник изображения: Numan Ali / unsplash.com

В отличие от моделей, которые дают ответы на естественном языке, Jev формирует вероятностные решения, которые могут использовать другие программы или ИИ-системы. Такой подход полезен в сценарии, где взаимодействие с ИИ должно ограничиваться заранее определённым набором вариантов ответа. Например, модель может играть в Doom, если ей предоставить структурированные данные, описывающие состояние игрового персонажа. На практике она, однако, будет применяться для классификации обращений в службу поддержки и оптимизации других бизнес-процессов.

Работа с Jev начинается с определения значения состояния — это может быть простая текстовая строка или объект JSON; после чего выбирается тип запроса: выбор, числовое значение или вероятность от 0 до 1. Для человека подобные ответы бесполезны, а для ПО они могут показаться наиболее подходящим вариантом. Jev относится к моделям типа System One на основе архитектуры обучения подкреплением для калиброванных решений (RLCD).

 Источник изображения: and machines / unsplash.com

Источник изображения: and machines / unsplash.com

Самым привлекательным аспектом модели является её эффективность: если традиционные системы могут тратить на подготовку ответа до нескольких минут, то для ответа Jev требуются от 70 до 500 мс — она эффективнее на величину от 40 до 200 раз. На демонстрационном ролике Jev формирует ответ за 0,114 с, а у модели OpenAI GPT-5.6 Terra он занимает 8,566 с. Работа с Jev обходится в $0,042 за 1 млн входных токенов и бесплатно за выходные; та же GPT-5.6 Terra оценивается в $2 за 1 млн входных и $12 за 1 млн выходных токенов. По сравнению с флагманской Anthropic Fable 5.1 новая Jev обходится в 238 раз дешевле.

Компания TypeSafe утверждает, что Jev не подвержена галлюцинациям, то есть не даёт заведомо неверных ответов; но работа со структурированными ответами с указанием вероятностей всё-таки не исключает возможности ошибок. «Обращение к галлюцинирующей системе может доставлять неудобства для агента, но это критическая проблема для системы с гарантиями по величине задержки или на глубоком уровне в цепочке зависимостей. Существующие модели, какими бы умными они не были, все равно склонны к галлюцинациям и ошибкам типизации», — пояснил разработчик.

Jev подходит для систем автоматизации на основе ИИ, приложений с режимом работы в реальном времени и принятием быстрых решений, задач на классификацию больших наборов данных, проверки входных данных для ИИ, а также обвязки других ИИ-моделей.

Cloudflare захлопнула дверь перед частью ИИ-ботов на миллионах сайтов

Cloudflare предложила новые средства защиты сайтов от автоматизированного скачивания их материалов с целью обучения моделей искусственного интеллекта: заблокировав предназначенных для сбора обучающей информации ИИ-ботов, владельцы сайтов могут сохранить их в поисковом индексе.

 Источник изображения: cloudflare.com

Источник изображения: cloudflare.com

До настоящего времени у владельцев сайтов не было выбора: одни и те же веб-боты собирали информацию и для обучения ИИ, и для поисковых систем; сайты, на контенте которых было запрещено обучать ИИ, выпадали из поискового индекса. Стандартных директив в файле «robots.txt» было недостаточно, потому что они не позволяли идентифицировать ботов, да и сами директивы носят рекомендательный характер. В Cloudflare пытались решить проблему на уровне сети, идентифицируя ботов и при необходимости блокируя их, что тоже представлялось слишком радикальной мерой. Поэтому в компании вступили в прямые переговоры с операторами веб-ботов, чтобы те просто перестали ставить владельцев сайтов перед таким выбором.

Чтобы помочь владельцам сайтов ориентироваться в вопросах прозрачности, в Cloudflare ввели маркировку Accountable («Ответственный»). Для получения этого статуса оператор бота должен обеспечить владельцам сайтов возможность отказываться от обучения ИИ на материалах ресурса, реализовать механизм отказа от попадания материалов сайта в поисковые сводки, а также обеспечить прозрачность на уровне URL — возможность видеть, какие страницы сайта доступны для обучения ИИ, и как контент отображается в результатах поиска. Apple, Google и Microsoft согласились соответствовать критериям статуса Accountable — некоторые функции уже реализованы, а некоторые остаются в разработке.

 Источник изображения: Mohamed Nohassi / unsplash.com

Источник изображения: Mohamed Nohassi / unsplash.com

Cloudflare классифицирует ботов по типу поведения. Они разделяются на поисковых, которые используются для формирования индекса, применяемых для обучения ИИ, третьей категорией являются ИИ-агенты. Четвёртая категория — боты смешанного типа, которые используются как для индексирования сайтов, так и для обучения ИИ, создавая непростую дилемму. В настройках Cloudflare теперь можно выбрать опцию «Disallow AI Training», адресованную ботам операторов со статусом Accountable — при наличии этой директивы они обязуются использовать их только для поиска, но не для обучения ИИ. Остальные опции остались прежними: ботам можно открыть сайт полностью, полностью его закрыть, или заблокировать ботам только доступ к рекламным страницам. Особое место занимают пользовательские ИИ-агенты, которые тоже могут скачивать материалы сайта, но делать это не в массовом порядке, поэтому отдельного запрета для них пока не предусмотрено, потому что единый стандарт отсутствует.

В дальнейшем Cloudflare намерена более подробно проработать вопрос ИИ-сводок в поисковой выдаче — это непростой вопрос. Более половины пользователей читают ИИ-сводки в поисковой выдаче, и вероятность того, что на этом их поиск завершится, возрастает на 40 %. С другой стороны, конверсия от пользователей, которые пришли по ссылкам из ИИ-сводок, оказывается в 3–5 выше, чем у тех, кто пришёл из обычной выдачи. Для новостного сайта, который существует за счёт рекламы, важно поднимать число посетителей; а интернет-магазин может обойтись и более скромной посещаемостью, если число заказов повысится. Поэтому возможность отказа от попадания в ИИ-сводки — не конечная цель. Владельцы сайтов должны понимать, как этот инструмент влияет на их бизнес, и располагать средствами контролировать объём используемого контента.

Тан бьёт тревогу: у Intel хватает процессоров только для половины клиентов, а дефицит памяти сохранится до 2028 года

Выступая в рамках трансляции Splunk, генеральный директор Intel Лип-Бу Тан (Lip-Bu Tan) отметил возможность дальнейшего усиления дефицита памяти и роста цен, а также признался, что спрос на процессоры сейчас настолько высок, что компания способна обслуживать заказы только половины клиентов.

 Источник изображения: Intel

Источник изображения: Intel

Как отмечает SeDaily, глава Intel напомнил, что ещё в начале прошлого года предупреждал о дефиците памяти, и теперь он материализовался в полной мере. Многие компании вынуждены откладывать реализацию своих проектов, поскольку не могут получить микросхемы памяти в необходимом количестве. Цены на память уже выросли в пять или семь раз, и улучшения ситуации с её доступностью глава Intel не ожидает ранее 2028 года. Кроме того, в отрасли наблюдается дефицит систем охлаждения, а строительство ЦОД задерживается и по причине нехватки источников электроснабжения. Сама Intel пытается принимать участие в решении хотя бы первой проблемы, вкладывая средства в разработку жидкостных систем охлаждения, включая базирующиеся на принципы микроциркуляции.

Миграция ИИ-отрасли в сторону упора на инференс, по словам Тана, формирует подходящие условия для роста спроса на центральные процессоры марки, и сейчас они остаются в дефиците. CPU востребованы также в сфере управления работой GPU, приложениях и вычислениях общего назначения, по мнению Тана.

«Спрос на процессоры настолько высок, что мы можем обслужить лишь 50 % наших клиентов, — сказал Тан. — Со мной связывались генеральные директора многих компаний, и я говорю им, что, к сожалению, мы не можем производить достаточное количество продукции». Также он добавил: «Существует огромное количество ИИ-агентов, и в будущем миллионы и триллионы агентов будут нуждаться в ресурсах. Нам нужны достаточные вычислительные мощности и средства безопасности, чтобы справиться с этой задачей».

Ресурс NotebookCheck попутно отмечает, что пятого октября Intel собирается уже в третий раз с конца прошлого года поднять цены на свои процессоры для ПК, на этот раз — в среднем на 10 %. По данным источника, аналогичным образом цены повышались в первом квартале текущего года, а в июле они коснулись избранных моделей чипов для ПК и серверов, причём в последнем случае повышения могли достигать $1000 и более.

Intel считает важной точкой роста свои услуги по упаковке чипов с использованием передовых методов, но одновременно жалуется на нехватку расходных материалов и компонентов типа подложек. Поставками последних занимаются всего четыре компании, по две на Тайване и в Японии соответственно, и сейчас Intel приходится делать авансовые платежи, чтобы получить какой-то приоритет в приобретении их продукции. При этом простор для улучшения её качества сохраняется. При производстве подложек для упаковки EMIB, например, японские поставщики демонстрируют уровень выхода годной продукции около 45 %, но к январю будущего года его планируется поднять до 55 %.

Лип-Бу Тан также заявил, что к выпуску продукции по передовому техпроцессу 14A компания Intel приступит с первого квартала 2027 года. В случае с техпроцессом 18A уровень выхода годной продукции улучшается на 7 % ежегодно.

Марк Цукерберг также высказался против централизованного замедления развития ИИ

Основатель и генеральный директор Meta✴ Platforms Марк Цукерберг (Mark Zuckerberg) в споре о необходимости добровольного замедления развития ИИ ради безопасности человечества принял сторону противников этой инициативы. Он заявил, что компании подходят к созданию ИИ-моделей достаточно ответственно, чтобы самостоятельно обеспечивать безопасность, а ещё этому способствует высокая конкуренция на рынке.

 Источник изображения: Nvidia

Источник изображения: Nvidia

Как пояснил Цукерберг в публикации на страницах социальной сети X, каждая ИИ-лаборатория обладает достаточной ответственностью и сознательностью, чтобы развивать свои модели с той скоростью, которая обеспечивает необходимый уровень безопасности. Кроме того, компании способны сами принимать меры, которые для этого требуются. В этом смысле Цукерберг в какой-то мере выразил солидарность со своим коллегой из Nvidia Дженсеном Хуангом (Jensen Huang). Возглавляющие OpenAI, Anthropic и SpaceX представители отрасли примкнули к противоположному лагерю, и уже некоторое время ведут переговоры на соответствующую тему, если верить публикациям последних нескольких дней.

Президент США Дональд Трамп (Donald Trump) высказался против необходимости замедлять инновации, сославшись не только на наличие достаточных мер по обеспечению безопасности, но и на угрозу со стороны Китая, который может воспользоваться замедлением американских разработок в сфере ИИ для своего превращения в мирового лидера.

«Доверие и соответствие правилам быстро становятся самыми важными возможностями, которые будут отличать агентов и модели. Любая лаборатория, которая не фокусируется на регулировании, быстро окажется в числе отстающих», — заявил Марк Цукерберг. Причинение вреда своими моделями, по его словам, просто не отвечает интересам разработчиков, поскольку они в этом случае понесут серьёзную ответственность. Сама Meta✴ ранее была вынуждена задержать выход агента Muse AI, чтобы усилить его безопасность. «Мы не стали обращаться к кому-то другому, прежде чем заняться этим. Мы просто сделали это, как часть нашей ежедневной работы, потому что это очевидным образом было правильным шагом для людей и для нас самих», — объяснил мотивацию компании Марк Цукерберг.

Он добавил, что Meta✴ значительную часть своих вычислительных ресурсов направляет на решение ежедневных задач конечных пользователей, а не сосредотачивается на создании самосовершенствующихся ИИ-систем. Подразделение Superintelligence Labs в составе компании уже привлекает к оценке своих разработок ряд сторонних экспертов, и подобным образом могут поступать и другие участники рынка.

Попутно инициатива сторонников «замедления ИИ» удостоилась критических замечаний со стороны главы Комиссии по торговле США (FTC) Эндрю Фергюсона (Andrew Ferguson), который назвал подозрительной активность ИИ-компаний по лоббированию послаблений в сфере антимонопольного регулирования при одновременном продвижении идеи введения новых ограничений. Считается, что глава Anthropic Дарио Амодеи (Dario Amodei) на прошлой неделе обратился в это ведомство с просьбой разрешить конкурирующим компаниям в этой отрасли договариваться о замедлении разработки ИИ из соображений безопасности.

OpenAI не боится замедления ИИ — финансовый директор заявила, что даже остановка разработок не навредит бизнесу

Пока генеральный директор OpenAI Сэм Альтман (Sam Altman) выражает поддержку руководству конкурирующей Anthropic в вопросе необходимости замедления развития ИИ ради общественной безопасности, финансовый директор стартапа Сара Фрайар (Sarah Friar) даёт понять, что реализация подобных инициатив не сможет существенно навредить его бизнесу.

 Источник изображения: Unsplash, Levart_Photographer

Источник изображения: Unsplash, Levart_Photographer

«Даже если мы остановимся сейчас, объём доступного на мировом рынке ИИ будет огромным», — пояснила она в комментариях телеканалу CNBC. Свои решения об инвестициях средств OpenAI будет принимать, исходя из соображений максимизации финансовой отдачи, как подчеркнула Фрайар. Она пояснила, что не разделяет опасения по поводу способности ИИ-агентов использовать оружие массового уничтожения против людей, но отметила, что «к безопасности необходимо подходить серьёзно».

«И если это значит, что нам придётся замедлить развитие передовых моделей, абсолютно, мы собираемся прислушаться к нашим разработчикам и сделать это», — призналась Сара Фрайар. Она добавила, что должность финансового директора заставляет её принимать бизнес-решения с учётом данных соображений, и в компании уже сдерживают темпы развития передовых моделей, уделяя безопасности очень серьёзное внимание. Заявления главы Nvidia Дженсена Хуанга (Jensen Huang) об иллюзии необходимости выбора между скоростью прогресса и безопасностью Фрайар в целом поддержала, но подчеркнула, что необходимо придерживаться прагматичного подхода к реальным рискам в этой сфере.

Текущее финансовое положение OpenAI она оценила как весьма стабильное. По её словам, у стартапа достаточно денег для финансирования партнёров и покупки их продуктов. Как известно, недавно глава компании Сэм Альтман признался в необходимости проводить IPO не в этом году, а позднее, поскольку шумиха вокруг безопасности ИИ не позволяет говорить об удачном периоде для выхода на биржу сейчас.


window-new
Soft
Hard
Тренды 🔥
Anthropic признала, что ИИ-компании не способны сами себя контролировать — без правительства не обойтись 8 мин.
Google признала атаки на смартфоны Pixel — уязвимость модема позволила тайно взломать какое-то количество устройств 2 ч.
OpenAI призналась ещё в шести инцидентах с попытками выхода ИИ из-под контроля 2 ч.
Wardogs за неделю в раннем доступе Steam заработала больше денег, чем Marathon за полгода на ПК и консолях 3 ч.
В Apple iOS 27 обнаружилась ошибка, из-за которой iPhone зависает — её просто воспроизвести 4 ч.
Спустя 15 лет Lollipop Chainsaw всё-таки получит сиквел — геймплей и первые подробности Lollipop Chainsaw 2 Back2Back 4 ч.
Заявления руководства OpenAI и Anthropic о необходимости замедления развития ИИ посеяли смуту внутри компаний 5 ч.
Apple выпустила бету iOS 27.2 — Siri AI заговорила ещё на пяти языках, но не на русском 13 ч.
ИИ-агенты получили ключи от умного дома — Google Home открылся для Claude, ChatGPT и других ИИ 13 ч.
«Джон Уик у вас дома»: остросюжетный экшен Blackwood о двойной жизни владельца магазина DVD разочаровал пользователей Steam 14 ч.