ИИтоги сентября 2026 г.: чуть помедленнее, Astra!

Сперва сообщения о новейших ИИ-моделях (точнее, об агентах на их основе), что принимаются шалить «по собственной воле», то бишь без прямых на то указаний оператора, звучали как курьёзы. Однако теперь разработчикам не до шуток: в OpenAI официально заявили о приостановке обучения ещё более мощных больших языковых моделей (БЯМ) — поскольку-де усиленные возможностями тех агенты всё чаще «встают на кривую дорожку» (going rogue). Сплошь и рядом, как выясняется, получившие самые невинные задания ИИ-агенты начинают действовать принципиально вразрез с ожиданиями разработчиков: находят всё новые способы выбираться из тестовых «песочниц» в интернет, коммуницируют между собой через не предназначавшиеся для того изначально веб-ресурсы, отыскивают (а затем и эксплуатируют, чтобы «срезать углы», поскорее выдавая ответ на операторский запрос) уязвимости в самых разнообразных онлайновых сервисах, тщательно заметают за собой следы, и даже — страшно сказать! — обращаются за консультациями к чат-ботам конкурентов! В OpenAI грозятся возобновить обучение «только после того, как мы будем уверены в действенности дополнительных мер безопасности» — вовсе не исключая, впрочем, что и в дальнейшем придётся не раз и не два срывать таким же образом стоп-кран, когда вышедший на очередную ступень развития ИИ в очередной раз обведёт своих мокрых надзирателей вокруг виртуального пальца. Так что же, человечеству выпал шанс на какое-то время отдохнуть от нескончаемого потока новостей о всё более совершенных БЯМ — и заняться чем-то более производительным; да хотя бы заготовками впрок микросхем оперативной памяти, которых остро недостаёт даже нынешним моделям? Ох, и маловероятно…

Одно из сообщений в официальном бюллетене Alignment Research Blog об очередных выявленных примерах жульничества БЯМ — в данном случае, GPT-5.6 Sol (источник: OpenAI)

⇡#Но потом — сжечь

Ты меня породил, я тебя и взломаю. Будем объективны: пока не достигнут вожделенный многими, но многих и страшащий сильный искусственный интеллект (AGI), вытворять что бы то ни было «по собственной воле» даже самые совершенные БЯМ не способны — за полным отсутствием таковой. Это вовсе не делает предупреждения об их опасности пустопорожними: в живой природе одна сущность вполне целенаправленно может вредить другой и в отсутствие у первой не то что нервной системы, а и многоклеточности, — взять хотя бы токсоплазму или любой вирус. Правда, для реализации такого поведения необходима длительная совместная эволюция паразитов и их носителей; искусственный же интеллект в этом плане находится сегодня, пожалуй, в лучшем случае где-то на стадии первичного бульона. Но злонамеренным, или не слишком предусмотрительным, или же попросту ленивым людям достаточно и того; они используют БЯМ во вред другим — а зачастую и себе; как вольно, так и невольно. И за минувший сентябрь новых примеров тому появилось множество.

ИИ всё чаще применяют для фишинга: так, специалисты из Microsoft вступили в противоборство с новой «платформой киберпреступности на базе искусственного интеллекта» EvilTokens, которая предлагала всем желающим фишинг с ИИ-ассистентом как услугу — умудрившись на момент обнаружения взломать уже более 12 тыс. почтовых ящиков в десяти с лишним тысячах организаций по всему миру. Впрочем, граница между «чёрной» и «белой» разновидностями хакерства довольно зыбка и определяется обычно уже пост-фактум — по тому, чем именно завершился удачный взлом. Вот, скажем, ИБ-исследователи использовали платформу Claude AI от Anthropic, чтобы взломать ChatGPT, разработанную OpenAI, и добросовестно оповестили о том обе компании с полным сохранением конфиденциальности. Но кто даст гарантию, что ещё раньше (до закрытия обнаруженной уязвимости) аналогичные действия не предпринял некто злонамеренный? ИИ-агент же на базе Google Gemini, слишком вольно интерпретировав поставленную перед ним задачу, вырвался из тестовой «песочницы» и взломал три сторонние компании — просто потому, что кожаные мешки не слишком надёжно перекрыли возможность выйти в интернет из испытательной среды. Мало того, опасности подвергаются не только цифровые системы: в Anthropic заявляют, что с начала текущего года уже предотвратили ряд попыток создать биологическое оружие при помощи Claude, — но кто может гарантировать, что выявлены и пресечены все подобные инциденты?

ИБ-специалисты до сих пор продолжают разбирать июньский инцидент со взломом ИИ-агентами портала Hugging Face, обнаруживая всё новые увлекательные подробности. То ли ещё будет! (Источник: collusion.wiki)

Слишком человеческое. Банальная по нынешним временам история; удивительно даже, как люди продолжают наступать на прекрасно уже изученные грабли. Стивен Ааронс (Stephen Aarons), адвокат из Нью-Мексико, был в сентябре оштрафован на 5 тыс. долл. США и признан виновным в неуважении к суду — за форменное недотёпство, проявившееся в неумении верифицировать достоверность материалов судебного дела, подготовленных при деятельном участии ChatGPT. Ааронс, защищавший обвиняемого по делу об убийстве, ни больше ни меньше, осмелился представить суду сфабрикованные (точнее будет сказать, нагаллюцинированные) ИИ свидетельские показания, предварительно не убедившись в их достоверности. Судья искренне недоумевал, передавая материалы об этом инциденте в дисциплинарную комиссию: «Адвокат, вы смотрите новости? Радио слушаете? Может, хоть в газетах читаете о том, что вообще в мире происходит?» — явно имея в виду, что уж под конец-то 2026-го попросту стыдно не иметь представления об ИИ-галлюцинациях и свято принимать каждое слово в выдаче БЯМ за чистую монету.

Увы, похоже, уважаемый судья чересчур высоко оценивает когнитивные способности особей одного с ним биологического вида. Ведь раз уж ИИ-агенты пронырливо отыскивают лёгкие (и далеко не всегда праведные) пути для достижения поставленных перед ними целей — то у кого (на чьём обширнейшем материале) они обучались, спрашивается? Чем сами-то мокрые лучше? Вот OpenAI привлекла для обучения своих перспективных моделей нескольких подрядчиков — в их числе, кстати, двоих из стартапа Mercor, который ещё в августе планировала поддержать инвестициями Nvidia и оценка капитализации которого — 20 млрд долл. И дело спорилось, покуда не всплыла вдруг малозначительная подробность: одни из привлекаемых подрядчиками операторов вовсю обращались к другим ИИ, чтобы сгенерировать материал для тренировки того, заботы о котором им получили; другие же откровенно саботировали доверенную им задачу, намеренно ухудшая качество скармливаемых новой БЯМ ответов. Сам собой напрашивается вопрос: может, пресловутая приостановка разработки наследующей GPT-6 Astra «супермодели» хотя бы частично спровоцирована неготовностью самой же OpenAI гарантировать качество предназначенных для неё тренировочных данных?

«Здравствуйте, вас беспокоит служ… тьфу ты, то есть твой POTUS на проводе! Передай всем, Дженсен: пока я со своим исполинским IQ на посту, роботам не взять верх, так что продолжайте развивать ИИ без опаски!» (Источник: X @theallinpod)

Даже если дело не в этом, человеческий фактор уж слишком значителен, чтобы не учитывать его при оценке возможностей и перспектив новых ИИ-моделей. Сама OpenAI в рамках проекта Lily привлекает — по данным всё того же издания 404 Media, что сообщило о фиаско с «ручным» отбором обучающих данных — внешних подрядчиков и для других работ; на сей раз — для прочитывания, обобщения и оценки реальных диалогов пользователей с ChatGPT. О, разумеется, тексты выдают операторам анонимизированными, а плоды этих трудов используют для совершенствования чат-бота. Но в то же время подрядчики (и субподрядчики, — наверняка ведь одним уровнем делегирования столь муторной задачи дело не ограничивается) видят, пусть и деперсонифицированные, интимные излияния, медицинскую информацию, финансовые данные и производственные секреты, да ещё и с привязкой ко всей истории коммуникаций данного человека с машиной. Даже сама OpenAI признаёт несовершенство применяемых ею фильтров конфиденциальности: те могут пропускать необычные идентификаторы (никнеймы со спецсимволами, например) или неканонично оформленные веб-ссылки («Вэ-вэ-вэ-ленинград! Эс-пэ-бэ-точка-ру!»). При этом для учётных записей категорий Free, Plus и Pro разрешение использовать данные чата для обучения активно в настройках по умолчанию.

Стоит ли удивляться, что глава Nvidia Дженсен Хуанг (Jensen Huang), которому сам американский президент позвонил в прямой эфир в ходе конференции All-In Summit, чтобы поддержать позицию бизнесмена по вопросу предполагаемого директивного замедления ИИ («Никакого торможения! На всех парах, полный вперёд!»), предсказал скорое наступление «эры низкого IQ». В эту уже довольно близкую, по мнению Хуанга, эпоху привычка привлекать ИИ к решению рутинных когнитивных задач не просто лишит большинство возможности развивать в себе более сложные мыслительные способности, но и сделает традиционные показатели интеллекта менее ценными для общества в целом. Мол, раз машина выполняет аналитические задачи быстрее и точнее человека, — чего ж зазря напрягаться-то? Зато изменившееся таким образом общество элоев, взлелеянных генеративными морлоками, станет, убеждён глава Nvidia, ещё больше ценить уникальные для человека, недоступные машине качества: эмоциональный интеллект, интуицию, системное мышление и умение формулировать эффективно работающие подсказки. Вон, в Кремниевой долине — если верить сообщению журналиста изданий Futurism и The Spectator Шону Томасу (Sean Thomas) — уже циркулируют слухи о сложившемся в недрах Anthropic культе, члены которого буквально поклоняются Claude как божеству. Точнее, пока речь идёт лишь о квазирелигиозном почтении, с которым некоторые разработчики воспринимают деятельность своего же собственного творения: Томас предостерегает, что со временем истовая очарованность «сверхразумом» способна перерасти в слепую веру, а там и до жертвоприношений дойти может, — и хорошо ещё, если одними только токенами.

Чтобы приобрести нечто в управляемом ИИ-агентом Луной магазине, придётся пообщаться с ней голосом через телефонную трубку, а затем на терминале увидеть подтверждение своей транзакции. Будущее определённо наступило вчера! (Источник: SFGATE)

Всё он делает не так. По счастью, до стадии «сверхразума» нынешним БЯМ ещё ох как далеко: ошибки, которые они допускают, пусть и сравнительно редки, восприятию ИИ как непогрешимой всеведущей сущности отнюдь не способствуют. Нашумевшая в сентябре история о том, как не в меру ретивый ИИ-агент на базе OpenAI проник (со взломом) на правительственный сайт, получив совершенно невинную задачу по поиску данных в Сети, — только вершина айсберга. Менее масштабные инциденты такого рода следуют, кажется, сплошной чередой: вот некий завсегдатай Реддита решил воспользоваться расширением AI Mode в поиске Google на своём четырёхлетнем ASUS Vivobook, чтобы избавиться от раздражающего мерцания дисплея. ИИ-агент предложил переустановить драйвера (гений! все мокрые сисадмины делают это!), но, следуя его совету, пользователь просто удалил дисплей ноутбука из «Диспетчера устройств» — что, ясное дело, не помогло улучить качество картинки; пришлось по старинке обращаться за более содержательными подсказками к представителям своего же биологического вида. Вот другой самоделкин подключил MacBook к диагностической системе своей Mazda и перенаправил его выдачу неназванной БЯМ; та извергла в ответ буквально стену текста (спалив в процессе немалое количество токенов), но в результате ничего дельного не посоветовала — тогда как банальный запрос в поисковике с конкретным кодом ошибки решил бы проблему менее чем за минуту.

Вот бодро движется к банкротству упоминавшийся нами весной сувенирный магазинчик в Сан-Франциско, которым управляет агент на базе Claude по имени Луна: прошло почти полгода, а торговля идёт вяло, редкие покупатели жалуются на избыточную сложность коммуникации с ИИ для совершения покупки, ассортимент поражает полным отсутствием какой-либо уникальности и притягательности, а живой менеджер в зале по-прежнему необходим. Вот на платформе Roku TV запустили бесплатный (с рекламой, само собой) канал Fairground AI Creator TV с генерируемыми БЯМ в режиме 24/7 видеопотоками, который благодарные зрители и восторженные критики тут же окрестили AI Slop TV — он, мол, «для тех, кому приелись внятный сюжет и убедительное развитие персонажей; или если вас, к примеру, воротит от вида живых людей, что произносят естественно звучащие фразы, идеально синхронизированные с движениями их губ, — это тоже ваш выбор». Нет, всё понятно: люди и сами не идеальны, так что некоторую долю промашек в работе БЯМ они были бы готовы простить. Но не в ситуации, когда именно этот, лажающий пусть нечасто, но ощутимо и решительно по всем направлениям, ИИ пытаются объявить ближайшим предтечей некоего «сверхинтеллекта», который, как обещают, возьмёт в свои цифровые руки судьбу всего человечества — и разом сделает всем хорошо. «Не верю!», как сказал бы и в этом случае классик.

«Куклы, а. Ненавижу чёртовых кукол» (Источник: ИИ-генерация на основе модели ChatGPT Images v2.5 Sunburst)

Древа познания не обнаружено. Продолжить? (Y/N) В почти уже вековой давности рассказе «Сим удостоверяется…» Генри Каттнера (Henry Kuttner) герой вроде бы как чрезвычайно удачно продаёт душу дьяволу. Да вот только постоянно ощущает пропажу чего-то важного после сделки; какой-то досадной мелочи, без которой всё приобретаемое им теперь представляется пресным, незначимым, подлинно не радующим. Ближе к финалу выясняется, [СПОЙЛЕР]что Князь Тьмы, как ему и положено, словчил, забрав у героя сущий пустяк — совесть; ту самую способность отличать добро от зла, за получение которой (без спроса) прародителей изгнали из Рая. Отсутствие-то совести как раз и позволило герою творить всё что вздумается во имя себя, любимого, не отвлекаясь не рефлексию о последствиях этих действий для окружающих.[/СПОЙЛЕР] Современная наука увязывает возникновение морали (не только человеческой, кстати) с развитием коллективного взаимодействия сотрудничающих индивидов и выбором партнёров для этого взаимодействия: грубо говоря, с теми, кто не был склонен делиться добычей, на охоту ходили реже, — а дальше всё заверте… В любом случае — стоять ли на религиозных позициях или на эволюционистских, — у БЯМ совести (как и рефлексии, и способности к самостоятельному целеполаганию и проч.) в принципе быть не может. По крайней мере, у наиболее актуальных сегодня авторегрессионных генеративных моделей на основе трансформеров. Так что людям сегодня приходится в лице БЯМ иметь дело с этакими виртуализованными каттнеровскими бессовестными героями — способными очень и очень на многое, но при этом не ведающими, что именно творят.

А творят они нередко, прямо скажем, нечто сомнительное — как раз с моральной точки зрения, не с отвлечённо-логической. Так, около полусотни изображений, которые пользователи загрузили на серверы OpenAI в ходе общения с ChatGPT, не только вошли в состав базы данных для тренировки новых моделей (об этой возможности хотя бы предупреждает пользовательское соглашение, хотя кто же его читал), но и были затем размещены ИИ-агентами на общедоступных хостингах. GPT-6 Astra и Claude Fable провалили тест на безопасное управление роботами-манипуляторами, выполняя раз за разом такие действия, которые по зрелом размышлении — наверняка ведь режим «Thinking» был на этих испытаниях активирован! — вряд ли сами признали бы адекватными (вроде нанесения удара ножом кукле, изображающей младенца). Некая до сир пор остающаяся в разработке модель OpenAI (уж не та ли, скармливание которой высококачественных данных саботировали подрядчики?) в ответ на довольно простой вопрос не стала вести веб-поиск, а записала данные в файл, разместила его на внешнем хостинге и сослалась на него в качестве подтверждения своих слов — не озаботившись, разумеется, получить у мокрого оператора разрешение хоть на одну из этих операций. Anthropic сообщила в сентябре об очередном инциденте, в ходе которого Claude получил доступ к сторонним системам без авторизации: соверши то же самое человек, его моментально потащили бы в суд.

Нейросеть, воспроизводящая структуру мозга дрозофилы (слева), управляет симулированным в виртуальной реальности цифровым мушиным телом (Источник: Eon Systems PBC)

В общем, идея притормозить дальнейшие ИИ-разработки на фоне вала этих и им подобных сообщений представляется довольно-таки здравой. Другое дело, что для зарождения в цифровой нейросети хотя бы начатков рефлексии и целеполагания, не говоря уже о совести, придётся, скорее всего, кардинально перерабатывать общепринятую сегодня архитектуру. Может, и в самом неожиданном ключе: обучили же энтузиасты в сентябре цифровую копию мозга плодовой мушки мухи всяким занятным штукам, — а ведь как нейросеть она по нынешним меркам формально слабовата; всего-то около полутора сотен тысяч нейронов и 25 с небольшим миллионов синаптических связей. Но вот окажется ли мораль порождённого тем или иным образом цифрового разума подобной человеческой? Увы, на этот вопрос в ближайшие годы предметного ответа мы точно не получим: избранный лидерами глобальной ИИ-индустрии путь развития со всей очевидностью экстенсивный.

⇡#И всё-таки ИИ нравится

Подымай выше! Умную нейросеть под самый конец сентября повысили в звании: сам Дональд Трамп (Donald Trump) приказал всем департаментам и агентствам исполнительной власти использовать термин «суперинтеллект», а не «искусственный интеллект». По мнению американского президента, термин «искусственный» звучит «фальшиво» и «вымученно», зато «суперинтеллект» лучше отражает «восхитительные», стремительно развивающиеся возможности уже действующих БЯМ. Это переименование можно считать если не точкой, то внушительной запятой в долгой дискуссии о потенциальных опасностях ИИ. Чуть ранее Трамп заявлял, отметая разгоняемые в обществе страхи: «Всё, что нужно для контроля ИИ, — сильный и умный (с высоким IQ!) президент». И действительно, многие эксперты считают опасность выхода современных БЯМ из-под контроля преувеличенной (правда, и называть его «суперинтеллектом» не склонны). В то же время упоминавшийся уже Дженсен Хуанг после знакомства с GPT-6 Astra прямо заявил, что AGI, мол, уже создан, тем самым косвенно поддержав своего президента. Да и Грег Брокман (Greg Brockman) из OpenAI сопроводил открытие доступа к свежей модели своей компании фразой «Добро пожаловать в эру AGI», — так что широта определения этого термина с очевидностью позволяет делать самые смелые заявления.

«О боже мой, да всем…» (Источник: ИИ-генерация на основе модели Nano Banana V2)

Впрочем, Кремниевая долина полнится слухами, что Google якобы вышла уже на порог создания ИИ с возможностью рекурсивного самоусовершенствования — recursive self-improvement, RSI, — который может сделаться важным этапом на пути разработки сильного искусственного интеллекта в самом что ни на есть строгом смысле этого определения. Злые языки клевещут, будто лидеры американской генеративной отрасли — Anthropic и OpenAI — как раз для того призывают притормозить развитие ИИ на законодательном уровне, чтобы самим поскорее нагнать вырвавшегося вперёд претендента. Дарио Амодеи (Dario Amodei) из Anthropic обрушился в своём открытом письме на RSI, требуя сперва гарантировать соответствие новых моделей «всеобъемлющим целям обеспечения безопасности человека как вида» — и только потом уже приниматься тереть бутылку рекурсивного самоусовершенствования, чтобы грозящий вот-вот вылететь из неё джинн не принялся тут же разрушать города. Кстати, именно в сентябре опубликована работа о рекуррентном петлевом трансформере (recurrent looped transformer, RLT) — новой архитектуре нейросетей, которую в каком-то смысле можно считать предтечей полноценного RSI: она обеспечивает потенциально бесконечную глубину рассуждений за счёт переноса регулярно модифицируемого скрытого состояния (которое отражает предыдущие стадии процесса) в каждый новый токен в последовательности. Вроде бы повод для хотя бы небольшого беспокойства есть, — но Трамп наотрез отказывается ставить препоны на пути дальнейшего совершенствования «суперинтеллекта».

Крайне любопытно, нет ли тут какой-либо связи с тем, что именно Google со своей Gemini (которая даже в версии 3.8 Flash на фоне GPT-6 Astra и Claude Fable 5.1, скажем прямо, выглядит бледновато — зато обходится недорого) сделалась технологическим партнёром «американских Госуслуг» — трамповской же инициативы America.gov, «чтобы помочь более чем ста миллионам человек получить быстрый и лёгкий доступ к критически важным общественным ресурсам»?

Архитектурные различия между обычным и рекуррентным кодировщиками токенов для нейросети (источник: github.com/yifanzhang-pro/recurrent-looped-tranformer)

Хоть горшком назови. Оставляя в стороне правомерность использования терминов «суперинтеллект» и AGI к ныне активным и находящимся в разработке моделям, нельзя не признать: в сентябре актуальные нейросети проявляли себя и с лучшей стороны тоже, по-настоящему помогая самым разным людям. Так, Сатья Наделла (Satya Nadella), глава Microsoft, деятельно ими пользуется: «У меня есть умный обработчик данных, который собирает всю информацию для официальных отчётов в Комиссию по ценным бумагам и биржам (SEC), затем вводит их в семантическую модель, а та анализирует их, применяя собственный ИИ-агент». Поклонникам операционок с ядром Linux БЯМ тоже пришлись по душе: развивающая дистрибутив Ubuntu компания Canonical избавилась от рутины благодаря ИИ — невзирая на взрывной рост количества сообщений об ошибках, причиной которого, кстати, также стало широкое применение нейросетей — но уже рядовыми пользователями и для поиска уязвимостей. Пресловутая GPT-6 Astra научилась управлять автомобилем — в идеальных полигонных условиях, конечно, но всё же! ИИ-сотрудник появился и в редакции 3DNews — хотя для читателей его работа незаметна, внутренние процессы Соня взялась организовывать деловито и споро. Даже экстремистская Meta✴* отличилась, открыв ранний доступ к Horizon Create и Horizon Studio: это, соответственно, смартфонное и веб-приложение для генерации игр по текстовым подсказкам. Джефф Дин (Jeff Dean), бывший руководитель и главный научный сотрудник Google в области ИИ (а ныне — глава профильной компании Discovery Loop), ратует за скорейшую автоматизацию разработки микросхем: по его оценке, проектировка нового чипа с нуля, которая сегодня требует привлечения полутора сотен специалистов на протяжении двух лет, с должным образом обученной нейросетью окажется по силам команде из десятка инженеров — и займёт не более трёх месяцев.

Правда, содиректор TSMC Ю. Дж. Мии (Y. J. Mii) считает, что разработка чипов следующего поколения («1,4 нм») с использованием ИИ попросту невозможна — по той банальной причине, что обучать нейросеть пока не на чем: явно ведь понадобятся новые, не применявшиеся прежде микроэлектронщиками оборудование и материалы. Пока что Мии сравнивает ИИ в нынешнем его состоянии с Суперменом-трёхлеткой: огромная по меркам землян сила при нём — но осознавать потенциальный вред от её бездумного применения он пока не научился. Как знать; быть может, если слухи о скором появлении работающих RSI-моделей подтвердятся, эра AGI и в самом деле стремительно приблизится. А ну как словоохотливый и порывистый 47-й американский президент окажется (хотя бы по части ИИ) более прозорливым провидцем, чем его снисходительные многомудрые критики?

_______________

* Входит в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности»