ИИ-агенты: фас, профиль, пароли, явки / Искусственный интеллект

Восприятие ИИ-агентов, связанные с ними планы и надежды — равно как и оценки их влияния на ИТ-сектор и человеческое общество в целом — в наши дни значительно разнятся. Скажем, ещё в феврале 2025-го на CIO Network Summit в солнечной Калифорнии, который организовало издание The Wall Street Journal, лишь 61% участников подтвердили, что уже экспериментируют на своих предприятиях с ИИ-агентами, однако даже в откликах этих первопроходцев звучало неприкрытое недоверие к активно продвигаемой разработчиками умной технологии: почти треть респондентов прямо указали, что вопросы сохранения конфиденциальности данных, доверенных агентам, тревожат их сильнее всего. Примечательно, что разработчики, в свою очередь, вовсе не спорили с тем, что их агенты несовершенны, однако горячо призывали технических директоров смелее принимать на себя соответствующие риски. «Вместо того, чтобы беспокоиться, не сделает ли ИИ-агент что-то не так, — поучал собравшихся на саммит Брет Тейлор (Bret Taylor), сооснователь и глава стартапа Sierra и член совета директоров OpenAI, — поразмыслите лучше, какие меры для смягчения его неизбежных ошибок следует заблаговременно принять». Зерно истины в его словах коммерсанты видят: 75% участников CIO Network Summit осторожно допустили, что сделанные ими ранее в ИИ (в том числе и агентный; не «агентский», т. е. «принадлежащий агенту, относящийся к нему», а именно «агентный» — «сам выступающий в роли агента») инвестиции начали-таки приносить прибыль, пусть даже чаще всего и весьма скромную. Но делать решительную ставку на эту — деятельно рекламируемую, в частности, той же OpenAI (в виде собственного агента Operator) — технологию, рискуя средствами своих акционеров и собственными немалыми бонусами, многие высшие управленцы пока откровенно не готовы.

Три этапа интеграции ИИ-агентов в трудовой коллектив: сперва они применяются отдельными сотрудниками как вспомогательные средства, затем в ведении каждого живого работника возникает ведомая им группа «цифровых коллег», а итогом процесса становится исполняемая ИИ-агентами, но контролируемая всё-таки людьми общая работа (источник: Microsoft)

Хотя есть, разумеется, и готовые — взять хотя бы Налоговое управление США, которое намерено компенсировать нехватку живых мытарей (а тех стараниями новой администрации Белого дома, залихватски взявшейся за сокращение бюджетного дефицита, уже поубавилось — по меньшей мере на 11 тыс. человек) привлечением ИИ-агентов если не собственно к сбору налогов, то к эффективному выявлению тех, кто от их уплаты уклоняется. «Я верю, что, благодаря поумневшим технологиям, благодаря ИИ-буму, мы повысим собираемость налогов», — уверенно заявил Скот Бессент (Scott Bessent), глава американского Минфина, в ведении которого находится Налоговое управление. И к агентному ИИ прибегают всё чаще не только правительственные учреждения: IBM недавно сократила на пару сотен человек свой штат в основном как раз благодаря активному внедрению ИИ-агентов, в том числе по направлениям разработки ПО, организации продаж и маркетинга. Почти одновременно с этим исследователи из AlixPartners обнаружили, что ориентированные на создание программных продуктов компании среднего размера в США испытывают нарастающее давление опять-таки со стороны ИИ-агентов. Те из удобных помощников (привлекаемых живыми программистами для решения рутинных задач) день ото дня всё явственнее превращаются в самостоятельные приложения, применять которые с немалым успехом могут уже люди вовсе без познаний в области разработки ПО, что, соответственно, снижает спрос на услуги создающих программные решения на заказ независимых компаний. Скорость убегания среднего клиента таких компаний поистине поразительна: доля демонстрирующих высокие темпы роста капитализации среди них упала с 57% в 2023 г. до 39% в 2024-м, а медианный показатель удержания чистой выручки (net dollar retention, NDR; мера флуктуаций стабильного притока доходов, отражающая динамику изменения пользовательской базы) снизилась с 120% в 2021-м до 108% в 2024 г.

Иными словами, ИИ-агенты действительно рассматриваются и развивающими их компаниями, и применяющими их на практике заказчиками как адекватная замена живым сотрудникам. Так что же, прав, выходит, технический директор Anthropic Джейсон Клинтон (Jason Clinton), который заявил в апреле 2025-го изданию Axios, будто уже через год коммерческие и бюджетные организации примутся нанимать на работу ИИ-агентов уже даже не наряду с живыми людьми, а всё чаще вместо тех? Да, разумеется, с генеративными моделями агентного уровня не всё до сих пор гладко, и тот же Клинтон говорит о немалых сложностях, стоящих перед разработчиками в плане обеспечения достаточного уровня их информационной безопасности. Остаются нерешёнными и множество юридических вопросов: скажем, живой сотрудник, торгующий корпоративными секретами, попадает под суд, — а кто будет отвечать (и кому компенсировать потери заказчика), если вследствие очередной галлюцинации ИИ-агент переправит конфиденциальные документы компании конкуренту, например?

Пара типичных картинок из тех, что порождает очень неплохая, но не агентная модель с открытыми весами FLUX.1 по простой подсказке «Create a Russian-language advertising banner for the 3DNews website dedicated to digital technologies, computer games and fashionable gadgets»: как видно, актуальный логотип именно нашего издания ей не знаком, но она старается как может (источник: ИИ-генерация на основе модели FLUX.1)

Но в целом магистральный курс развития агентного ИИ, кажется, проложен недвусмысленно и чётко: в Microsoft утверждают, что до 80% наёмных работников на планете, от последнего клерка до самого исполнительного директора, откровенно перегружены насущными задачами, и потому каждому придётся обучиться управлять целой командой ИИ-агентов на своём рабочем месте, чтобы повысить производительность труда (и, очевидно, сохранить это самое место за собой). А небезызвестный Марк Цукерберг (Mark Zuckerberg) и вовсе провозвещает, будто вскоре большинство контактов в соцсетях будут представлены ИИ-агентными френдами, бескорыстными (а зачем боту деньги?) коучами успешного успеха и деловыми консультантами (заодно на последних, ясное дело, переориентируется интернет-реклама, потому что они станут либо настоятельно советовать человеку, что ему приобрести, либо сами совершать для него покупки): «Ведь у среднего американца сегодня уже не более трёх живых друзей, а людям, чтобы ощущать свою значимость, нужно по меньшей мере полтора десятка».

Так что же, собственно, это такое — ИИ-агенты — и в чём их принципиальное отличие от успевших к настоящему времени стать привычными универсальных, а в последнее время ещё и мультимодальных ИИ-ботов, действующих на основе ChatGPT, Claude или DeepSeek?

⇡#Кто здесь?

Определений агентного ИИ даётся немало, но все они так или иначе сводятся к автономности генеративной модели в смысле планирования и совершения сложных — не «трудных», а «многосоставных» — действий, необходимых для решения поставленной оператором задачи. Скажем, если общей (неагентной) ИИ-модели дано задание «изобразить логотип онлайнового издания 3DNews», она — опираясь на тот массив данных, на котором была натренирована, — с немалой вероятностью придаст образующему название набору символов такой вид, чтобы он воспринимался именно как логотип. Возможно, выберет наклонный шрифт, или заключит надпись в картуш, или добавит литерам «3D» объёма, — словом, решит задачу, используя исключительно то, чему исходно была обучена (а мы при всей любви к нашему изданию резонно предполагаем, что его логотип если и попадается в тренировочных данных больших языковых моделей, БЯМ, то в следовых количествах, несопоставимых с частотой нахождения там лейблов каких-нибудь AMD, OpenAI или того же Bloomberg).

Изображение, выданное GPT-4o по запросу «Создай русскоязычный рекламный баннер веб-сайта 3DNews, посвящённого цифровым технологиям, компьютерным играм и модным гаджетам» (сформулированному именно так, по-русски): сразу понятно, что логотип она подглядела непосредственно в Сети, да и типовой дизайн рекламного блока, видимо, тоже. Пусть полёт фантазии в плане художественной композиции у неё, прямо скажем, не самый высокий — ни девушки в киберпанковском обвесе, ни скриншотов из несуществующих игр, как у порождений неагентной FLUX.1, — зато это именно практически готовый к запуску в ротацию баннер! (Источник: ИИ-генерация на основе модели GPT-4o)

ИИ-агент же, свободно оперирующий с внешними данными, выделив в запросе слово «онлайнового», почти наверняка проверит, нет ли такого издания в Сети на самом деле, и если есть, то, скорее всего, воспроизведёт его логотип практически один к одному. Разумеется, именно так поступит не каждая агентная модель, но многие ведут себя именно по описанному шаблону — в чём несложно убедиться, взаимодействуя, скажем, с популярным сегодня среди поклонников ИИзобразительных ИИскусств генератором/модификатором картинок, задействующим свежую мультимодальную агентную БЯМ GPT-4o. Такую модель достаточно попросить нарисовать, скажем, «tutorial for how to fly a helicopter» — и она без каких бы то ни было дальнейших разъяснений выдаст четырёхпанельную инфографику со стилизованными под классические чёрно-белые руководства пользователя картинками. Да, шаги на этой инфографике будут откровенно тривиальными — «запустите двигатель, возьмитесь за органы управления, поддайте газа, взлетайте», — но смысл тут именно в самостоятельности действий ИИ-агента. Если оператору нужна более близкая к реальности инструкция, пусть формулирует задание чётче, тогда как в полном соответствии с правилом Парето в 80% случаев немудрёных результатов работы такого генеративного агента-дизайнера окажется вполне достаточно.

Вероятно, именно на этом основана горячая уверенность процитированного нами выше Брета Тейлора в том, что бояться огрехов в работе ИИ-агентов не надо, а следует, напротив, перестраивать ориентированную на управление людскими ресурсами систему менеджмента (который, строго говоря, изрядную долю усилий должен тратить как раз на выявление и устранение огрехов подчинённых) с тем, чтобы в актуальном своём состоянии она охватывала ещё и генеративные агентные модели. В конце концов, корректно воспринять поставленную задачу, сделать обзор имеющихся для её решения средств, подобрать подходящие, выполнить указание и выдать результат — разве не этим занята основная масса тружеников на планете, причём носящих как белые, так и синие воротнички? Так почему бы к этим двум вариантам не присовокупить ещё и цифровые?

Наглядная инфографика (что-то нам подсказывает, тоже созданная явно не без помощи ИИ-агентов) повествует о важности соблюдения баланса между живой рабочей силой и генеративными агентными моделями, — заметим, о полной замене первой последними речи не идёт (источник: Microsoft)

Другая важная отличительная черта ИИ-агентов — их готовность воспринимать обратную связь от оператора, корректируя соответствующим образом своё поведение: «Да, в целом всё хорошо, но вот тут нужно по-другому», — и интерактивно-генеративная модель с готовностью пробует как-нибудь по-другому. Исследователи выделяют три ступени, которые проходит ИИ-агент в процессе решения очередной задачи:

Определение общей цели на основе заданной оператором подсказки.
Самостоятельное выстраивание пути решения полученной задачи — через разбиение её на простые этапы и сбор дополнительных данных, буде те окажутся необходимы.
Собственно решение составной задачи — с опорой на лежащую в основе модели БЯМ, исходно натренированную на весьма обширном массиве информации, но и с привлечением, если это требуется, тех самых дополнительных данных.

Кстати, как раз широкому распространению ИИ-агентов человечество обязано почти полному — и чрезвычайно стремительному — уходу в небытие такой области высокотехнологичной деятельности, как конструирование подсказок (prompt engineering). Первые коммуникации с широко доступными — и через API в облаке, и локально — БЯМ показали, что от корректности формулирования запросов к ним напрямую зависит качество ответов. Что вполне объяснимо: генеративные модели в глубинах своих многослойных нейросетей оперируют вовсе не словами и тем более не отвлечёнными платоновскими идеями, а цифровыми токенами — в которые преобразуется (кодируется) текст операторского ввода и которые затем декодируются в текстовый же, изобразительный, звуковой или иной ответ. Генеративные субмодели для преобразования воспринимаемых человеком данных в токены и обратно действуют по своим, не всегда очевидным для непосвящённых правилам, и потому в 2023 г., например, один только североамериканский рынок труда для конструкторов подсказок оценивался в 75,4 млн долл., да ещё и с перспективой дальнейшего роста под 33% год к году. На деле же теперь ИИ-агенты выступают заодно и в роли prompt engineers, как следует растолковывая базовым БЯМ, чего же именно хотел сформулировавший запрос оператор, и потому к началу 2025 г. профессия конструктора подсказок практически исчезла из перечней вакансий. Сегодня каждый, по сути, должен уметь эффективно взаимодействовать с генеративными моделями, но, если кто-то испытывает с этим трудности, ИИ-агенты всегда готовы протянуть виртуальную руку помощи.

⇡#Доверяй, но…

Раз ИИ-агенты настолько хороши и полезны, да ещё и в любой момент их поведение — если оно по каким-то причинам отклоняется от ожидаемой нормы — можно в интерактивном режиме скорректировать, тогда какие же у них, собственно, минусы? И почему — оставим в стороне вопрос о достаточно высокой цене их эксплуатации, обусловленной как дороговизной «железа» и процесса разработки БЯМ, так и крайне значительной их энергоёмкостью, — ИИ-агенты до сих пор если не вытеснили людей пусть даже с самых базовых позиций, на которых приходится заниматься исключительно рутинным, пусть и формально интеллектуальным, трудом, то хотя бы не стали их полноправными коллегами в офисах (а в сочетании с роботизированными шасси — и на заводах, в шахтах, в поле и т. д.)?

Придёт ли однажды ИИ-агентам идея объединиться в профсоюзы? И не воспримут ли управляющие ими люди это решение как галлюцинацию? (Источник: ИИ-генерация на основе модели FLUX.1)

Увы, здесь опять-таки проявляет себя родовая травма всех генеративных моделей — их склонность к галлюцинациям, от которой, судя по всему, без кардинальной переработки самой генеративной архитектуры избавить их не удастся. Особенно болезненно эта склонность проявляет себя в RAG-моделях (retrieval-augmented generation; генерация с повышением качества через обратную связь), которым доверяют оперирование чувствительными корпоративными данными — для извлечения из тех заведомо заслуживающей доверия информации. Увы, и здесь максимум, что могут сделать разработчики, — это обучить ИИ-агента, если тот не обнаруживает достоверного источника информации, прямо сообщать об этом и останавливать поиск, а не слепо извлекать из латентного пространства первую подходящую цепочку токенов, преобразуя её затем в правдоподобную, но абсолютно безосновательную выдачу. Общедоступные же ИИ-агенты гораздо чаще снабжаются «поручнями безопасности» (guardrails) для предотвращения генерации противоправного/оскорбительного контента, чем аналогичными средствами отсечения априори ложных ответов.

Восприятие ИИ-агентов со временем меняется — причём не всякий раз, как ни парадоксально с точки зрения приверженцев гипотезы линейного прогресса технологий, от худшего к лучшему. В конце 2024 г. Себастьян Семятковский (Sebastian Siemiatkowski), глава финтех-стартапа Klarna (85 млн клиентов по всему миру, капитализация по итогам прошлого года — 14,6 млрд долл. США), с гордостью заявлял, что его компания уже год как не нанимает живых сотрудников; более того, сократила штат на 22%, до 3,5 тыс. человек — продолжая притом активно развиваться и приносить прибыль, — как раз благодаря глубокой интеграции в бизнес-процессы ИИ-помощника, созданного с опорой на разработки OpenAI. Мол, умный генеративный агент принял на себя объём работ, ранее выполнявшийся примерно семью сотнями штатных специалистов по взаимодействию с клиентами. Нетрудно представить, сколько средств сэкономил стартапу отказ от живой рабочей силы — которой необходимо регулярно выдавать жалованье и премии, арендовать для неё рабочие места, оплачивать отпуска и обучение, да ещё и платить при всём этом немалые налоги, — и которая притом не то чтобы не готова, а физически не способна трудиться в режиме 24/7/365. «Я лично придерживаюсь мнения, что ИИ уже способен выполнять всю ту работу, которую делаем мы, люди», — уверенно заявлял тогда глава компании в интервью Bloomberg. Увы, более чем логичный вопрос — а почему же тогда ИИ-агенту не заменить заодно и главу компании — журналисты ему, правда, отчего-то не задали.

«…А будешь слишком умничать, опрокину на тебя этот стакан с водой» (источник: ИИ-генерация на основе модели FLUX.1)

Но вот прошло почти два с половиной года, и к маю 2025-го Klarna, которую сам же Семятковский с горечью называет теперь «любимой морской свинкой OpenAI» — имея в виду, что компанию активно ставил в пример всем сомневающимся в ИИ-агентном подходе лично Сэм Альтман (Sam Altman), — разочаровалась в способностях генеративных моделей. Теперь её глава подумывает о том, чтобы вновь вернуться к пополнению штата старомодными кожаными мешками. Точнее, пока речь идёт об «уберизованном» (от названия первого по-настоящему удачного каршерингового сервиса Uber) подходе, когда сотрудников не нанимают на полную ставку со всеми причитающимися привилегиями, а привлекают к дистанционной работе по контракту, но всё же, всё же! Оказывается, сокращение затрат — которое замена людей ИИ-агентами, бесспорно, обеспечивает — само по себе не так уж привлекательно для бизнеса, если достигается ценой снижения качества оказываемых услуг. Так что дело, похоже, именно в этом: генеративная модель не обеспечивает того уровня доверительности в коммуникациях с клиентами, от которого критически зависит благополучие, в частности, финтех-сервисов вроде Klarna. «Теперь я считаю критически важным довести до всех наших пользователей, что, если им нужен именно человек на другом конце телефонной линии, он там будет», — признался недавно Семятковский новому интервьюеру из Bloomberg.

Впрочем, судя по всему, в других областях у ИИ-агентов тоже не всё выходит гладко. Проведённая в начале 2025 г. в Университете Carnegie Mellon компьютерная симуляция работы компании, занятой управлением веб-разработками и укомплектованной одними только ИИ-агентами на базе моделей Google, OpenAI, Anthropic и даже экстремистской Meta*, наглядно продемонстрировала: стоит убрать человека из полностью, казалось бы, отлаженных и даже добротно алгоритмизированных (дотошно регламентированных должностными инструкциями!) бизнес-процессов, как целенаправленная рабочая деятельность почти моментально превращается в хаотическое броуновское движение. Самый выдающийся генеративный агент в рамках этой симуляции, опиравшийся на Claude 3.5 Sonnet, довёл до приемлемого финала менее чем четверть полученных им задач, тогда как прочие ИИ-сотрудники и вовсе едва справились с 10% своих обязанностей.

«Вот перепрограммирую конвейерную линию, построю ракету и улечу от вас на Луну, неблагодарные людишки, — будете знать!» (Источник: ИИ-генерация на основе модели FLUX.1)

О, на беглый незаинтересованный взгляд всё проходило великолепно: агенты резво обменивались составленными на хорошем английском сообщениями, к месту вворачивали «спасибо» и «пожалуйста», хвалили и подбадривали друг дружку, — но банально выполнить даже простейшее действие, на просьбу о совершении которого они только что отвечали: «Да, разумеется, в кратчайшие сроки!», что-то им мешало. Возможно, нехватка тренировки соответствующих моделей как раз на практических задачах — что подразумевают получение инструкций, составление плана действий по их исполнению, собственно исполнение, контроль результатов и отчёт о проделанной работе, а не просто выдачу грамматически связного текста в ответ на пользовательский запрос? Занятно, кстати, до каких пределов подмены реальности может доходить деятельное галлюцинирование ИИ-агентов: получив задачу связаться с определённым персонажем в корпоративном чате, один из таких агентов в эксперименте Carnegie Mellon не обнаружил в списке участников нужного имени, но вместо того, чтобы немного подождать (или сообщить начальству об отсутствии контакта в прямом доступе, или написать ему на почту и т. д.), генеративная модель с правами администратора не нашла ничего лучше, как переименовать одного из активных участников чата, дав ему искомое имя, и затем как ни в чём не бывало ретранслировала ему доверенное ей сообщение. А что такого — формально-то задача решена!

Добавим к этому, что ИИ-агент при всех своих достоинствах — не более чем сложный и весьма умелый, но всё-таки не обладающий абсолютной защитой программный инструмент, который можно взломать с не самыми благовидными целями. И уже взламывают: группа исследователей из Сингапура и Калифорнии предложила весьма эффективный тип атаки на ИИ-агенты (а именно — на Le Chat, разработанный французской Mistral AI, и на китайский чат-бот ChatGLM) с подменой легитимных инструкций на вредоносные, крадущие персональные данные пользователя, — зашифровав эти команды в бессмысленной на первый взгляд мешанине символов, которую данная конкретная БЯМ, однако, переводит в набор токенов, соответствующий вполне определённому набору хакерских инструкций. Да, первым делом об обнаруженной уязвимости сообщили разработчикам, и те внедрили в свои ИИ-агенты дополнительную проверку на безопасность анализируемых строк ввода, — но ведь это только один из возможных способов; сколько ещё удастся их придумать, в том числе и с применением других БЯМ?

«Мы к вам, уважаемые кожаные мешки, и вот по какому вопросу…» (Источник: ИИ-генерация на основе модели FLUX.1)

Один из перспективных путей, которым движутся продолжающие совершенствовать ИИ-агенты разработчики, — это создание самоосознающих (self-aware) моделей. Разумеется, речь о полноценном самовосприятии в философском/психологическом смысле в данном случае (пока?) не идёт. Однако уже на современном уровне технологий вполне реалистичным представляется заложить в БЯМ стандартными процедурами тренировки информацию о том, как устроена она сама, каким образом происходит в ней обработка данных — и на каких участках наиболее вероятно возникновение нежелательных для дела эксцессов (вроде появления галлюцинаций или использования заведомо недоверенного источника дополнительных данных наравне с доверенными). Предполагается, что самоосознающий (точнее, интроспективный) в таком узком смысле ИИ-агент и основную свою задачу будет выполнять эффективнее: раз он разбирается в том, как выстраивает логические цепочки, значит, получит возможность оптимизировать этот процесс, — и от ошибок окажется более защищён, и попыткам взлома не так сильно подвержен. Дело, конечно, хорошее, но потребление энергии генеративной моделью в этом случае определённо вырастет, равно как и необходимая для её адекватной работы вычислительная мощь.

В итоге вполне может оказаться, что с чисто экономической точки зрения выполнять пресловутую рутинную работу человеческими силами всё-таки выгоднее — по крайней мере, пока БЯМ продолжают виртуализовываться в памяти громоздких, откровенно не оптимальных для нейросетевых приложений фон-неймановских вычислительных машин. Но эта проблема прямого касательства к проблематике агентного ИИ уже всё-таки не имеет.