Сегодня 01 сентября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → ии-бот

Исследование Apple показало, что ИИ-модели не думают, а лишь имитируют мышление

Исследователи Apple обнаружили, что большие языковые модели, такие как ChatGPT, не способны к логическому мышлению и их легко сбить с толку, если добавить несущественные детали к поставленной задаче, сообщает издание TechCrunch.

 Источник изображения: D koi/Unsplash

Источник изображения: D koi/Unsplash

Опубликованная статья «Понимание ограничений математического мышления в больших языковых моделях» поднимает вопрос о способности искусственного интеллекта к логическому мышлению. Исследование показало, что большие языковые модели (LLM) могут решать простые математические задачи, но добавление малозначимой информации приводит к ошибкам.

Например, модель вполне может решить такую задачу: «Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу. Сколько киви у Оливера?». Однако, если при этом в условие задачи добавить фразу «в воскресенье 5 из этих киви были немного меньше среднего размера», модель скорее всего вычтет эти 5 киви из общего числа, несмотря на то, что размер киви не влияет на их количество.

 Источник изображения: Copilot

Источник изображения: Copilot

Мехрдад Фараджтабар (Mehrdad Farajtabar), один из соавторов исследования, объясняет, что такие ошибки указывают на то, что LLM не понимают сути задачи, а просто воспроизводят шаблоны из обучающих данных. «Мы предполагаем, что это снижение [эффективности] связано с тем фактом, что современные LLM не способны к подлинному логическому рассуждению; вместо этого они пытаются воспроизвести шаги рассуждения, наблюдаемые в их обучающих данных», — говорится в статье.

Другой специалист из OpenAI возразил, что правильные результаты можно получить с помощью техники формулировки запросов (prompt engineering). Однако Фараджтабар отметил, что для сложных задач может потребоваться экспоненциально больше контекстных данных, чтобы нейтрализовать отвлекающие факторы, которые, например, ребёнок легко бы проигнорировал.

Означает ли это, что LLM не могут рассуждать? Возможно. Никто пока не даёт точного ответа, так как нет чёткого понимания происходящего. Возможно, LLM «рассуждают», но способом, который мы пока не распознаём или не можем контролировать. В любом случае эта тема открывает захватывающие перспективы для дальнейших исследований.

«Википедию» заполонили белиберда и фейки, сгенерированные ИИ

Wikipedia переживает кризис из-за того, что пользователи массово стали публиковать бессмысленную или непроверенную информацию, сгенерированную искусственным интеллектом с помощью чат-ботов, таких как ChatGPT и ему подобных. Однако, учитывая растущую популярность ИИ-технологий, этого можно было ожидать.

 Источник изображения: BoliviaInteligente/Unsplash

Источник изображения: BoliviaInteligente/Unsplash

Как сообщает TechSpot, для решения проблемы был создан проект под названием WikiProject AI Cleanup, представляющий из себя группу добровольцев, которая занимается поиском, редактированием и удалением ложной информации, предположительно добавленной с помощью генеративного ИИ.

Ильяс Леблю (Ilyas Lebleu), один из основателей команды по «очистке», сообщил, что о проблеме стало известно, когда редакторы и пользователи Wikipedia заметили отрывки статей, явно написанные чат-ботом. Подозрения подтвердились, когда некоторые из этих текстов удалось воссоздать с помощью ChatGPT.

«Мы обратили внимание на необычный стиль письма, который был явно написан не человеком, мы смогли воспроизвести эти фразы с помощью ChatGPT, — сказал Леблю. — Обнаружив характерные обороты и выражения, мы идентифицировали наиболее вопиющие примеры сгенерированных статей. После этого и было решено организовать проект по поиску ИИ-текста».

Один из примеров — статья о якобы существующей османской крепости под названием «Амберлисихар», построенной в 1400-х годах. В тексте объёмом около 2000 слов подробно описывалось местоположение и строительство этого объекта. Однако крепость на самом деле не существует, и вся информация о ней была полностью вымышленной, но выглядела убедительно благодаря вкраплениям реальных фактов. При этом проблема касается не только новых статей на Wikipedia. Недобросовестные пользователи вставляют ложные данные в уже существующие статьи. В одном из случаев в статью о жуке добавили раздел, посвящённый виду крабов, причём с правильными ссылками на источники.

Леблю и его коллеги признают, что до конца не понимают, почему люди это делают. Однако причины очевидны. Во-первых, это проблема самой системы Wikipedia, которая позволяет каждому стать редактором. Кстати, именно по этой причине многие университеты запрещают студентам использовать Wikipedia в качестве основного источника информации.

Во-вторых не секрет, что интернет часто становится объектом злоупотреблений, особенно сейчас, когда появился искусственный интеллект. В качестве примера может послужить печально известный бот Microsoft по имени Tay, который был отключён менее чем через 24 часа после запуска за публикацию оскорбительных и расистских твитов в X. Также ИИ используется для создания дипфейков и книг на Amazon Kindle.

OpenAI запустил новый интерфейс «Canvas» для работы с большими проектами и кодом

OpenAI добавила в ChatGPT новый инструмент Canvas, который позволяет редактировать текст и код, сгенерированный ИИ, не создавая новых запросов. Пользователи могут легко вносить изменения, добавлять комментарии и переводить текст на другой язык. Новый интерфейс позволяет взаимодействовать с ChatGPT на более интуитивном уровне.

 Источник изображения: Levart_Photographer/Unsplash

Источник изображения: Levart_Photographer/Unsplash

Решение OpenAI ввести редактируемое рабочее пространство вписывается в тенденцию того, что уже делают другие разработчики искусственного интеллекта. Например, Anthropic выпустила в июне инструмент Artifacts с аналогичной функцией, а компания Anysphere ИИ-помощника Cursor, который представляет из себя альтернативу Visual Studio Code и уже успел приобрести большую популярность у программистов.

В настоящее время чат-боты не способны выполнять масштабные проекты по одному единственному запросу, требуется множество запросов и часто с многократным повторением одного и того же кода. Редактируемое рабочее пространство Canvas позволит корректировать ошибки в результатах работы ИИ без необходимости заново генерировать весь текст или код. «Это более естественный интерфейс для сотрудничества с ChatGPT», — отметил менеджер по продукту OpenAI Дэниел Левайн (Daniel Levine).

 Источник изображения: Techcrunch.com

Источник изображения: Techcrunch.com

В ходе демонстрации интерфейса Левайн выбрал модель «GPT-4o с Canvas» из выпадающего списка в ChatGPT. Однако в будущем окно Canvas будет появляться автоматически, если система определит, что для выполнения задачи, например для написания длинного текста или сложного кода, потребуется отдельное рабочее пространство. Пользователи также смогут просто ввести команду «use canvas», чтобы открыть окно проекта.

ChatGPT может помочь и в написании письма. Пользователь просто вводит запрос на его создание и готовый текст появится в окне Canvas. Затем можно использовать ползунок для изменения длины текста, а также выделить отдельные предложения, чтобы попросить ChatGPT внести изменения, например, сделать текст дружелюбнее или добавить эмодзи. Кроме того, есть возможность попросить ИИ переписать письмо на другом языке.

Аналогично происходит и с программным кодом. Пользователи могут выделять его фрагменты и задавать дополнительные вопросы ИИ. Отметим, что функции для работы с кодом в Canvas несколько отличаются от обычного рабочего окна ChatGPT. Например, появится новая кнопка «Проверить код», после нажатия на которую ChatGPT проанализирует данные и предложит конкретные правки, вне зависимости от того, сгенерирован ли этот код ИИ или написан человеком.

Canvas с 3 октября уже доступна в бета-версии для пользователей ChatGPT Plus и Teams, а на следующей неделе будет запущена и для пользователей Enterprise и Edu, сообщает ресурс TechCrunch.

Cloudflare поможет сайтам взимать плату с ИИ-ботов за использование их контента

Компания Cloudflare представила новый инструмент AI Audit, который позволит владельцам сайтов отслеживать использование их контента ИИ-ботами и либо блокировать им доступ к своей инфоромации, либо устанавливать цену за его использование.

 Источник изображения: Copilot

Источник изображения: Copilot

Cloudflare ранее представила инструмент, который просто предотвращал сбор текстов и изображений для обучения ИИ — скрейпинг. Теперь, как сообщает издание SiliconANGLE, компания анонсировала расширение его функций, выпустив AI Audit — инструмент, предоставляющий набор возможностей, помогающих проанализировать действия ИИ-ботов и монетизировать контент.

Скрейпинг текстов и изображений стал обычной практикой в индустрии ИИ, так как интернет предоставляет огромное количество контента, который может использоваться для обучения моделей. Однако это вызывает споры, так как многие издатели считают, что такие действия несправедливы, особенно когда они не осведомлены о том, что их материалы (по сути нелегально) используются. При этом, ведущие компании, занимающиеся разработкой ИИ, такие как OpenAI, Google, Meta✴, Stability AI, IBM и Microsoft открыто признают, что используют контент издателей, ссылаясь на доктрину «добросовестного использования».

Однако критики утверждают, что скрейпинг негативно повлияет на издателей, поскольку приведёт к потере трафика и потенциальной прибыли. Например, сайт с кулинарными рецептами может потерять значительную часть аудитории из-за чат-ботов, которые используют его контент для ответов на запросы пользователей. Если пользователь получит информацию у искусственного интеллекта, то у него навряд ли появится стимул посещать сам сайт, даже если он указан в качестве источника.

Некоторые издатели уже начали блокировать доступ ИИ к своим ресурсам. Например, в прошлом месяце The New York Times и CNN официально заблокировали GPTBot от компании OpenAI. В то же время другие сайты, например Reddit, предлагают доступ к своему контенту за плату через специальные API, которые позволяют ИИ-компаниям оплачивать использование данных.

Cloudflare стремится дать возможность всем владельцам сайтов контролировать использование своего контента. AI Audit, включающий функцию блокировки доступа любых ИИ-ботов и аналитику, как раз и призван обеспечить прозрачность взаимодействия между создателями контента и ИИ-разработчиками. Инструмент поможет определить, когда, как часто и зачем ИИ-модели обращаются к страницам сайта, а также фиксировать ботов, которые указывают источник данных, и тех, которые этого не делают.

Кроме того, AI Audit поможет владельцам сайтов определить справедливую цену за доступ к контенту, основываясь на рыночных ставках, установленных крупными издателями, такими как Reddit. По словам представителей Cloudflare, это необходимо, поскольку у многих небольших сайтов нет ресурсов и опыта для оценки стоимости своего контента и ведения переговоров с ИИ-компаниями. При этом сами компании также не имеют возможности заключать отдельные соглашения с каждым из миллионов сайтов.

«Если создатели контента не будут иметь такого контроля, качество онлайн-информации ухудшится или она станет доступна только по платной подписке, — считает соучредитель и генеральный директор Cloudflare Мэтью Принс (Matthew Prince). — Благодаря масштабу и глобальной инфраструктуре Cloudflare мы можем предоставить инструменты и установить стандарты, которые дадут веб-сайтам, издателям и создателям контента контроль и справедливую компенсацию за их вклад в интернет, при этом позволяя поставщикам ИИ-моделей продолжать внедрять инновации».

В GPT Store обнаружены многочисленные нарушения правил OpenAI

OpenAI столкнулась с проблемой модерации контента в своём магазине GPT, в котором пользователи вовсю создают чат-ботов, нарушающих правила компании. Независимое расследование выявило более 100 инструментов, которые позволяют генерировать фальшивые медицинские, юридические и другие запрещённые правилами OpenAI ответы.

 Источник изображения: OpenAI

Источник изображения: OpenAI

С момента запуска магазина в ноябре прошлого года OpenAI заявила, что «лучшие GPT будут изобретены сообществом». Однако, по данным Gizmodo, спустя девять месяцев после официального открытия многие разработчики используют платформу для создания инструментов, которые явно нарушают правила компании. Среди них чат-боты, генерирующие откровенный контент и инструменты, помогающие студентам обманывать системы проверки на плагиат, а также боты, предоставляющие якобы авторитетные медицинские и юридические советы.

 Источник изображения: Gizmodo

Источник изображения: Gizmodo

На главной странице магазина OpenAI на днях были замечены по крайней мере три пользовательских GPT, которые, очевидно, нарушали правила: чат-бот «Терапевт – Психолог», «фитнес-тренер с докторской степенью», а также Bypass Turnitin Detection, который обещает помочь студентам обойти антиплагиатную систему Turnitin. Многие из мошеннических GPT были уже использованы десятки тысяч раз.

В ответ на запросы Gizmodo о найденных в магазине мошеннических GPT OpenAI заявила, что «предприняла меры против тех, кто нарушает правила». По словам представителя компании Таи Кристенсон (Taya Christianson), для выявления и оценки GPT, потенциально нарушающих политику компании, используется комбинация автоматизированных систем, человеческой проверки и пользовательских отчётов. Однако многие из выявленных инструментов, включая чаты, предлагающие медицинские советы и помогающие в обмане, по-прежнему доступны и активно рекламируются на главной странице.

«Интересно, что у OpenAI есть апокалиптическое видение ИИ и того, как они спасают нас всех от него», — сказал Милтон Мюллер (Milton Mueller), директор проекта по управлению Интернетом в Технологическом институте Джорджии (США). «Но я думаю, что особенно забавно то, что они не могут обеспечить соблюдение чего-то столь простого, как запрет на ИИ-порно, в то же время заявляя, что их политика спасёт мир».

Проблема усугубляется тем, что многие из медицинских и юридических GPT не содержат необходимых оговорок, а некоторые вводят в заблуждение, рекламируя себя как юристов или врачей. Например, GPT под названием AI Immigration Lawyer позиционирует себя как «высококвалифицированный ИИ-иммиграционный юрист с актуальными юридическими знаниями». Однако исследования показывают, что модели GPT-4 и GPT-3.5 в любом случае часто выдают неверную информацию, особенно по юридическим вопросам, что делает их использование крайне рискованным.

Напомним, OpenAI GPT Store — это торговая площадка кастомных чат-ботов «на любой случай», которых создают сторонние разработчики и получают от их реализации прибыль. Уже создано более 3 млн индивидуальных чат-ботов.


window-new
Soft
Hard
Тренды 🔥
В России заработал цифровой рубль 2 ч.
«Увидимся, космический ковбой»: Naughty Dog завершила съёмки амбициозного боевика Intergalactic: The Heretic Prophet прямо перед State of Play 2 ч.
В Минцифры рассказали о российских сертификатах безопасности 2 ч.
Передовой симулятор выживания Stranded Deep 2 взял курс на пустыню раннего доступа Steam — первый трейлер и подробности 3 ч.
Google начала навязывать ИИ-режим в поиске — некоторые развёрнутые ответы от ИИ теперь показываются автоматически 11 ч.
Календарь релизов — 31 августа – 6 сентября: The Blood of Dawnwalker, Onimusha и Serious Sam 12 ч.
Балканизация виртуализации: VMware теряет клиентов из-за стратегии Broadcom, но та не собирается ничего менять 12 ч.
Недавнее обновление для Windows 11 сломало курсор и обои рабочего стола 12 ч.
OpenClaw обновился до версии 2.0 — запуск ИИ-агентов стал проще, а управлять ими теперь могут сразу несколько человек 14 ч.
Отличная RPG, которая могла стать великой: критики вынесли вердикт The Blood of Dawnwalker 16 ч.
Смартфоны Galaxy S27 и S27 Plus получат улучшенные камеры с зумом — как у Pro 2 ч.
Samsung уже распродала до 70 % памяти, которую выпустит до 2031 года 2 ч.
TP-Link представила Archer 8 Ultra — свой первый потребительский маршрутизатор с Wi-Fi 8 2 ч.
Менее чем за 200 дней рекламная выручка OpenAI достигла $1 млрд в годовом выражении 3 ч.
Apple утверждает, что OpenAI уничтожает доказательства своей вины по делу о краже технологий 4 ч.
Новая статья: 10 флагманских процессоров Intel за 10 лет 11 ч.
AOC выпустила 27-дюймовый игровой монитор Agon AGP277KXM с подсветкой Mini-LED и двумя режимами: 5K@180 Гц и 1440p@360 Гц 11 ч.
Apple потеряла ключевого руководителя накануне смены гендира: Фил Шиллер оставил пост главы App Store 12 ч.
Nvidia заплатила $3,5 млрд за союз с MediaTek — вместе они бросают вызов фирменным ИИ-чипам Google и Amazon 14 ч.
Тим Кук эмоционально обратился к сотрудникам Apple в свой последний день на посту генерального директора 15 ч.