Несколько компаний, занимающихся разработкой систем искусственного интеллекта, игнорируют принятый отраслью веб-стандарт, который позволяет издателям блокировать сбор своего контента с целью его последующего включения в массивы для обучения генеративного ИИ. Об этом сообщает Reuters.

HUAWEI Pura 80 Ultra глазами фотографа

Первый взгляд на смартфон HUAWEI Pura 80 Ultra

Пять причин полюбить HONOR 400

Обзор смартфона HONOR 400: реаниматор

HUAWEI nova Y73: самый недорогой смартфон с кремний-углеродной батареей

Обзор HUAWEI MatePad Pro 12.2’’ (2025): обновление планшета с лучшим экраном

Обзор смартфона HUAWEI nova Y63: еще раз в ту же реку

Обзор ноутбука HONOR MagicBook Pro 14 (FMB-P) на платформе Core Ultra второго поколения

Пять причин полюбить ноутбук HONOR MagicBook Pro 14

Источник изображений: Gerd Altmann / pixabay.com

Информация о неправомерных действиях разработчиков ИИ в отношении сайтов СМИ появилась в рамках публичного разбирательства ИИ-стартапа Perplexity и ресурса Forbes, при этом компании, предположительно оказавшиеся правонарушителями и пострадавшими, не называются. Деловое издание публично обвинило Perplexity в плагиате материалов своих расследований — в составляемых генеративным ИИ сводках оказываются материалы Forbes без запросов разрешения и ссылок на авторов. Поисковый веб-сканер Perplexity, вероятно, игнорирует директивы, которые указываются издателями в файле robots.txt — распространённый стандарт помогает администраторам сайтов определять, какие разделы разрешено сканировать поисковым роботам.

О проблеме сообщила компания TollBit — стартап, выступающий посредником между испытывающими потребность в обучающих материалах ИИ-компаниями и открытыми для заключения лицензионных соглашений издателями. Perplexity — не единственный нарушитель, который предположительно игнорирует директивы robots.txt, считают в TollBit. Сейчас в базе посредника значатся 50 издателей, и «чем больше журналов издателей мы принимаем, тем больше проявляется эта закономерность».

Протокол robots.txt был создан в середине девяностых годов, чтобы защитить сайты от перегрузок из-за поисковых роботов. Чёткого механизма правового принуждения соблюдать директивы файла не существует, но исторически они соблюдались добровольно. Недавно robots.txt стал основным инструментом, который издатели использовали, чтобы не допустить бесплатного включения их контента в массив данных для генеративного ИИ. Этот контент используется как для обучения ИИ, так и для создания сводок информации на его основе в режиме реального времени.

Некоторые издатели, включая New York Times, пытаются засудить разработчиков ИИ за нарушение авторских прав в связи с использованием материалов для этих целей. Другие подписывают с создателями ИИ лицензионные соглашения. Стороны часто расходятся во мнениях относительно ценности материалов — некоторые разработчики даже утверждают, что не нарушают законов, получая доступ к материалам СМИ бесплатно.

Несколько крупных представителей СМИ и информационных онлайн-платформ ведут переговоры с компанией OpenAI, создавшей популярного ИИ-чат-бота ChatGPT, по поводу доступа к их ресурсам на платной основе. Эти ресурсы представляют собой важнейший источник информации, на основе которой обучаются большие языковые модели.

HUAWEI Pura 80 Ultra глазами фотографа

Первый взгляд на смартфон HUAWEI Pura 80 Ultra

Пять причин полюбить HONOR 400

Обзор смартфона HONOR 400: реаниматор

HUAWEI nova Y73: самый недорогой смартфон с кремний-углеродной батареей

Обзор HUAWEI MatePad Pro 12.2’’ (2025): обновление планшета с лучшим экраном

Обзор смартфона HUAWEI nova Y63: еще раз в ту же реку

Обзор ноутбука HONOR MagicBook Pro 14 (FMB-P) на платформе Core Ultra второго поколения

Пять причин полюбить ноутбук HONOR MagicBook Pro 14

Источник изображения: Rolf van Root / unsplash.com

Как пишет издание The Washington Post, такие технологические компании как OpenAI годами пользовались на бесплатной основе новостными онлайн-ресурсами и использовали их материалы для обучения своих ИИ-моделей. В последнее время в сфере генеративного ИИ наблюдается значительный рост доходов. По оценкам некоторых экспертов, опрошенных Bloomberg, выручка данного сегмента вырастет к 2032 году до $1,3 триллиона. Информационные издания и платформы претендуют на часть этих денег.

С августа текущего года как минимум 535 ведущих изданий, включая York Times, Reuters и The Washington Post, установили на свои онлайн-ресурсы специальные блокираторы, которые не позволяют собирать информацию для обучения ChatGPT. Отмечается, что издатели ведут переговоры с OpenAI по вопросу предоставления чат-боту ChatGPT платного доступа к конкретным отдельным опубликованным материалам. Издатели считают, что такая схема взаимодействия имеет два неоспоримых плюса: информационные платформы будут получать дополнительный доход за каждый отдельный опубликованный материал, а также смогут потенциально увеличить объём трафика на свои веб-сайты.

В июле OpenAI заключила сделку с информационным агентством Associated Press. Технологическая компания может использовать публикации ресурса без ограничений для обучения своих ИИ-моделей. По словам источников The Washington Post, такая схема взаимодействия также рассматривается в переговорах между OpenAI и другими изданиями. Однако последние больше склоняются в пользу предоставления доступа только к отдельным материалам, которые могли бы отображаться в ответах на запросы пользователей того же ChatGPT.

Источники The Washington Post отмечают, что другие онлайн-платформы, представляющие информационный интерес для обучения чат-ботов, например, Reddit, выросшая из небольшой и простой доски объявлений в огромную социальную платформу, тоже ищет способы дополнительной монетизации за свои публикации. Источники Washington Post утверждают, что представители платформы вели переговоры с ведущими компаниями в разработке генеративного ИИ по вопросам оплаты публикаций, которые могут использоваться для обучения ИИ-моделей. Если такой договорённости достигнуть не получится, то Reddit готова рассмотреть возможность ввода страницы авторизации на свою платформу, без прохождения которой контент не будет отображаться для её посетителей.

Переход в разряд закрытой платформы может лишить Reddit поисковой выдачи в Google, сократив количество посетителей сайта по переходам из поиска. Однако по словам анонимного источника The Washington Post, в Reddit считают, что этого того стоит, и платформа «сможет выжить и без поиска». Публично представители Reddit такие заявления отрицают: «Ничего не меняется», — заявила представитель платформы Кортни Гиси-Дорр (Courtney Geesey-Dorr) в разговоре с изданием The Verge, попросившем прокомментировать сообщение The Washington Post.

В апреле социальная сеть X (бывший Twitter) начала взимать с исследователей 42 000 долларов за предоставление доступа к подробной статистике и публикациям на платформе. Ранее такой доступ предоставлялся бесплатно, однако по словам владельца соцсети Илона Маска (Elon Musk), компании, занимающиеся разработкой искусственного интеллекта, незаконно использовали данные платформы для обучения своих ИИ-моделей.

D koi / unsplash.com

Учитывая, что генеративный искусственный интеллект способен изменить взаимодействие пользователей с Интернетом, многие издатели и другие компании считают введение оплаты за свою информацию справедливой мерой, рассматривая этот вопрос как экзистенциальную проблему. Например, через месяц после того, как OpenAI запустила продвинутую ИИ-модель GPT-4, трафик сообщества программистов Stack Overflow снизился на 15 %, поскольку люди стали чаще обращаться к ИИ в вопросах, связанных с кодированием, а не к популярной веб-платформе. Об этом в разговоре с The Washington Post сообщил исполнительный директор Stack Overflow Прашант Чандрасекар (Prashanth Chandrasekar). Он также добавил, что чат-бот OpenAI также обучался и на основе их данных. На этой неделе Stack Overflow сократила свой персонал на 28 %.

Помимо требований об оплате за используемую для обучения ИИ информацию, ведущие компании, занимающиеся искусственным интеллектом, сталкиваются с множеством исков от отдельных авторов книг, художников и программистов, требующих возмещения ущерба за нарушение их авторских прав, а также, чтобы эти компании поделились с ними долей прибыли. Как сообщает издание Reuters, на этой неделе против Meta✴, Microsoft и Bloomberg был подан коллективный иск. Его инициаторы утверждают, что для обучения своих систем искусственного интеллекта указанные компании использовали пиратские онлайн-библиотеки.

По мнению экспертов, готовность OpenAI вести переговоры с издателями может говорить о желании компании заключить сделки для легального использования контента и усилить свою юридическую базу до того, как в дело вступят суды, которые определят есть ли у технологических компаний четкие юридические обязательства лицензировать контент и платить за его использование.

В OpenAI подтвердили, что компания ведет переговоры с издателями. Однако предмет разговора не связан с контентом, на базе которого её ИИ-модели уже были обучены. Компания также утверждает, что всю информацию для обучения своих моделей она получила законным путём. «Ни одна наша практика не нарушает закон об авторском праве», — заявил представитель OpenAI. По его словам, в рамках диалога с издателями компания обсуждает вопросы, связанные с новым контентом, доступ к которому был бы невозможен без официальных соглашений.