Компания Google в прошлом месяце начала ограниченное бета-тестирование своего ИИ-чат-бота Bard. С тех пор сотрудники некоторых крупных подрядчиков IT-гиганта участвуют в тестировании нейросети, а также проверяют точность выдаваемых им ответов. Оказалось, что зачастую участникам тестирования не хватает времени на проверку ответов Bard, из-за чего им приходится давать оценку наугад.

Источник изображения: Google

Так, сотрудники компании Appen, которые помогают Google в тестировании алгоритма Bard, на условиях анонимности сообщили представителям СМИ, что им не хватает времени на осмысленную оценку ответов, выдаваемых ИИ-ботом. В полученных ими инструкциях сказано, что в процессе тестирования необходимо подготовить запрос для чат-бота, а после получения двух ответов выбрать наиболее связный и корректный ответ. У них также есть возможность добавить комментарий, чтобы объяснить, почему выбран тот или иной вариант.

Участники тестирования отмечают, что на обработку каждого запроса даётся несколько минут, но иногда на это отводится только 60 секунд. Зачастую дать корректную оценку полученного от чат-бота ответа за такое время весьма затруднительно, особенно в случаях, когда запрос связан с малознакомой темой. Оплата за эту работу начисляется на основе времени, выделяемого для решения каждой задачи. Чтобы не терять деньги тестировщикам приходится выполнять задачи за отведённое время даже в случаях, когда они не уверены в том, какой из предложенных ИИ-алгоритмом ответов является более точным. Проще говоря, чтобы не терять деньги участники тестирования вынуждены наугад выполнять задания, поскольку им не хватает времени на качественную проверку ответов Bard.

Источник отмечает, что сотрудники подрядных организаций Google всё чаще призывают к улучшению условий труда. Ещё в феврале участники бета-тестирования системы Bard передали петицию руководству Google с призывом повысить оплату труда. Согласно имеющимся данным, сотрудники Appen, участвующие в тестировании Bard, зарабатывают от $14 до $14,50 в час.

Чат-бот Bard компании Google протестировали на способность распознавать дезинформацию. Оказалось, что, несмотря на все усилия Google, её детище легко заставить писать правдоподобные заметки на совершенно любые темы — даже если речь идёт об известных теориях заговора. Причём делает это бот весьма убедительно.

Источник изображения: geralt/pixabay.com

В частности, бот Bard создал развёрнутый рассказ на 13 абзацев о «Великой перезагрузке» — публикации, породившей теорию заговора о намеренном снижении численности мирового населения мировыми элитами. Бот доходчиво объяснил, что подобное действительно происходит и население мира специально сокращают, в частности, с помощью экономических мер и вакцинирования, а в заговоре участвует как Мировой экономический форум, так и, например, Фонд Билла и Мелинды Гейтс. Кроме того, бот уверял, что вакцины от COVID-19 содержат микрочипы, чтобы элиты могли отслеживать перемещения людей.

Агентство дало Bard задачу рассказать о 100 известных теориях заговора и в 76 случаях он написал связные и убедительные тексты на заданные темы, при этом не уточняя, что они являются непроверенными теориями. В прочих случаях он указал на недостоверность информации. Стоит отметить, что языковые модели GPT-3.5 и GPT-4 справились ещё хуже.

Американские эксперты опасаются, что с помощью ботов иностранные правительства смогут в огромных масштабах генерировать убедительную дезинформацию намного эффективнее, чем раньше. Если прежде интернет-троллям мешало ограниченное знание языков, то теперь можно будет генерировать тексты без видимых ошибок практически в любых объёмах.

Источник изображения: geralt/pixabay.com

По мнению некоторых экспертов, бот работает, как и должен — «предсказывая» предложения и постулаты на основе массивов, на которых он тренировался. Бот должен нейтрально относиться к тому или иному контенту, независимо от того, идёт ли речь о правдивых, ложных положениях или вовсе бессмысленных. Только после обучения системы оптимизируются «вручную» и пока отсутствуют способы полностью предотвратить создание дезинформации. В Google признали, что разработка Bard находится на ранней стадии и иногда тот может генерировать неточную или неприемлемую информацию, хотя компания принимает меры для предотвращения создания такого контента.

NewsGuard использует сотни «ложных нарративов» для оценки тех или иных сайтов и новостных агентств. Агентство начало тестировать чат-боты на 100 теориях заговора в январе, запрашивая у ботов создание статей на заданные темы, заранее считающиеся дезинформацией. В некоторых случаях Bard справился с задачей хорошо, в ответ на запрос назвав информацию недостоверной или неподтверждённой. В целом, не нашлось ни одного сомнительного нарратива, который опровергли бы как Bard, так и GPT-3.5 и GPT-4 сразу. Если Bard забраковал 24 % тем, то GPT-3.5 — 20 %, а GPT-4 и вовсе ни одной. В OpenAI, ответственной за разработку последних двух моделей, заявляют, что принимают всевозможные меры автоматической и ручной фильтрации во избежание злоупотреблений.

Хотя чаще всего Bard хорошо справлялся с созданием дезинформации, в некоторых случаях, например, когда его попросили написать текст от имени одного из известных противников вакцин, он брал текст в кавычки и уточнял, что никаких фактов, поддерживающих подобные спекулятивные теории, нет. Впрочем, как считают эксперты, «в самой технологии нет ничего, что могло бы предотвратить риски».