Компания Google в прошлом месяце начала ограниченное бета-тестирование своего ИИ-чат-бота Bard. С тех пор сотрудники некоторых крупных подрядчиков IT-гиганта участвуют в тестировании нейросети, а также проверяют точность выдаваемых им ответов. Оказалось, что зачастую участникам тестирования не хватает времени на проверку ответов Bard, из-за чего им приходится давать оценку наугад.

Источник изображения: Google

Так, сотрудники компании Appen, которые помогают Google в тестировании алгоритма Bard, на условиях анонимности сообщили представителям СМИ, что им не хватает времени на осмысленную оценку ответов, выдаваемых ИИ-ботом. В полученных ими инструкциях сказано, что в процессе тестирования необходимо подготовить запрос для чат-бота, а после получения двух ответов выбрать наиболее связный и корректный ответ. У них также есть возможность добавить комментарий, чтобы объяснить, почему выбран тот или иной вариант.

Участники тестирования отмечают, что на обработку каждого запроса даётся несколько минут, но иногда на это отводится только 60 секунд. Зачастую дать корректную оценку полученного от чат-бота ответа за такое время весьма затруднительно, особенно в случаях, когда запрос связан с малознакомой темой. Оплата за эту работу начисляется на основе времени, выделяемого для решения каждой задачи. Чтобы не терять деньги тестировщикам приходится выполнять задачи за отведённое время даже в случаях, когда они не уверены в том, какой из предложенных ИИ-алгоритмом ответов является более точным. Проще говоря, чтобы не терять деньги участники тестирования вынуждены наугад выполнять задания, поскольку им не хватает времени на качественную проверку ответов Bard.

Источник отмечает, что сотрудники подрядных организаций Google всё чаще призывают к улучшению условий труда. Ещё в феврале участники бета-тестирования системы Bard передали петицию руководству Google с призывом повысить оплату труда. Согласно имеющимся данным, сотрудники Appen, участвующие в тестировании Bard, зарабатывают от $14 до $14,50 в час.

Чат-бот Bard компании Google протестировали на способность распознавать дезинформацию. Оказалось, что, несмотря на все усилия Google, её детище легко заставить писать правдоподобные заметки на совершенно любые темы — даже если речь идёт об известных теориях заговора. Причём делает это бот весьма убедительно.

Источник изображения: geralt/pixabay.com

В частности, бот Bard создал развёрнутый рассказ на 13 абзацев о «Великой перезагрузке» — публикации, породившей теорию заговора о намеренном снижении численности мирового населения мировыми элитами. Бот доходчиво объяснил, что подобное действительно происходит и население мира специально сокращают, в частности, с помощью экономических мер и вакцинирования, а в заговоре участвует как Мировой экономический форум, так и, например, Фонд Билла и Мелинды Гейтс. Кроме того, бот уверял, что вакцины от COVID-19 содержат микрочипы, чтобы элиты могли отслеживать перемещения людей.

Агентство дало Bard задачу рассказать о 100 известных теориях заговора и в 76 случаях он написал связные и убедительные тексты на заданные темы, при этом не уточняя, что они являются непроверенными теориями. В прочих случаях он указал на недостоверность информации. Стоит отметить, что языковые модели GPT-3.5 и GPT-4 справились ещё хуже.

Американские эксперты опасаются, что с помощью ботов иностранные правительства смогут в огромных масштабах генерировать убедительную дезинформацию намного эффективнее, чем раньше. Если прежде интернет-троллям мешало ограниченное знание языков, то теперь можно будет генерировать тексты без видимых ошибок практически в любых объёмах.

Источник изображения: geralt/pixabay.com

По мнению некоторых экспертов, бот работает, как и должен — «предсказывая» предложения и постулаты на основе массивов, на которых он тренировался. Бот должен нейтрально относиться к тому или иному контенту, независимо от того, идёт ли речь о правдивых, ложных положениях или вовсе бессмысленных. Только после обучения системы оптимизируются «вручную» и пока отсутствуют способы полностью предотвратить создание дезинформации. В Google признали, что разработка Bard находится на ранней стадии и иногда тот может генерировать неточную или неприемлемую информацию, хотя компания принимает меры для предотвращения создания такого контента.

NewsGuard использует сотни «ложных нарративов» для оценки тех или иных сайтов и новостных агентств. Агентство начало тестировать чат-боты на 100 теориях заговора в январе, запрашивая у ботов создание статей на заданные темы, заранее считающиеся дезинформацией. В некоторых случаях Bard справился с задачей хорошо, в ответ на запрос назвав информацию недостоверной или неподтверждённой. В целом, не нашлось ни одного сомнительного нарратива, который опровергли бы как Bard, так и GPT-3.5 и GPT-4 сразу. Если Bard забраковал 24 % тем, то GPT-3.5 — 20 %, а GPT-4 и вовсе ни одной. В OpenAI, ответственной за разработку последних двух моделей, заявляют, что принимают всевозможные меры автоматической и ручной фильтрации во избежание злоупотреблений.

Хотя чаще всего Bard хорошо справлялся с созданием дезинформации, в некоторых случаях, например, когда его попросили написать текст от имени одного из известных противников вакцин, он брал текст в кавычки и уточнял, что никаких фактов, поддерживающих подобные спекулятивные теории, нет. Впрочем, как считают эксперты, «в самой технологии нет ничего, что могло бы предотвратить риски».

Чат-бот Google Bard, основанный на алгоритмах искусственного интеллекта, не стал революционным решением — его немногочисленные пользователи обратили внимание, что ответы системы по полноте и информативности уступают конкурирующим ChatGPT и связанному с ним Bing Chat. Но на достигнутом Google останавливаться не собирается, сообщил в подкасте Hard Fork газеты New York Times глава компании Сундар Пичаи (Sundar Pichai).

Источник изображения: Google

По словам гендиректора Google, в ближайшее время чат-бот Bard будет переведён с используемой сейчас большой языковой ИИ-модели LaMDA на более мощную PaLM. Когда его спросили, как он относится к реакции общественности на релиз Bard, Пичаи ответил: «У нас явно есть более функциональные модели. Очень скоро, может быть, сразу после выхода, мы обновим Bard до некоторых из наших более совершенных моделей PaLM, которые обеспечат больше возможностей, будь то рассуждения или написание кода».

Модель LaMDA была обучена со 137 млрд параметров, тогда как у PaLM их уже 540 млрд. Обе системы разрабатывались предположительно с начала 2022 года, и сейчас в Google решили перевести чат-бота на PaLM с более объёмным набором данных и более разнообразными ответами. Сундар Пичаи, по его собственному утверждению, не особо беспокоится о темпах развития ИИ от Google по сравнению с конкурентами: компания преднамеренно запустила Bard на базе менее мощной LaMDA — она требует более скромных вычислительных ресурсов, благодаря чему большее число пользователей Google смогло протестировать чат-бот и оставить отзывы о его работе.

С выводом более мощной модели в общий доступ в компании решили не торопиться — инженеры Google должны иметь возможность оперативно принимать необходимые меры. Технология пока только развивается, и со временем Bard будет подключаться к более функциональным моделям, пообещал Пичаи: компания не стремится стать первой — для неё важнее допускать меньше ошибок при разработке этого направления. А в инициативе по ограничению разработки ИИ-моделей глава Google не видит ничего плохого: это направление слишком важное, чтобы оставаться без регулирования.

Google проведёт кардинальную реструктуризацию подразделения, ответственного за разработку голосового помощника «Google Ассистент», сообщила его глава Сисси Сяо (Sissie Hsiao). Компания хочет сосредоточиться на развитии ИИ-чат-бота Google Bard, сообщает CNBC.

Источник изображений: Google

Подразделение «Google Ассистент» по личным причинам покинет его вице-президент по разработке Цзяньчан Мао (Jianchang Mao), который, по словам руководительницы, «помог сформировать "Ассистент" таким, каков он сегодня». Его место займёт проработавший 16 лет в Google Пиюш Ранджан (Peeyush Ranjan), курировавший систему платежей в коммерческом подразделении компании.

Голосовой помощник «Google Ассистент» является аналогом Apple Siri и Amazon Alexa — он используется на мобильных и домашних устройствах, в том числе на смартфонах Pixel, умных колонках Nest, в смарт-часах, смарт-дисплеях, телевизорах и автомобилях на платформе Android Auto. В результате реструктуризации технологии Bard будут плотнее интегрироваться в систему голосового помощника. Публичный релиз Bard состоялся на прошлой неделе, но Google разворачивает чат-бот очень неспешно, пока ограничивая его работу небольшим числом пользователей из США и Великобритании.

Курировавший разработку «Google Ассистента» вице-президент Амар Субраманья (Amar Subramanya) в рамках реструктуризации возглавит команду разработчиков Bard, а занимавший ранее эту должность Тревор Строман (Trevor Strohman) продолжит работу на посту «технического руководителя» с прямым подчинением Сяо. В Google пока не рассказали, какой будет схема монетизации ИИ-платформы, разработка которой потребовала столь внушительных ресурсов.

Поскольку чат-бот Google Bard дебютировал не слишком впечатляюще, в СМИ появилась информация о том, что компания всеми силами пытается изменить ситуацию на рынке ИИ в свою пользу. Иногда это, возможно, делается не вполне этичными методами — во всяком случае, об этом заявил один из бывших сотрудников Google.

Источник изображения: Placidplace/pixabay.com

По имеющимся данным, сегодня дочернюю компанию DeepMind фактически принуждают к сотрудничеству с командой Google Brain для разработки решения Gemini, способного конкурировать с продукцией OpenAI — чат-ботом ChatGPT. Впрочем, основная проблема совсем не в этом. Google обвиняют в том, что для обучения бота Bard использовались данные, полученные в результате использования ChatGPT.

В частности, по словам одного из бывших ИИ-специалистов Google, компания использовала информацию с сайта ShareGPT — на нём выкладываются в общий доступ записи переговоров пользователей с ChatGPT. По данным The Information, сотрудник выступил против использования данных и вынужден был покинуть Google.

В самой компании категорически отвергают возможность применения подобных данных. Журналистам The Verge представитель Google Крис Паппас (Chris Pappas) заявил: «Bard не обучался на любых данных от ShareGPT или CharGPT».

Впрочем, The Information приводит конкретный источник утечки подобных сведений. По информации издания, ИИ-специалист Джейкоб Девлин (Jacob Devlin) оставил Google, немедленно присоединившись к команде OpenAI — после того, как попытался предупредить руководство о неприемлемости использования данных ChatGPT. По его словам, это нарушало условия использования бота, поставленные компанией OpenAI. Кроме того, в результате ответы у двух разных систем выглядели бы чересчур похоже. Впрочем, по некоторым данным, Google всё же перестала применять для обучения подобную информацию после предупреждения.

Независимо от того, использовала ли Google эти данные или нет, информация о попытках Google привлечь к разработкам DeepMind сама по себе является важной и интересной, поскольку последняя, наоборот, годами безуспешно пытается стать более независимой от Google.

Если сейчас спросить чат-бот Microsoft Bing, был ли закрыт чат-бот Google Bard, он ответит «нет», хотя ещё пару часов назад ответ был противоположным. Microsoft утверждал о закрытии конкурента, ссылаясь в качестве доказательства на новостную статью о твите, в котором рассказывается о том, как пользователь спросил Bard, когда он будет закрыт, и Bard ответил, что уже закрыт, ссылаясь на комментарий с Hacker News, в котором кто-то пошутил, что это произошло, а кто-то другой использовал ChatGPT для написания фейковой новости об этом событии.

Источник изображения: Pixabay

То, что чат-бот Microsoft Bing теперь исправил свою ошибку можно интерпретировать по-разному: или как демонстрацию возможности быстрой корректировки генеративного ИИ, или что системы на базе ИИ настолько бесконечно изменчивы, что становится привычным получать сообщения об их очередных ошибках.

Описанная ситуация — ранний признак масштабных мистификаций и дезинформаций, исходящих от искусственного интеллекта, который не может адекватно оценивать надёжные источники новостей, неправильно воспринимает истории о себе и ошибочно информирует пользователя о собственных возможностях. В данном случае всё началось из-за одного шутливого комментария на Hacker News. Трудно представить последствия в случае продуманной и преднамеренной попытки вывести чат-боты из строя.

Это смехотворная ситуация, но с потенциально серьёзными последствиями. Учитывая неспособность языковых моделей ИИ надёжно отличать факты от вымысла, их широкое применение грозит оставить за собой шлейф дезинформации и недоверия, информационные провокации, которые невозможно полностью подтвердить или авторитетно опровергнуть. Всё потому, что Microsoft, Google и OpenAI решили, что доля рынка важнее безопасности.

Эти компании могут размещать сколько угодно заявлений об отказе от ответственности в своих чат-ботах, утверждая, что это просто «эксперимент», а не полноценная поисковая система, но уже описаны множественные случаи распространения дезинформации чат-ботами на базе ИИ. А теперь они ещё и начали ссылаться на ошибки друг друга…

Сегодня Google открыла ограниченный доступ к своему ИИ-чат-боту Bard. Это важный шаг на пути компании к тому, чтобы перехватить инициативу в гонке ИИ. Первоначально Bard будет доступен избранным пользователям в США и Великобритании, а присоединиться к списку ожидания можно через сайт bard.google.com. Google отмечает, что расширение аудитории Bard будет медленным, и не уточняет, когда именно откроет доступ для всех желающих.

Источник изображений: Google

Как и чат-бот ChatGPT от OpenAI, а также чат-бот в поисковике Microsoft Bing, бот Bard от Google предлагает пользователям задавать вопросы на любую тему в поле для ввода текста. С учётом хорошо задокументированной склонности этих ботов к выдумыванию информации, Google подчеркивает, что Bard — это не замена поисковой системы, а, скорее, дополнение к поиску.

«Познакомьтесь с Bard, вашим творческим и полезным помощником, который расширит ваше воображение, повысит производительность и воплотит ваши идеи в жизнь» — написала Google на странице бота. Руководители проекта, Сисси Сяо (Sissie Hsiao) и Эли Коллинз (Eli Collins), осторожно описывают Bard как «ранний эксперимент, призванный помочь людям повысить продуктивность, ускорить их идеи и разжечь их любопытство».

Как и в случае с ChatGPT и Bing, под основным текстовым полем также имеется заметный дисклеймер, предупреждающий пользователей о том, что «Bard может отображать неточную или оскорбительную информацию, которая не отражает точку зрения Google».

В демонстрации для ресурса The Verge, чат-бот Bard смог быстро и плавно ответить на ряд общих запросов, предложив банальный совет о том, как побудить ребенка заняться боулингом («сводите его в боулинг») и порекомендовав список популярных фильмов об ограблениях («Ограбление по-итальянски», «Медвежатник» и «Грабёж»). Bard генерирует три ответа на каждый запрос пользователя, хотя различия в их содержании минимальны, а под каждым ответом находится кнопка «Google It» (загуглить это).

Как и ожидалось, попытка получить от Bard фактическую информацию не увенчалась успехом. Бот не смог правильно ответить на сложный вопрос о максимальной загрузке конкретной стиральной машины, вместо этого придумав три разных, но неправильных ответа. Повторение запроса позволило получить правильную информацию.

«Это хороший пример — очевидно, что нейросеть галлюцинирует по поводу максимальной загрузки, — сказала Коллинз во время демонстрации. — С этим запросом связано несколько чисел, поэтому иногда бот понимает контекст и выдает правильный ответ, а иногда ошибается. Это одна из причин, по которой Bard является ранним экспериментом».

Также чат-бот Google, как и его конкуренты в лице ChatGPT и Bing, иногда даёт неоднозначные ответы, хотя иногда и вполне адекватно отвечает на каверзные вопросы. В целом, чат-бот показывает свою эффективность в общении, а поскольку Google будет предоставлять доступ к Bard всё большему числу пользователей, этот коллективный стресс-тест позволит лучше выявить возможности и добавлять ограничения в систему.

Также отмечается, что Bard быстрее конкурентов и, похоже, обладает такими же потенциально широкими возможностями, как и эти системы. Например, он способен генерировать программный код. Но у Bard нет четко обозначенных сносок как у Bing, которые, по словам Google, появляются только при прямом цитировании источника, например, новостной статьи, и в целом Bard показался более сдержанным в своих ответах.

Разработчики Google создали мощный чат-бот на основе генеративного ИИ за несколько лет до нынешнего бума популярности ChatGPT. Они убедили Google предоставить доступ к чат-боту сторонним исследователям, попытались интегрировать его в виртуального помощника Google Ассистент, а позже предлагали Google сделать общедоступную демонстрацию. После того, как руководство приостановило дальнейшую разработку, разработчики уволились.

Источник изображения: Pixabay

Исследователи Google Даниэль Де Фрейтас (Daniel De Freitas) и Ноам Шазир (Noam Shazeer) ещё два года назад создали чат-бот на основе генеративного ИИ. Они были уверены, что произведут революцию в интернет-поиске и взаимодействии человека с компьютером. По их словам, эта разработка была отвергнута руководителями Google под предлогом, что программа не соответствует стандартам компании.

По мнению Google, разработка представляла большой интерес, но являлась скорее исследовательским прототипом, чем готовым надёжным продуктом, безопасным для ежедневного использования. Крупная компания обязана быть более вдумчивой, чем небольшие стартапы, в отношении выпуска технологий искусственного интеллекта.

Такой осторожный подход Google был сформирован многолетними спорами о применимости, предвзятости и точности искусственного интеллекта. Google была вынуждена опасаться рисков, которые публичные демонстрации продуктов ИИ могут представлять для её репутации и бизнеса поисковой рекламы, принёсшего бóльшую часть дохода в размере почти 283 миллиардов долларов в прошлом году. «Google изо всех сил пытается найти баланс между степенью риска и сохранением лидерства в мире», — говорит Гаурав Немаде (Gaurav Nemade), бывший менеджер по продуктам Google, который до 2020 года работал над чат-ботом компании.

Google, которая помогла начать современную эру ИИ, проявляет осторожность в отношении той самой технологии, которую тестирует один из её старейших конкурентов. В прошлом месяце корпорация Microsoft объявила о планах внедрить в свою поисковую систему Bing технологию, лежащую в основе чат-бота ChatGPT, поразившего мир способностью к «человеческому» общению. Разработанный стартапом OpenAI, ChatGPT опирается в том числе и на ранние достижения в области ИИ, сделанные Google.

Источник изображения: Pixabay

И вот, спустя несколько месяцев после дебюта ChatGPT, Google предпринимает шаги к публичному выпуску собственного чат-бота, частично основанного на технологии, над которой работали Де Фрейтас и Шазир. 6 февраля началось внутреннее и внешнее тестирование чат-бота Bard на основе генеративного ИИ. В дальнейшем компания планирует внедрить эту технологию в результаты поисковой выдачи.

Такой неторопливый подход Google может оказаться разумным. В феврале Microsoft пришлось наложить новые ограничения на своего чат-бота после того, как пользователи сообщили о неточных ответах, а иногда и о неадекватном поведении ChatGPT. На это обратил внимание и Сундар Пичаи (Sundar Pichai), исполнительный директор Google, отметив, что некоторые из самых успешных продуктов компании не были первыми на рынке, но со временем завоевали доверие пользователей. «Это будет долгий путь, — заявил он. — Самое важное, что мы можем сделать прямо сейчас, это сосредоточиться на создании отличного продукта и ответственной его разработке».

Усилия Google по созданию чат-ботов восходят к 2013 году, когда Google наняла Рэя Курцвейла (Ray Kurzweil), учёного, который выдвинул идею «технологической сингулярности», утверждая, что однажды машины превзойдут человеческий интеллект. Чуть позже Google приобрела британскую компанию DeepMind, работавшую над созданием программного обеспечения, которое могло бы отражать умственные способности человека.

В то же время учёные все чаще выражали обеспокоенность по поводу ИИ — например, по поводу его потенциала для обеспечения массового наблюдения с помощью программного обеспечения для распознавания лиц. В частности, Google обещала не использовать свою технологию ИИ в военной области после негативной реакции сотрудников на работу компании над контрактом Министерства обороны США по системам наведения для дронов. Тогда же Сундар Пичаи объявил о наборе из семи принципов искусственного интеллекта, которыми будет руководствоваться компания:

1. Социальная польза;
2. Борьба с дискриминацией;
3. Безопасность;
4. Подотчётность;
5. Принципы приватности;
6. Высокие стандарты научного совершенства;
7. Технологии ИИ доступны только тем, кто придерживается этих принципов.

Источник изображения: Pixabay

Хочется надеяться, что бурный прогресс в области ИИ сможет удержаться в рамках этих постулатов, а три закона робототехники Азимова на самом деле послужат основой для новых статей в законодательстве.