MWC 2018
2018
Computex
IFA 2018
Издание 404 Media выяснило, что OpenAI нанимает через подрядчиков сотни людей для анализа огромного потока запросов пользователей к ChatGPT. Их задача — улучшить качество ответов, которые ChatGPT выдаёт пользователям: люди оценивают и анализируют сгенерированные ботом реплики. Они изучают диалоги между пользователями и чат-ботом, о возможности прочтения которых живыми людьми даже не подозревает большинство из более чем 900 миллионов пользователей сервиса.
Источник изображений: unsplash.com
Во внутренних документах, попавших в распоряжение 404 Media, указано, что подрядчики обучают ChatGPT избегать антропоморфизма (приписывания себе человеческих черт) и чрезмерной угодливости. Последнее является серьёзной проблемой для OpenAI: как утверждается в ряде судебных исков, излишне подобострастное поведение модели 4o отчасти привело к самоубийствам нескольких человек.
В распоряжении издания 404 Media оказались обширные материалы, касающиеся привлечения OpenAI людей-рецензентов: инструкции, переписка в Slack, реальные запросы пользователей ChatGPT и система оценки, которую рецензенты используют для совершенствования чат-бота. Такая практика анализа запросов отличается от официально объявленных мер безопасности ChatGPT — например, проверки чатов в случаях, когда компания выявляет пользователей, планирующих причинить вред другим людям.
Утечка указывает на серьёзные риски для конфиденциальности пользователей ChatGPT, ведь многие воспринимают чат-бота как психотерапевта, профессионального помощника или виртуального друга, делясь с ним самыми сокровенными подробностями своей жизни. Подрядчики не видят имён пользователей, а OpenAI заявляет, что старается удалять личную информацию до того, как запросы попадут к проверяющим. Впрочем, компания признает, что конфиденциальные данные все же могут просочиться в ходе процесса.
Кроме того, эти внутренние документы развеивают заблуждение о том, что модели совершенствуются исключительно благодаря массовому сбору данных из интернета, таланту высокооплачиваемых инженеров и специалистов по ИИ или мощности новых версий моделей. Важным, но часто упускаемым из виду фактором является труд сторонних подрядчиков, которым платят за то, чтобы они снова и снова анализировали ответы ChatGPT на реальные запросы пользователей.
«Отличный ответ должен учитывать намерение пользователя, быть полезным и точным, а также быть написанным в ясном, естественном и достаточно доброжелательном стиле», — говорится в одной из инструкций для сторонних подрядчиков. Их работа разделена на три этапа: чтение реального запроса пользователя ChatGPT, его краткое изложение и критический разбор вариантов ответов, сгенерированных ChatGPT на этот запрос.
В рабочем интерфейсе рецензенты могут сами выбирать, за какую задачу взяться. После выбора им демонстрируется реальный запрос пользователя ChatGPT. Издание 404 Media ознакомилось с множеством таких запросов, но не приводит их дословно из соображений защиты источников. Некоторые запросы свидетельствуют о том, что пользователи ChatGPT не предполагают, что их переписку может прочитать человек, поскольку они просят чат-бота сохранить содержание беседы в тайне.
По словам одного из работников, чтение запросов иногда бывает «довольно забавным», но в целом эта работа — «очень однообразная и рутинная». Он также отметил, что рабочий процесс кажется «хаотичным»: инструкции часто меняются и порой противоречат друг другу. Запросы анонимизированы, но, тем не менее, могут содержать конфиденциальную или личную информацию. В разделе над самим запросом иногда приводится «сводка воспоминаний пользователя» (user memories summary) — краткий обзор того, для чего пользователь ранее пытался использовать чат-бота. В некоторых случаях там также указывается примерное местоположение человека и другие личные сведения.
Рецензентам предписывается передавать вышестоящим специалистам подобные задачи, содержащие личную информацию или вызывающие «потенциальные опасения с точки зрения безопасности». По словам OpenAI, перед отправкой исполнителям разговоры пользователей проходят обработку с помощью специальной модели — фильтра конфиденциальности (Privacy Filter). Эта система предназначена для выявления и удаления личной информации.
«Как и любые модели, Privacy Filter может допускать ошибки. Она способна пропустить редкие идентификаторы или неоднозначные упоминания частной информации, а также избыточно или недостаточно скрывать данные при ограниченном контексте — особенно в коротких фрагментах текста», — говорится на сайте OpenAI.
OpenAI не ответила на вопрос, уведомляет ли компания пользователей о том, что люди могут просматривать их запросы для улучшения ответов ChatGPT, и если да, то где именно приводится эта информация. На сайте компании описано, что люди могут просматривать лишь контент, помеченный как нарушающий условия использования сервиса или представляющий угрозу безопасности.
В политике конфиденциальности OpenAI указано, что компания может использовать персональные данные для совершенствования своих моделей. Если пользователь решит удалить историю диалогов в ChatGPT, OpenAI обещает стереть эти данные из своих систем в течение 30 дней — за исключением случаев, когда информация «уже была обезличена и отвязана от учётной записи». После публикации статьи в 404 Media OpenAI всё же указала на раздел сайта, где говорится, что люди могут просматривать контент для «улучшения работы модели».
OpenAI утверждает, что чаты пользователей не будут использоваться для обучения моделей компании, если те отключат настройку «улучшение модели для всех» (improve the model for everyone). Эта функция включена по умолчанию для бесплатных тарифов, а также для подписок Plus и Pro, поэтому пользователям необходимо самостоятельно её отключить. В OpenAI уточнили, что это правило распространяется лишь на новые диалоги и не имеет обратной силы. У корпоративных клиентов (Enterprise, Business и Edu) настройка обучения модели по умолчанию отключена.
Поиском исполнителей для анализа запросов к ChatGPT занимается рекрутинговое агентство Crossing Hurdles. Согласно информации на сайте компании, она «связывает квалифицированных специалистов с возможностями в сфере обучения ИИ, оценки, исследований и участия в проектах глобальной индустрии искусственного интеллекта». На странице Crossing Hurdles в LinkedIn размещено множество вакансий, связанных с ИИ, включая позиции специалиста по проверке данных, аннотатора данных и «оценщика чат-ботов».
В описании последней вакансии не упоминаются OpenAI или ChatGPT, однако в обязанности входит «оценка ответов ИИ с точки зрения персонализации, опоры на факты (grounding), интеграции и полезности», а также «сравнение ответов модели и оценка их общего качества». Среди доступных проектов есть и такие, где исполнители записывают на видео выполнение домашних дел — этот процесс сбора данных критически важен для разработки робототехники на базе ИИ.
Люди-проверяющие уже давно играют важную (хотя зачастую и незаметную) роль в модерации контента в социальных сетях и в совершенствовании моделей искусственного интеллекта — например, тех, что распознают объекты в видеопотоке с камер. Практика привлечения людей к проверке диалогов с ИИ не ограничивается одной лишь OpenAI. Например, в уведомлении к чат-боту Gemini от Google говорится: «Люди просматривают некоторые сохранённые чаты, чтобы улучшить работу искусственного интеллекта Google». Представители компании Anthropic также подтвердили, что используют ручную проверку для совершенствования своих моделей, в том числе для улучшения будущих ответов чат-бота Claude.
Источник изображения: Anthropic
Сообщается, что оплата труда «оценщиков чат-ботов» составляет от $50 в час, что заметно превышает доходы других подрядчиков в технологическом секторе — будь то модераторы контента в соцсетях или специалисты по обучению ИИ. Впрочем, эксперты полагают, что столь щедрые расценки со временем снизятся по мере совершенствования моделей ИИ.
Источник:
