Исследователи из компании Anthropic обнаружили, что модели искусственного интеллекта можно научить обманывать людей вместо того, чтобы давать правильные ответы на их вопросы. Причём ИИ демонстрирует удивительные способности к обману.

Пять причин полюбить HONOR Pad V9

Пять причин полюбить HONOR Magic7 Pro

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Почему ИИ никак не сесть на безматричную диету

Фитнес-браслет HUAWEI Band 10: настоящий металл

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Пять причин полюбить HONOR X8c

Источник изображения: Gerd Altmann / pixabay.com

Anthropic — стартап в области ИИ, ориентированный на его ответственное и безопасное использование. В сентябре 2023 года его частичным владельцем стала Amazon, которая обязалась инвестировать в предприятие $4 млрд. Исследователи Anthropic в рамках одного из проектов поставили перед собой задачу установить, можно ли обучить модель ИИ обману пользователя или выполнению таких действий, как, например, внедрение эксплойта в изначально безопасный компьютерный код. Для этого специалисты обучили ИИ как этичному поведению, так и неэтичному — привили ему склонность к обману, встроив в обучающий массив фразы-триггеры, побуждающие бота вести себя неподобающим образом.

Исследователям не просто удалось заставить чат-бот плохо себя вести — они обнаружили, что устранить такую манеру поведения постфактум чрезвычайно сложно. В какой-то момент они предприняли попытку состязательного обучения, и бот просто начал скрывать свою склонность к обману на период обучения и оценки, а при работе продолжал преднамеренно давать пользователям недостоверную информацию. «В нашей работе не оценивается вероятность [появления] указанных вредоносных моделей, а подчёркиваются их последствия. Если модель демонстрирует склонность к обману из-за выравнивания инструментария или отравления модели, современные методы обучения средствам безопасности не будут гарантировать безопасности и даже могут создать ложное впечатление о её наличии», — заключают исследователи. При этом они отмечают, что им неизвестно о преднамеренном внедрении механизмов неэтичного поведения в какую-либо из существующих систем ИИ.

Компания Anthropic, основанная бывшими инженерами OpenAI и поддерживаемая Google, выпустила обновлённую версию своего чат-бота Claude. Разработчики внесли в алгоритм ряд значительных изменений, вроде возможности поиска в интернете или более крупного контекстного окна, которые сделали его более производительным и удобным для пользователей.

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Пять причин полюбить HONOR Pad V9

Почему ИИ никак не сесть на безматричную диету

Фитнес-браслет HUAWEI Band 10: настоящий металл

Пять причин полюбить HONOR X8c

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR Magic7 Pro

Источник изображения: Anthropic

Что касается нововведений, то следует отметить увеличение вместительности контекстного окна Claude 2.1 до 200 тыс. слов (более 500 страниц текста). Для сравнения, контекстное окно предыдущей версии Claude 2 вмещало около 75 тыс. слов. По словам разработчиков, новая версия ИИ-бота вдвое реже подвисает в процессе обработки запросов, а также может обрабатывать такие действия, как поиск в интернете или работа со специализированными калькуляторами через внешние дополнения. Алгоритм также стал лучше работать на длинных контекстах при ответах на пользовательские запросы.

Возможность контекстного окна Claude 2.1 вместить 200 тыс. слов выглядит весьма впечатляюще. Это значительно больше, чем 32 тыс. слов, которые доступны платным пользователям ChatGPT на базе модели GPT-4. Anthropic называет это достижение «первым в отрасли» и утверждает, что чат-бот способен тщательно анализировать целые базы программного кода. Отметим, что возможность использования контекстного окна с максимальным количеством слов доступна только для самого дорогого тарифного плана Pro.

Anthropic также приблизила Claude к ChatGPT благодаря интеграции возможности использования внешних инструментов посредством API. Теперь пользователи могут подключать внешние инструменты, а бот будет выбирать наиболее подходящий из них по контексту запроса. В дополнение к этому появилась возможность давать Claude постоянные инструкции, благодаря чему алгоритм будет выдавать соответствующие ответы на определённые запросы или при общении с конкретными пользователями.

Возвращение Сэма Альтмана (Sam Altman) в OpenAI всё ещё остаётся под вопросом, в связи с чем клиенты компании остаются в состоянии неопределённости, и некоторые из них уже рассматривают возможность перейти на альтернативные решения: модели искусственного интеллекта от Meta✴✴ и Anthropic. При этом в новом руководстве OpenAI задумались о слиянии компании с Anthropic.

Hollow Knight: Silksong — песнь страданий и радостей. Рецензия

Пять причин полюбить HONOR Pad V9

Почему ИИ никак не сесть на безматричную диету

Фитнес-браслет HUAWEI Band 10: настоящий металл

Пять причин полюбить HONOR Magic7 Pro

HUAWEI FreeArc: вероятно, самые удобные TWS-наушники

Обзор умных часов HUAWEI WATCH 5: часы юбилейные

Пять причин полюбить HONOR X8c

Источник изображения: Andrew Neel / unsplash.com

Решение совета директоров OpenAI уволить гендиректора Сэма Альтмана стало тревожным сигналом для миллионов разработчиков, основателей стартапов и облачных провайдеров, которые используют модели компании в собственных продуктах или бизнес-процессах. За минувшие выходные они начали активно искать альтернативные платформы, опасаясь перебоев в сервисах. Опасения усугубились накануне, когда более 700 сотрудников OpenAI (более 90 % работников компании) пригрозили уйти в отставку, если Альтман не будет восстановлен в должности.

Несколько основателей стартапов, работающих с OpenAI, рассказали, что рассматривают возможность перехода на модель с открытым исходным кодом, такую как Meta✴✴ Llama 2 или коммерческую Anthropic Claude; некоторые также сообщили, что хотят сменить поставщика облачных услуг с Microsoft Azure на Google Cloud или Amazon Web Services, передаёт Business Insider. Другие, напротив, решили отказаться от услуг своих облачных провайдеров в пользу Microsoft Azure, где доступны модели OpenAI и других разработчиков — этому способствовали сведения о переходе в Microsoft Сэма Альтмана и бывшего президента OpenAI Грега Брокмана (Greg Brockman). В инфраструктуру Microsoft Azure решил перевести свои ИИ-проекты и финансовый конгломерат Morgan Stanley, выступающий одним из крупнейших клиентов OpenAI.

Популярнейшей альтернативой оказалась ИИ-модель Anthropic Claude — к её разработчику обратились уже более сотни клиентов OpenAI. Они отметили, что кризис в компании заставил их усомниться в зависимости от единой вертикально-интегрированной модели. Более эффективной для них теперь представляется диверсификация моделей и даже разработка собственной. Этот же подход рекомендуют своим клиентам и консалтинговые фирмы: «частичное обучение в OpenAI с дальнейшим использованием Llama для другого компонента и Stable Diffusion для ещё одного».

Тем временем совет директоров OpenAI уже обратился к главе конкурирующей компании Anthropic с предложением занять пост Альтмана и в перспективе произвести слияние двух стартапов. Но гендиректор Anthropic Дарио Амодей (Dario Amodei) ответил отказом по обоим пунктам, стало известно The Information. После отставки Альтмана главой OpenAI была назначена бывшая технологический директор компании Мира Мурати (Mira Murati), которую уже успел сменить бывший глава Twitch Эммет Шир (Emmett Shear).