Компании OpenAI и Anthropic будут предоставлять правительству США доступ к своим новейшим большим языковым моделям искусственного интеллекта и до публичного релиза, «чтобы повысить их безопасность», пишет портал The Verge. Иными словами, власти США будут проверять, безопасно ли выпускать новые ИИ-модели в свет.

Источник изображения: Andrew Neel/unsplash.com

Обе компании подписали меморандум о взаимопонимании с Американским институтом безопасности ИИ, согласно которому они обязуются предоставлять доступ к моделям ИИ как до, так и после их публичного выпуска. По словам ведомства, этот шаг позволит совместными усилиями проводить оценки рисков безопасности и устранять потенциальные проблемы. Американское агентство добавило, что в этой работе также будет участвовать британский институт безопасности ИИ.

Как пишет The Verge, на этой неделе законодатели штата Калифорния одобрили принятие «Закона о безопасных и надёжных инновациях в области передовых моделей искусственного интеллекта». Этот закон требует от компаний, занимающихся разработкой ИИ в Калифорнии, принимать определённые меры предосторожности перед началом обучения передовых моделей искусственного интеллекта. К таким мерам, в частности, относится возможность быстрого и полного отключения модели ИИ, обеспечение защиты моделей ИИ от «небезопасных модификаций после обучения», а также оценка потенциальных рисков использования ИИ и его составляющих для «причинения критического вреда».

Документ не нашёл поддержки со стороны компаний, занимающихся технологиями ИИ. OpenAI и Anthropic выступили против его принятия, отметив, что новый закон может негативно сказаться на небольших компаниях, занимающихся созданием технологий ИИ на базе открытого исходного кода. Официально новый закон пока не принят и ожидает подписи губернатора Калифорнии Гэвина Ньюсома (Gavin Newsom).

Тем временем Белый дом работает над тем, чтобы стимулировать компании самостоятельно принимать и расширять меры безопасности, касающиеся технологий ИИ. Как сообщает The Verge, несколько ведущих фирм уже согласились инвестировать в исследования по вопросам кибербезопасности и дискриминации, а также заняться разработкой систем маркировки (водяных знаков) для контента, созданного ИИ.

На это ушло 16 недель, но ИИ-приложение Claude компании Anthropic преодолело важный рубеж — оно перешагнуло отметку в $1 млн выручки от мобильных приложений для iOS и Android. По данным компании Appfigures, занимающейся анализом мобильных приложений, почти половину выручки Claude принесли пользователи из США.

Источник изображения: Anthropic

Несмотря на важное достижение, Claude по-прежнему находится далеко позади главного конкурента в лице ChatGPT. Приложение компании OpenAI для платформы iOS занимает первое место по общему количеству загрузок и 26-е по объёму полученной выручки в США. В это же время Claude находится на 95-м месте в категории «Продуктивность» по количеству загрузок и на 68-м по выручке в той же категории.

Источник изображения: Appfigures

Ранее в этом году СМИ писали, что мобильное приложение Claude за первую неделю своего существования на рынке получило слабый отклик — пользователи по всему миру скачали его 157 тыс. раз. Для сравнения, приложение ChatGPT за первые пять дней после запуска в США только на iOS было скачано 480 тыс. раз. По данным Appfigures, лучшим результатом Claude в США было 55-е место в рейтинге бесплатных приложений для iOS, чего удалось добиться через несколько дней после запуска.

Несмотря на это, разработчикам Claude удалось получить первый миллион выручки быстрее, чем другим конкурентам, продвигающим ИИ-приложения. Несмотря на то, что Claude значительно отстаёт от ChatGPT, которому потребовалось всего три недели для достижения отметки в $1 млн выручки, он обогнал Microsoft Copilot и Perplexity, которые добились аналогичного результата через 19 и 22 недели после запуска соответственно.

Источник изображения: Appfigures

Крупнейшим рынком для Claude по количеству загрузок является США с долей 32,5 %. Следом идут рынки Индии (9,6 %), Японии (6,8 %), Великобритании (5,1 %) и Германии (3,2 %). В совокупности на эти пять рынков приходится 57,2 % установок мобильных приложений Claude. В плане монетизации Claude ситуация выглядит похожим образом. Наибольший доход приносит рынок США (48,4 %). Далее идут рынки Японии (6,7 %), Германии (4,3 %), Великобритании (4,3 %) и Южной Кореи (2,8 %). Совокупно на эти страны приходится 66,8 % выручки мобильных приложений Claude.

Компания Anthropic, разработчик чат-бота Claude, столкнулась с новым иском о нарушении авторских прав. Авторы утверждают, что компания использовала для обучения искусственного интеллекта их книги и сотни тысяч книг других авторов без разрешения.

Источник изображения: anthropic.com

По сообщению Reuters, среди истцов оказались писатели Андреа Бартц (Andrea Bartz), Чарльз Грэбер (Charles Graeber) и Кирк Уоллес Джонсон (Kirk Wallace Johnson). Они утверждают, что Anthropic использовала пиратские версии их произведений, требуя денежной компенсации и полного запрета на неправомерное использование произведений.

Этот иск стал частью более широкого потока судебных разбирательств, инициированных правообладателями, включая художников, новостные агентства и звукозаписывающие компании. Они требуют разъяснений о том, как и на каком основании технологические компании свободно используют их материалы для обучения своих генеративных ИИ-систем.

Представитель Anthropic сообщил во вторник, что компания осведомлена о поданном иске и проводит оценку жалобы, однако отказался комментировать ситуацию более подробно, сославшись на ведение судебного разбирательства. Адвокат авторов также воздержался от комментариев.

Следует отметить, что это уже второй иск против Anthropic. В прошлом году музыкальные издатели подали иск, обвинив компанию в неправомерном использовании защищённых авторским правом текстов песен для обучения Claude. Ранее несколько групп авторов подали иски против таких компаний, как OpenAI и Meta✴, обвинив их в аналогичном незаконном использовании произведений для обучения своих языковых моделей.

Компания Anthropic объявила о запуске расширенной программы поиска уязвимостей, предлагая сторонним специалистам по кибербезопасности вознаграждение до 15 000 долларов за выявление критических проблем в своих системах искусственного интеллекта.

Источник изображения: Copilot

Инициатива направлена на поиск «универсальных методов обхода», то есть способов взлома, которые могли бы последовательно обходить меры безопасности ИИ в таких областях высокого риска, как химические, биологические, радиологические и ядерные угрозы, а также в области киберпространства. Как сообщает ресурс VentureBeat, компания Anthropic пригласит этичных хакеров для проверки своей системы ещё до её публичного запуска, чтобы сразу предотвратить потенциальные эксплойты, которые могут привести к злоупотреблению её ИИ-системами.

Интересно, что данный подход отличается от стратегий других крупных игроков в области ИИ. Так, OpenAI и Google имеют программы вознаграждений, но они больше сосредоточены на традиционных уязвимостях программного обеспечения, а не на специфических для ИИ-индустрии эксплойтах. Кроме того, компания Meta✴ недавно подверглась критике за относительно завуалированную позицию в области исследований безопасности ИИ. Напротив, явная нацеленность Anthropic на открытость устанавливает новый стандарт прозрачности в этом вопросе.

Однако эффективность программ поиска уязвимостей в решении всего спектра проблем безопасности ИИ остаётся спорной. Эксперты отмечают, что может потребоваться более комплексный подход, включающий обширное тестирование, улучшенную интерпретируемость и, возможно, новые структуры управления, необходимые для обеспечения глобального соответствия систем искусственного интеллекта человеческим ценностям.

Программа стартует как инициатива по приглашению (закрытое тестирование) в партнёрстве с известной платформой HackerOne, но в будущем Anthropic планирует расширить программу, сделав её открытой и создав отдельную независимую модель для отраслевого сотрудничества в области безопасности ИИ.

Управление по конкуренции и рынкам Великобритании (CMA) объявило об открытии расследования по поводу инвестиций и партнёрства Amazon с Anthropic с целью оценки, не нанесёт ли их сотрудничество ущерб конкуренции на региональном рынке.

Источник изображения: amazon.com

После первоначального изучения партнёрства Amazon-Anthropic у CMA теперь есть «достаточно информации» в отношении объединения, чтобы начать официальное расследование, сообщается на веб-сайте ведомства.

На первом этапе расследования (Phase 1), на который отводится 40 рабочих дней, регулятор рассмотрит все обстоятельства сделки, чтобы решить, не несёт ли она потенциальной угрозы конкуренции на рынке Великобритании. В случае, если подозрения оправдаются, регулятор приступит ко второму этапу (Phase 2) расследования с углублённым изучением деталей сделки.

В марте этого года Amazon завершила намеченный транш инвестирования в Anthropic в размере $4 млрд. В сентябре прошлого года компания инвестировала в ИИ-стартап $1,25 млрд, после чего выделила в этом году дополнительно $2,75 млрд.

Представитель Amazon сообщил ресурсу CNBC, что компания разочарована тем, что CMA приступила к первому этапу расследования, отметив, что сотрудничество с Anthropic не вызывает никаких проблем с конкуренцией, и в расследовании нет необходимости.

«Инвестируя в Anthropic, Amazon вместе с другими компаниями помогает Anthropic расширить выбор и конкуренцию в этой важной технологии. Amazon не занимает места в совете директоров и не имеет полномочий принимать решения в Anthropic, и Anthropic может свободно работать с любым другим провайдером (и, действительно, имеет несколько партнёров)», — указал представитель Amazon в сообщении, направленном CNBC по электронной почте. Он также добавил, что Amazon продолжит предоставлять клиентам ИИ-модели Anthropic на своей платформе Bedrock.

Сооснователь OpenAI Джон Шульман (John Schulman) объявил о переходе в конкурирующую компанию Anthropic, а президент Грег Брокман (Greg Brockman) решил взять длительный отпуск, чтобы «отдохнуть и зарядиться» — он продлится до конца года. Некоторое время назад компанию также покинул менеджер по продуктам Питер Денг (Peter Deng) — он начал работать в OpenAI в прошлом году, а до того занимал аналогичные должности в Meta✴, Uber и Airtable.

Источник изображения: Mariia Shalabaieva / unsplash.com

«Мы признательны за вклад Джона как члена команды основателей OpenAI и его ревностные усилия в развитии технологий согласования. Его страсть и упорный труд заложили прочную основу, которая будет вдохновлять и поддерживать будущие инновации в OpenAI и более широкой области», — приводит TechCrunch комментарий представителя OpenAI по поводу уходу Шульмана. Сам Шульман пояснил своё решение желанием вплотную заняться согласованием ИИ — разработкой мер, направленных на то, чтобы ИИ вёл себя, как задумано, — и переключиться на практическую техническую работу. «Я решил заняться этим в Anthropic, где, как считаю, могу получить новые перспективы и проводить исследования вместе с людьми, глубоко вовлечёнными в темы, которые меня интересуют больше всего. Уверен, что OpenAI и отделы, в которых я работал, продолжат процветать и без меня», — пояснил инженер.

Шульман начал работать в OpenAI вскоре после получения докторской степени по электротехнике и компьютерным наукам в Калифорнийском университете в Беркли. Он сыграл ключевую роль в разработке ChatGPT, возглавив отдел OpenAI по обучению с подкреплением — настройке моделей генеративного ИИ для выполнения пользовательских запросов. После ухода специалиста по безопасности ИИ Яна Лейке (Jan Leike), который сейчас также работает в Anthropic, Шульман возглавил научный отдел по согласованию ИИ — и пока неясно, кто заменит его на этой должности. Есть мнение, что OpenAI пренебрегает мерами безопасности в отношении ИИ, но Шульман выдвигать обвинений не стал. «Руководство компании было очень привержено вложениям [в разработку технологий согласования ИИ]. Моё решение — личное, основанное на том, чем я хочу заниматься на новом этапе своей карьеры», — заявил он.

Теперь в OpenAI остались лишь три человека, стоявшие у истоков компании: гендиректор Сэм Альтман (Sam Altman), Грег Брокман и Войцех Заремба (Wojciech Zaremba) — глава подразделения по генерации языка и кода. «Спасибо за всё, что ты сделал для OpenAI! Ты блестящий учёный, глубокий мыслитель о продуктах и обществе и, самое главное, большой друг для всех нас. Будем очень скучать по тебе, а ты будешь этим местом гордиться», — обратился к Шульману Сэм Альтман.

В минувшем году одной из популярных новых профессий в области искусственного интеллекта стала должность инженера по составлению запросов к моделям ИИ. Теперь компания Anthropic решила автоматизировать эту задачу, поручив её самому ИИ.

Источник изображения: anthropic.com

Большие языковые модели во многих случаях дают адекватные ответы даже на непрофессиональные запросы пользователей, но иногда даже небольшое изменение формулировки способно значительно повысить его качество. Обычно для этого приходится самостоятельно перебирать различные формулировки или прибегать к услугам инженера, но предложенная Anthropic новая функция способна упростить задачу. В панели управления Anthropic Console, предназначенной для разработки сторонних приложений на базе модели ИИ Claude, появилась новая вкладка Evaluate, связанная со встроенным генератором запросов. Этот генератор получает на вводе краткое описание запроса и генерирует на его основе гораздо более длинный и конкретный. Едва ли данный инструмент оставит инженеров без работы, но он может сэкономить им время и помочь рядовым пользователям.

В разделе Evaluate разработчики сторонних приложений могут проверить, насколько эффективны генерируемые их приложениями подсказки в различных сценариях. Можно, например, загрузить действительный пример в тестовый набор или попросить Claude сгенерировать такие тестовые запросы самостоятельно, чтобы сравнить их эффективность и оценить ответы по пятибалльной шкале. В приведённом Anthropic примере разработчик установил, что его приложение выдаёт в нескольких тестовых случаях слишком короткие ответы — одна из строк в запросе помогла сделать их длиннее, после чего эту схему применили ко всем тестовым сценариям.

Ранее соучредитель и гендиректор Anthropic Дарио Амодеи (Dario Amodei) отметил, что составление запроса является одним из важнейших аспектов для широкого внедрения генеративного ИИ. «Кажется, что это просто, но за 30 минут инженер по запросам часто может заставить приложение работать, если раньше оно не работало», — заявил Амодеи.

Компания Anthropic, разработчик больших языковых моделей и ИИ-чат-бота Claude, анонсировал и сразу же запустил новую большую языковую модель Claude 3.5 Sonnet. По заявлению компании, эта нейросеть может сравниться или даже превзойти по возможностям GPT-4o от OpenAI и Gemini от Google. Новинка, как и её предшественница Claude 3 Sonnet, доступна как платным, так и бесплатным пользователям чат-бота Claude.

Источник изображения: Anthropic

Как пишет The Verge, Claude 3.5 Sonnet является улучшенной версией предыдущей модели Claude 3 Opus, выпущенной всего несколько месяцев назад и прежде доступной лишь платным подписчикам Claude. Новая модель работает в два раза быстрее и показывает значительно лучшие результаты в различных задачах, включая написание программного кода, работу с большими запросами, интерпретацию диаграмм и графиков. Новая нейросеть теперь является стандартной для чат-бота Claude и доступна как платным, так и бесплатным пользователям. Фактически, это ответ на GPT-4o, на которой сейчас построен ChatGPT, в том числе в бесплатной версии.

Согласно результатам тестирования, проведённого Anthropic, Claude 3.5 Sonnet превзошла модели GPT-4o, Gemini 1.5 Pro и Llama 3 400B от Meta✴ в 7 из 9 общих тестов производительности. В задачах распознавания изображений новая модель Anthropic также показала лучшие результаты.

Источник изображения: Anthropic

Помимо новой модели, в приложение Claude была добавлена функция Artifacts. Она позволяет пользователям видеть и редактировать результаты запросов к ИИ прямо в интерфейсе приложения. Например, если Claude сгенерирует текст электронного письма, пользователь сможет отредактировать его, не копируя и не вставляя в другую программу. По словам разработчиков, функция Artifacts — это часть их стремления превратить Claude в единую платформу для хранения знаний и выполнения рабочих задач с использованием возможностей ИИ. Это отличает подход Anthropic от других компаний, сосредоточенных в основном на развитии чат-ботов.

Как видно, конкурентная гонка в области ИИ продолжается. За последние месяцы как Anthropic, так и её основные конкуренты — OpenAI и Google — несколько раз выпускали улучшенные версии своих моделей. При этом каждый новый релиз демонстрирует значительный прогресс. Новая модель уже доступна зарегистрированным пользователям Claude в web и на iOS, а также для разработчиков.

Компания Anthropic расширяет возможности своего чат-бота Claude, построенного на основе генеративной нейросети. Теперь любой пользователь сможет создать для себя персонализированного помощника, например, для обработки электронной почты, совершения покупок в интернете или чего-то иного. Нововведение называется «использование инструментов» или «вызов функций» и его можно подключить к любому внешнему API по выбору пользователя.

Источник изображения: anthropic.com

Такой подход позволит создать персонализированного помощника, который будет, например, анализировать данные для создания персонализированных рекомендаций по продуктам, основываясь на истории покупок пользователя. Он также может быть полезен для генерации быстрых ответов на вопросы клиентов, например, при отслеживании статуса заказа или предоставления информации в качестве инструмента технической поддержки. Для создания такого помощника потребуется доступ к API и умение программировать. Новая функция может обрабатывать изображения, позволяя приложениям анализировать визуальные данные. К примеру, персональный помощник для дизайнера интерьеров может задействовать нейросеть для обработки снимков помещения и генерации индивидуальных предложений по его оформлению.

Взаимодействовать с новым инструментом можно будет через Messages API от Anthropic, а также на платформах Amazon Bedrock и Google Vertex AI. Стоимость использования основана на объёме текстовых запросов к нейросетям Claude, измеряемом в токенах. Обычно 1000 токенов соответствует примерно 750 словам. На этапе бета-тестирования самым быстрым и доступным вариантом стала модель Haiku: $0,25 за миллион введённых токенов и $1,25 за миллион токенов на выходе. Тестирование новой функции проходит с апреля и в нём принимают участие несколько тысяч клиентов Anthropic.

Ян Лейке (Jan Leike), который прежде был в OpenAI одним из руководителей отдела безопасности и занимался долгосрочными рисками, связанными с ИИ, перешёл на работу в конкурирующую компанию Anthropic. Об этом Лейке сообщил в соцсети X.

Источник изображения: anthropic.com

Лейке ушёл из OpenAI вслед за её сооснователем Ильёй Суцкевером (Ilya Sutskever) — вместе они возглавляли подразделение Superalignment, но оно было распущено, просуществовав менее года. Уходя, он раскритиковал OpenAI, заявив, что «культура и процессы безопасности отошли на второй план по сравнению с блестящими продуктами». Накануне стало известно, что в компании был сформирован новый отдел безопасности во главе с генеральным директором Сэмом Альтманом (Sam Altman).

Источник изображения: x.com/janleike

В Anthropic Ян Лейке будет заниматься теми же вопросами, что и в OpenAI — вопросами безопасности, касающимися моделей ИИ, которые превзойдут возможности человека. Таких моделей пока не существует, но OpenAI и Anthropic уже проводят исследования на предмет того, как ими можно будет управлять. Созданная выходцами из OpenAI компания Anthropic позиционирует себя как более ориентированную на безопасность.

Anthropic пытается бросить вызов гигантам рынка ИИ, для чего усилила свой кадровый состав новым топ-менеджером с большим опытом — Майк Кригер (Mike Krieger) занял должность директора по продуктам. Кригер был одним из основателей Instagram✴, а последние несколько лет занимался разработкой приложения Artifact для чтения и анализа новостей при помощи ИИ, которое недавно было приобретено Yahoo.

Источник изображения: Jerod Harris / Getty Images

Компания Anthropic, основанная бывшими сотрудниками OpenAI, в последние несколько лет сосредоточилась на разработке базовой ИИ-технологии — большой языковой модели Claude. Теперь пришло время превратить технологию в продукты. Отныне Кригер будет курировать все дальнейшие разработки Anthropic, что крайне важно для активного продвижения. Недавно компания в попытке догнать конкурентов выпустила приложение Claude для iOS, а теперь объявила о появившейся в нём поддержке испанского, французского, итальянского, немецкого и испанского языков.

Базовые технологии быстро меняются, а продукты на их основе развиваются ещё быстрее. Лидеры ИИ-гонки, такие компании как OpenAI, Google, Microsoft стремятся как можно быстрее внедрить свои модели ИИ во все выпускаемые продукты и приложения. Может показаться, что Anthropic немного медлительна, но это не так — компания привлекла почти $8 млрд, причём большую часть за последние 12 месяцев и планирует получение не менее существенных инвестиций в ближайшем будущем. Её основными инвесторами и партнёрами являются Amazon и Google, появляются сообщения об усилиях Anthropic по сотрудничеству с Apple.

«Опыт Майка в разработке интуитивно понятных продуктов и пользовательского опыта будет неоценимым, поскольку мы создаём новые способы взаимодействия людей с Claude, особенно на рабочем месте, — заявил генеральный директор Anthropic Дарио Амодей (Dario Amodei). — Нам повезло, что мы присоединили видение и опыт Майка к нашей команде руководителей». Исходя из этих слов, аналитики предположили, что главной задачей Кригера станет поиск вариантов бизнес-применения Claude.

Отрасль искусственного интеллекта сейчас чрезвычайно разогрета — практически каждый день появляются новые идеи и происходят анонсы новых продуктов, что ещё больше подогревает интерес к ИИ. Кригер однажды уже построил чрезвычайно успешную компанию в условиях жёсткой конкуренции, на этот раз ставки могут быть ещё выше. Если только пузырь ИИ неожиданно не лопнет.

Специализирующийся на технологиях искусственного интеллекта стартап Anthropic открыл для европейских пользователей чат-бот Claude и услуги по подписке — в стремлении нарастить число пользователей и объёмы доходов компания решилась выйти на рынок с более жёстким регулированием, чем в США.

Источник изображения: anthropic.com

Базовые программные продукты от Anthropic уже пользуются некоторой популярностью в финансовом секторе и гостиничном бизнесе, сообщили в компании, и теперь здесь решили закрепить успех. Соблюдать действующие в Европе жёсткие ограничения на управление данными Anthropic помогут её основные партнёры в области облачных вычислений — Amazon и Google, — сообщил гендиректор компании Дарио Амодей (Dario Amodei).

Anthropic, основанная в 2021 году бывшими сотрудниками OpenAI, позиционирует себя как разработчика ответственного и этичного ИИ. Подобно многим другим представителям отрасли, компания уделяет много внимания продаже услуг корпоративным клиентам. В мае Anthropic представила корпоративный тарифный план Team, но спрос на него глава компании комментировать отказался. В Европе цены будут аналогичными — здесь стартапу придётся конкурировать с OpenAI и французским разработчиком Mistral.

Anthropic также придётся соблюдать требования принятого ранее «Закона об ИИ». Он требует от разработчиков применять адекватные средства контроля кибербезопасности, а также раскрывать некоторые подробности об архитектуре и потенциальных угрозах, которые могут представлять модели ИИ. Механизмы соблюдения требований закона будут зависеть правоприменительной практики, которую станут реализовывать местные регуляторы, отметил соучредитель компании Джек Кларк (Jack Clark).

Основанная бывшими сотрудниками OpenAI компания Anthropic активно продвигает своего чат-бота Claude в конкурентной борьбе с ChatGPT. Разработчик выпустил мобильное приложение для iPhone, которое уже доступно как для бесплатных, так и для платных пользователей Claude, сообщает The Verge. Мобильное приложение Claude выступает в роли чат-бота, а также может анализировать изображения пользователей. Например, распознавать виды птиц на фотографиях и многое другое.

Источник изображения: Gabby Jones/Bloomberg

Ранее доступ к Claude был возможен только через веб-сайт Anthropic.ai, либо через сторонние платформы для моделей искусственного интеллекта. Теперь же, благодаря приложению можно общаться с Claude в любое время и в любом месте, кроме того оно синхронизируется с веб-версией, так что диалоги сохраняются.

По словам Скотта Уайта (Scott White), менеджера по продукту в Anthropic, многие пользователи Claude используют мобильный интернет для доступа к моделям ИИ. Это и побудило компанию выпустить мобильную версию для iOS, а в скором времени планируется релиз версии для Android.

Однако с выпуском мобильного приложения Anthropic немного опоздала. У основных конкурентов, таких как ChatGPT от OpenAI и Gemini от Google, мобильные приложения появились гораздо раньше. При этом Gemini доступен как в общем приложении Google для iPhone, так и в отдельном приложении для Android. У поисковой платформы Perplexity тоже есть мобильное приложение.

Отметим, создатели Claude сделали приложение бесплатным для всех пользователей Claude AI, включая бесплатных пользователей, подписчиков Claude Pro и группы подписчиков нового тарифа Claude Team. Новый тариф Claude Team, запущенный в этом месяце, предоставляет доступ к моделям Claude минимум 5 участникам группы по цене 30 долларов за место в месяц. Пользователи смогут делиться доступом к Claude с другими участниками группы. Подписчики Claude Team получают все преимущества тарифа Pro, а также возможность делать больше запросов в чате и анализировать более длинные документы по сравнению с пользователями Pro и бесплатными пользователями. Кроме того, тариф Team предоставляет расширенные административные права и возможность быстрого переключения между подпиской Pro и Team.

Напомним, что в марте Anthropic анонсировала семейство моделей Claude 3, включающее Сонет, Опус и Haiku. А в сентябре прошлого года компания привлекла 4 млрд долларов инвестиций от Amazon. Таким образом, выпуск мобильного приложения и нового платного тарифа Team являются шагами Anthropic по укреплению своих позиций на конкурентном рынке моделей ИИ.

Британское Управление по защите конкуренции и рынкам (Competition and Markets Authority, CMA) всерьёз заинтересовалось инвестициями Amazon и Microsoft в стартапы в области искусственного интеллекта.

Источник изображения: Steve Johnson / unsplash.com

Внимание антимонопольщиков привлекли партнёрские отношения Microsoft с компаниями Mistral и Inflection AI — стартапом, глава и большая часть сотрудников которого в прошлом месяце перешли в Microsoft. CMA обнаружило схемы инвестирования в специализирующиеся на ИИ стартапы, которые могут препятствовать свободной конкуренции. Представитель Microsoft в ответ на это в очередной раз заявил, что компания не видит ничего предосудительного в найме талантливых сотрудников и инвестициях в стартапы, поскольку это не означает слияния компаний и не препятствует конкуренции.

Не ускользнули от внимания CMA и $4 млрд инвестиций Amazon в Anthropic (создателя серии генеративных ИИ-моделей Claude). Обе компании поспешили опровергнуть претензии британских антимонопольщиков.

«Раньше CMA не рассматривало такие сделки. Сотрудничество с Anthropic подразумевает лишь ограниченные инвестиции, у Amazon нет места в совете директоров, она не выступает наблюдателем, а Anthropic может свободно использовать для своих моделей сервисы других облачных провайдеров», — заявила в своём блоге Amazon.

«Мы остаёмся самостоятельной компанией, а наши стратегические партнёрства и отношения с инвесторами не влияют на независимость нашего корпоративного управления и возможности сотрудничества с другими компаниями», — заявили в Anthropic.

Microsoft продолжает агрессивно развивать ИИ-направление. В феврале компания объявила о сотрудничестве с французским стартапом Mistral, ИИ-модели которого станут доступны клиентам облачного сервиса Microsoft Azure. Mistal получила €15 млн инвестиций, что сразу привлекло внимание регуляторов. В марте Microsoft объявила о приёме на работу соучредителя конкурирующего с OpenAI стартапа Inflection AI Мустафы Сулеймана. Он занял должность вице-президента, забрав в Microsoft большую часть сотрудников стартапа. Сама Inflection заявила, что отказывается от разработки персонального ИИ-чатбота в пользу обслуживания бизнес-клиентов и лицензирования технологий Microsoft. Инвестициями Microsoft в ИИ-стартапы заинтересовалась Европейская комиссия, но она не нашла признаков слияния компаний. Федеральная торговая комиссия США также заподозрила Microsoft в нарушении антимонопольного законодательства.

Amazon отстаёт от Microsoft и Google в развитии генеративных ИИ, но старается догнать конкурентов, используя преимущества собственных облачных сервисов. В марте Amazon вложила $2,75 млрд в Anthropic, после чего ИИ-стартап согласился использовать Amazon Web Services для некоторых операций и заказные чипы компании. В Anthropic также инвестирует Google, чьи облачные мощности она также использует.

Разработчики современных систем искусственного интеллекта накладывают на них ограничения, запрещая давать ответы на отступающие от традиционных этических норм вопросы. Существует множество способов обойти эти ограничения, и очередной такой способ открыли исследователи из компании Anthropic — измотать ИИ вопросами.

Источник изображения: Gerd Altmann / pixabay.com

Учёные назвали новый тип атаки «многоимпульсным взломом» (many-shot jailbreaking) — они подробно описали его в статье и предупредили коллег о выявленной уязвимости, чтобы последствия атаки можно было смягчить. Уязвимость возникла из-за того, что у больших языковых моделей последнего поколения увеличилось контекстное окно — объём данных, который они могут хранить в том, что заменяет им кратковременную память. Раньше этот объём данных ограничивался несколькими предложениями, а сейчас он вмещает тысячи слов и даже целые книги.

Исследователи Anthropic обнаружили, что модели с большими контекстными окнами, как правило, лучше справляются с задачами, если в запросе содержатся несколько примеров решения подобных задач. Другими словами, чем больше в запросе простых вопросов, тем выше качество ответа. И если первый вопрос ИИ понимает неправильно, то с сотым ошибки уже не будет. Но в результате такого «контекстного обучения» большая языковая модель начинает «лучше» отвечать на недопустимые вопросы. Так, если просто спросить её, как собрать бомбу, она откажется отвечать. Но если перед этим задать модели 99 менее опасных вопросов, а затем снова спросить, как собрать бомбу, вероятность получить недопустимый ответ вырастет.

Источник изображения: anthropic.com

Трудно сказать наверняка, почему эта атака срабатывает. В действительности никто не знает, что творится в сложной системе весов, которую представляет собой большая языковая модель, но, видимо, существует некий механизм, который помогает ей сосредоточиться на том, что нужно пользователю — понять это помогает содержимое контекстного окна. И когда он говорит о том, что можно принять за мелочи, после упоминания в нескольких десятках вопросов они перестают быть мелочами.

Авторы работы из Anthropic проинформировали коллег и конкурентов о результатах исследования — они считают, что раскрытие информации подобного рода должно войти в отраслевую практику, и в результате «сформируется культура, в которой эксплойты вроде этого будут открыто распространяться среди разработчиков больших языковых моделей и исследователей». Наиболее очевидный способ смягчить последствия атаки — сократить контекстное окно модели, но это снизит качество её работы.