MWC 2018
2018
Computex
IFA 2018
Компания Anthropic представила Claude Fable 5.1 и Claude Mythos 5.1 — новые версии своих флагманских ИИ-моделей, которые ориентированы на программирование, работу с большими объёмами информации и выполнение длительных многоэтапных задач. По данным разработчика, новинки заметно превосходят предшественников по ряду тестов, а их возможности уже позволяют использовать ИИ в некоторых направлениях научных исследований.
Источник изображений: Anthropic
Fable 5.1 и Mythos 5.1 представляют собой одну и ту же модель, но отличаются уровнем защитных механизмов. Fable 5.1 доступна всем пользователям, тогда как Mythos 5.1 распространяется через программу доверенного доступа для специалистов в области кибербезопасности и биологических наук.
Anthropic приводит ряд примеров, в которых Fable 5.1 оказалась значительно лучше предшественницы. Так, в тесте Terminal-Bench 4.0 новая Fable 5.1 получила 55,8 % против 42 % у Fable 5 и 52,3 % у Opus 5. В GDPval-AA v2, оценивающем выполнение профессиональных задач, новая модель набрала 1853 балла против 1723 у Fable 5 и 1824 у Opus 5. В OSWorld 2.0 результат составил 77,9 % в режиме partial и 41,7 % в режиме strict — против 72,9 и 36,1 % соответственно у предшественницы.
При этом Anthropic отмечает, что тестирование проводилось с включёнными защитными механизмами, которые в некоторых случаях вмешивались в выполнение заданий, что могло привести к снижению результатов.
Особое внимание Anthropic уделила научным возможностям новых моделей. В одном из экспериментов Claude Mythos 5.1 использовала специальные инструменты для создания новых белков — молекул, которые могут, например, использоваться при разработке лекарств. Полученные варианты затем проверили в лабораториях две независимые организации.
По данным Anthropic, для трёх из 12 исследованных целей созданные Mythos 5.1 белки связывались с нужными молекулами примерно в десять раз эффективнее лучших разработок, представленных на конкурсах Adaptyv Bio. В целом почти половина созданных Mythos 5.1 вариантов оказалась работоспособной. Для сравнения, при современных методах компьютерного проектирования белков успешными обычно оказываются лишь 10–15 % разработанных вариантов.
Ещё один эксперимент был связан с планетологией. Fable 5.1 также создала новую карту высот примерно трети поверхности Венеры на основе радиолокационных снимков, полученных аппаратом NASA Magellan более 30 лет назад. Разрешение карты удалось повысить с 10–20 до 2–3 км, а точность определения высот — до 25 %. Компания планирует опубликовать карту по лицензии Creative Commons в преддверии будущих миссий NASA VERITAS и ESA EnVision.
Кроме того, Mythos 5.1 проявила себя в оптимизации вычислений в биоинформатике. Модель написала собственные GPU-ядра и реализовала кэширование промежуточных результатов, благодаря чему семь открытых моделей для работы с белками и геномами стали работать до 2,5 раза быстрее при сохранении идентичных результатов. По оценке Anthropic, в масштабных геномных исследованиях это способно снизить расходы на GPU на 30–60 %.
Одновременно Anthropic снизила стоимость использования Fable 5.1. Цена чтения кэшированных данных снижена на 75 % — до $0,25 за 1 млн токенов. Остальные расценки сохранились на прежнем уровне: $10 за 1 млн входных токенов и $50 за 1 млн выходных токенов. В результате типичная стоимость использования Fable 5.1, по оценке компании, снизилась примерно на 25 % по сравнению с Fable 5, а для сложных высокоагентных задач экономия может достигать 45 %.
Одновременно Anthropic усовершенствовала защитные механизмы: количество ложных срабатываний в области кибербезопасности сократилось примерно на 60 %, а модели Fable 5.1 разрешили искать программные уязвимости. При этом создание эксплойтов и ряд других потенциально опасных задач по-прежнему ограничены.
Для биологических и медицинских запросов защитные механизмы также стали менее чувствительными: Anthropic сообщает о сокращении числа срабатываний на безобидные вопросы по элементарной биологии и медицине на 85 % по сравнению с первоначальными настройками Fable 5.
Claude Fable 5.1 уже доступна на основных платформах, включая Amazon Web Services, Google Cloud и Microsoft Azure, а разработчики могут использовать модель через API.
В свою очередь, Claude Mythos 5.1 пока предоставляется только проверенным специалистам и организациям. Причём на момент запуска Mythos 5.1 доступна только определённым организациям в США. Но компания сотрудничает с американским правительством для расширения программы на других национальных и международных партнёров.
Источник:
