Сегодня 03 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Теги → rsi

Anthropic вплотную приблизилась к самосовершенствующемуся ИИ — и признала новые риски

Anthropic накануне подала уточнённую форму S-1/A, в которой, помимо финансовых показателей, раскрыла ещё одну примечательную деталь. Компания находится на пороге создания модели искусственного интеллекта, способной к рекурсивному самосовершенствованию (Recursive Self-Improvement, RSI).

 Источник изображения: anthropic.com

Источник изображения: anthropic.com

RSI — этап, на котором ИИ становится настолько эффективным в собственном обучении, что это приводит к резкому ускорению развития его возможностей. Для тех, кто опасается катастрофических последствий развития ИИ, RSI представляется точкой невозврата: ИИ обретает возможность усовершенствовать себя до такой степени, что выйдет из-под контроля и станет безразличным к ущербу, который может причинить в процессе достижения своих целей. Для энтузиастов RSI, напротив, представляет собой воплощение потенциала технологий — превращение ИИ в инструмент, способный обеспечить невероятный рост продуктивности, совершить научные открытия и ознаменоваться иными достижениями.

В Anthropic считают, что RSI несёт в себе как огромные возможности, так и серьёзные риски. Компания уже использует ИИ в исследованиях и разработке, отметила она, но предостерегла: «Использование ИИ для создания более совершенных систем ИИ может представлять значительную угрозу безопасности, особенно если это резко ускорит темпы прогресса. Это один из аспектов, учитывающийся в нашей „Политике ответственного масштабирования“, в которой изложены планы по мониторингу и снижению рисков по мере приближения к тому, что называется рекурсивным самосовершенствованием».

Обозначение RSI вошло в обиход относительно недавно и поначалу воспринималось как недостижимая цель — эффект, который будет крайне сложно реализовать на практике. Теперь же Anthropic указала его среди факторов риска. Она уже использовала ИИ в разработке новых моделей, «чьи качественные скачки в возможностях своевременно не были замечены»; а в ближайшем будущем, по её словам, может значительно ускорить прогресс с помощью ИИ.

«Более того, расширение использования систем ИИ для ускорения наших собственных исследований и разработки может привести к тому, что возможности наших моделей будут развиваться быстрее, чем наша способность разрабатывать, проверять и развёртывать соответствующие средства безопасности, согласования целей и защиты. В результате мы в прошлом уже упускали из виду и можем не заметить в будущем значительное ускорение темпов нашего развития до того момента, как оно уже случится. Например, наши внутренние оценки и прогнозы относительно будущих моделей, в отличие от текущих, указывают, что в скором времени мы можем достичь порога, который в нашей „Политике ответственного масштабирования“ определяется как „обусловленное ИИ значительное ускорение прогресса“. На данный момент ни одна из наших моделей не классифицируется как преодолевшая этот порог, и мы продолжаем анализировать соответствующие данные», — заявили в Anthropic.

Компания также не рассчитывает, что сможет в значительной мере полагаться на существующие ИИ-системы для «полностью автономного проектирования и создания последующих поколений передовых моделей без значимого контроля или понимания со стороны человека — даже если (и когда) это станет технически возможным». Есть мнение, что форма S-1 может выступать не только средством раскрытия информации, но и маркетинговым материалом. Тем не менее, за последний год ИИ Anthropic совершил колоссальный скачок в научной области; и если в компании считают высокой вероятность наступления RSI, то, возможно, имеет смысл отнестись к этому серьёзно.


window-new
Soft
Hard
Тренды 🔥
Для поиска внеземной жизни учёные создали цифровую модель безжизненной Земли 2 ч.
Anthropic вплотную приблизилась к самосовершенствующемуся ИИ — и признала новые риски 3 ч.
Финальное дополнение к Frostpunk 2 отправит подчинять бури и открывать путь в новую эру автоматизации — трейлер и дата релиза The Surge 3 ч.
Apple предупредила пользователей в 99 странах о возможных атаках с использованием шпионского ПО 5 ч.
Инвесторы остудили амбиции Anthropic: перед IPO разработчика Claude оценили всего в $1,5 трлн 6 ч.
Google накрыла ботнет из миллионов ТВ-приставок — заражённые с завода устройства продаются и в России 6 ч.
FromSoftware подтвердила уязвимости в системе безопасности Dark Souls 2 и Dark Souls 3 — серверы отключены на неопределённый срок 7 ч.
«Больше похоже на слоп сердца»: ремастер визуальной новеллы «Смута: Зов сердца» получил дату выхода и ИИ-трейлер 8 ч.
Календарь релизов 2 – 8 ноября: ремейк Zelda: Ocarina of Time, WoW: Forever и Hull Rupture 16 ч.
Даже спустя 11 лет после релиза Bloodborne продолжают покупать — аналитики раскрыли продажи одного из главных эксклюзивов PS4 18 ч.
Новые ноутбуки в России подорожали на 30–35 %, и их продажи рухнули — зато спрос на восстановленные взлетел 7 мин.
Tachyum, разработчик «бумажного» суперпроцессора Prodigy, инициировал банкротство 16 мин.
Портфолио заказаов GE Vernova достигло $197 млрд на фоне роста продаж газовых турбин для ИИ ЦОД 29 мин.
Aligned Data Centers представила высокоэффективную систему воздушного охлаждения Delta Cube 3.0 для ИИ ЦОД 2 ч.
TC Austin Acquisitions приобрела 250 га земли в Айове, в тот же день втридорога перепродав её под ЦОД Microsoft 2 ч.
Spam и Gun Range: Colossus 2 от SpaceXAI обзаведётся двумя новыми ЦОД к концу года 2 ч.
NVIDIA скорректировала характеристики GPU Rubin, снизив пропускную способность HBM4 и NVLink 3 ч.
Oracle исчерпала многомиллиардный лимит на привлечение заёмных средств через неделю после объявления о нём 3 ч.
Nvidia решила отрезать Китай от зарубежных ИИ-мощностей — облачным провайдерам выставили жёсткое условие 4 ч.
Представлен сверхэкономный ИИ-чип для автомобилей — даже на крохах энергии он мигом разберётся в дорожной обстановке 4 ч.