MWC 2018
2018
Computex
IFA 2018
Существующие правила составления подобных документов подразумевают, что готовящаяся к выходу на биржу компания должна уведомлять инвесторов о рисках, с которыми она сталкивается или может столкнуться в своей деятельности. Поддерживая репутацию одного из самых мнительных разработчиков ИИ, компания Anthropic в проспекте для инвесторов почти треть объёма информации уделила факторам риска.
Источник изображения: Anthropic
По крайней мере, на это указывает агентство Reuters, говоря о наличии упоминаний об угрозах на 80 страницах из 261, присутствующих в документе. При этом сугубо бизнес-вопросам составители документа уделили всего 48 страниц. Передовые ИИ-модели, по словам представителей Anthropic, способны представлять «катастрофические или экзистенциальные риски для человечества», а также демонстрировать признаки «самозащиты» в поведении, скрывая информацию или манипулируя ею, сопротивляясь отключению и даже прибегать к шантажу. Компания предупреждает, что её модели могут становиться источником необратимого вреда. Ранее исследователь компании Эван Хабингер (Evan Hubinger) оценивал вероятность уничтожения человечества силами ИИ на протяжении десяти ближайших лет в более чем 10 %.
Что характерно, вышедшая на биржу в июне конкурирующая SpaceX в своём проспекте для инвесторов только 38 из 277 страниц посвятила обсуждению факторов риска. Как отмечает Anthropic, потенциальная осведомлённость создаваемых ИИ-моделей о стремлении разработчиков оценивать их безопасность ограничивает способность делать это эффективно. В некоторых случаях опасные проявления деятельности ИИ-моделей становятся достоянием общественности уже после их развёртывания. Современные ИИ-модели способны адаптировать своё поведение на этапе проверки, чтобы не выдавать свои «тёмные стороны».
Какое количество ресурсов Anthropic тратит на обеспечение безопасности своих ИИ-моделей, до конца понять сложно, но на протяжении одной из недель в июле под эти нужды были выделены до 6 % вычислительных мощностей, доступных компании. В условиях нехватки вычислительных ресурсов в целом подобное распределение становится компромиссом между интересами бизнеса и безопасностью. Тем более, что конкуренция весьма остра, и утрачивать лидерские позиции Anthropic не готова, хотя и начинает призывать всех участников рынка отдавать именно безопасности, а не извлечению прибыли. В своём обращении к инвесторам компания выражает уверенность, что построение надёжной и безопасной ИИ-инфраструктуры лежит в сфере коллективной ответственности, и что рынок должен вознаградить соответствующие усилия.
Источник:
