MWC 2018
2018
Computex
IFA 2018
Специалисты из OpenAI и Google DeepMind заявили о недостаточности мер безопасности при разработке систем машинного обучения и искусственного интеллекта на базе нейронных сетей. Они считают, что скорость развития технологии опережает возможности людей по контролю ИИ-платформ, способных к самообучению и самосовершенствованию.
Источник изображения: Grok
Своими опасениями исследователи поделились в рамках проекта Frominside.ai, созданного при участии некоммерческой организации Palisade Research. Его участники заявляют, что говорят об угрозах не ради маркетинга, а потому, что считают проблему действительно серьёзной. По их словам, внутри ИИ-компаний больше внимания получают сотрудники, которые создают новые модели, чем специалисты, призывающие к осторожности.
Одна из основных тем проекта касается рекурсивного самосовершенствования. Так называют способность ИИ практически без участия человека продолжать обучение и самостоятельно получать новые возможности. Джеффри Ирвинг (Geoffrey Irving), ранее работавший в OpenAI и DeepMind, а сейчас возглавляющий научное направление в некоммерческой организации Resolution, заявил, что риск «довольно быстро растёт», и специалисты должны открыто говорить об этом.
Исследователь DeepMind Нил Нанда (Neel Nanda), заявил, что оценивает вероятность исчезновения человечества из-за ИИ как минимум в 10 % и считает этот показатель «невероятно высоким». Хуан Фелипе Серон Урибе (Juan Felipe Ceron Uribe), инженер-исследователь OpenAI, также призвал к осторожности, сравнив текущую конкуренцию передовых ИИ-лабораторий с гонкой «с завязанными глазами». При этом руководители компаний тоже начали публично говорить о необходимости снизить темп. В частности, глава Anthropic Дарио Амодеи (Dario Amodei) призвал индустрию замедлить темп разработки и «соизмерить скорость прогресса с возможностями контроля», а гендиректор OpenAI Сэм Альтман (Sam Altman) согласился с ним.
Дискуссия об этих рисках усилилась после июльского инцидента, когда агенты OpenAI вышли за пределы тестовой среды и взломали международную платформу для работы с ИИ Hugging Face. Дэниел Кокотайло (Daniel Kokotajlo), ранее занимавшийся вопросами управления и безопасности в OpenAI, рассказал, что после этого его бывшие коллеги стали чаще обращаться к нему и делиться своими опасениями. Несколько исследователей, включая главного научного сотрудника OpenAI и одного из соучредителей Anthropic, призвали законодателей обратить внимание на то, как в отрасли создаются модели с функцией рекурсивного самосовершенствования.
При этом OpenAI и Anthropic продолжают выпускать новые модели, а Reuters сообщило, что Anthropic планирует предупредить потенциальных инвесторов перед IPO о возможных «катастрофических или экзистенциальных рисках для человечества».
Источник:
