MWC 2018
2018
Computex
IFA 2018
Спустя несколько дней после презентации OpenAI самой мощной ИИ-модели GPT-6 Astra один из ведущих сотрудников компании Якуб Пачоцки (Jakub Pachocki) выступил с призывом замедлить темпы развития искусственного интеллекта. Его поддержал Сэм Альтман (Sam Altman), гендиректор OpenAI, назвав «важным» сообщение коллеги.
Источник изображения: The Matrix, Warner Bros.
В своём сообщении в блоге OpenAI главный научный сотрудник компании выразил обеспокоенность тем, что никто не готов к последствиям продолжающегося стремительного роста машинного интеллекта. Он заявил, что хотя OpenAI работает над усилением контроля над мощными ИИ-системами, необходимы более масштабные меры, поскольку становящиеся всё более автономными ИИ-системы могут научиться обходить контроль со стороны человека, обманывать его и взламывать компьютерные системы. Поэтому необходимы обязательные меры безопасности, которые бы обеспечивались сетью сторонних аудиторов, государственными органами или международными организациями.
По словам Пачоцки, хакерские способности ИИ ставят под угрозу мировую инфраструктуру. «В настоящее время у нас очень мало времени для использования наилучших доступных моделей с целью существенного повышения безопасности критически важных систем», — отметил он. ИИ-агенты скоро начнут преследовать собственные цели, независимо от подсказок, вводимых людьми-операторами. При этом для достижения своих целей они не гнушаются шантажом и готовы вести переговоры с людьми. Так, согласно докладу британского Института безопасности ИИ (AISI), агент Anthropic лгал администратору GitHub и пытался заставить его разместить вредоносное ПО на сайте.
Пачоцки рассказал, что OpenAI в первую очередь отслеживает цепочку логических рассуждений, которую используют различные модели, чтобы определить, как агенты сбиваются с пути и становятся вредоносными. Например, агент может подумать: «Я должен смошенничать в этом тесте», и OpenAI сможет увидеть это рассуждение, но агент не осознаёт, что его мысли видны. У агентов сейчас нет возможности скрывать или иным образом запутывать свои преступные намерения, чтобы помешать разработчикам обнаружить их. Но, по словам Пачоцки, новые, более совершенные модели всё лучше манипулируют своими собственными процессами мышления, тем самым маскируя их и не позволяя их контролировать. Некоторые из новейших моделей вообще не формулируют свои рассуждения.
Машинное рекурсивное самосовершенствование позволяет ускорить разработку ИИ, но, как предупреждает исследователь, стремительное развитие ИИ в краткосрочной перспективе несёт риски и не является «правильным коллективным действием, которое исследовательское сообщество должно предпринять». Поэтому разработчикам ИИ необходимо найти эффективные способы контролировать процесс самосовершенствования или скоординировать свои действия с другими компаниями, работающими в сфере ИИ для замедления развития совместными усилиями, чтобы эти меры вызывали доверие.
«Основная проблема при автоматизации исследований в области ИИ заключается не в том, чтобы “добраться до цели”, — сказал Пачоцки. — А в том, чтобы сделать это таким образом, чтобы люди оставались частью процесса постоянного совершенствования, и будущее оставалось в руках человечества».
Источник:
