Сегодня 27 июня 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI формирует команду для контроля над созданием «сверхразумных» систем ИИ

По последним данным, компания OpenAI, положившая начало гонке ИИ, представив чрезвычайно эффективного чат-бота ChatGPT, сформировала специальную команду для управления и контроля «сверхразумными» ИИ-системами. Её главой стал один из основателей компании и её главный научный сотрудник Илья Суцкевер.

 Источник изображения: D5000/pixabay.com

Источник изображения: D5000/pixabay.com

Согласно публикации в блоге OpenAI, ИИ, превосходящий по возможностям человеческий разум, может появиться в течение десятилетия. При этом вовсе не обязательно, что этот «сверхразум» будет благожелательно настроен к человечеству — поэтому необходимо искать пути контроля и ограничений возможностей подобных систем.

Как заявляют в OpenAI, сегодня отсутствуют решения для эффективного контроля и управления сверхразумными ИИ и предотвращения «агрессии» с его стороны. Существующие технологии настройки искусственного интеллекта основаны на обучении с подкреплением на основе обратной связи от человека. При этом такие методики рассчитывают на то, что люди в принципе могут контролировать ИИ, что маловероятно с системами, потенциально более разумными, чем люди. Для изучения данного вопроса специальная команда получит доступ к 20 % вычислительных мощностей компании. К ним присоединятся учёные и программисты из отдела, занятого настройкой ИИ в компании, а также других подразделений — в ближайшие четыре года команда намерена справиться с ключевыми техническими вызовами, связанными с контролем сверхразумного ИИ.

Фактически речь идёт о тренировке ИИ с использованием обратной связи. При этом будет использоваться специальный искусственный интеллект, предназначенный для оценки других ИИ-систем и обеспечения желаемых результатов, а также обеспечения безопасности их эксплуатации. В OpenAI полагают, что искусственный интеллект справится с этим лучше и быстрее, чем люди. По мере развития ИИ-системы компании предположительно будут брать на себя всё больше задач и в результате станут создавать и внедрять лучшие технологии настройки, чем имеются сейчас. Они будут работать вместе с людьми для того, чтобы их собственные преемники больше соответствовали потребностями людей, а те будут осуществлять только надзор, не принимая в исследованиях непосредственного участия.

Конечно, ни один метод не имеет абсолютной защиты от ошибок, о чём и заявили в OpenAI. Использование одного ИИ для оценки других может привести к росту числа ошибок и уязвимостей в создаваемых ИИ, и вообще может выявить, что сложнейшая часть настройки может быть связана с самыми неожиданными аспектами работы ИИ. Впрочем, в компании убеждены, что настройка сверхразума в основе своей является задачей машинного обучения, и критически важную роль будут играть специалисты в данной отрасли. В компании рассчитывают в будущем поделиться плодами своих изысканий для настройки и обеспечения безопасности проектов, даже не связанных с OpenAI.

По данным Reuters, противники инициативы считают, что ИИ с мышлением на уровне человеческого сможет выйти из-под контроля ещё до того, как займётся обеспечением безопасной работы других ИИ-систем. В апреле представители экспертного и бизнес-сообщества опубликовали открытое письмо, в котором предостерегали от создания ИИ, более совершенного, чем GPT-4.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Новый крупный патч добавил в Warhammer 40,000: Space Marine 2 режим «Осада» с бесконечными волнами тиранидов и еретиков 5 ч.
ИИ-поиск добрался до YouTube — в выдаче появились сгенерированные ИИ рекомендации и тексты 5 ч.
В Steam стартовала летняя распродажа с «морем скидок на игры всех жанров» 7 ч.
Легендарный сценарист Крис Авеллон присоединился к работе над амбициозной фэнтезийной RPG про борьбу с тоталитарным режимом 8 ч.
Продажи кооперативной игры Peak от авторов Content Warning и Another Crab's Treasure достигли новой вершины — два миллиона за девять дней 11 ч.
VK Tech представил Private Cloud Light — альтернативу зарубежным платформам виртуализации 12 ч.
ИИ-приложения теперь можно создавать прямо в чате с ботом Claude AI 13 ч.
«Мы возводили стены, а должны были строить мосты»: на PS5 вышла Death Stranding 2: On the Beach, а Кодзима опубликовал финальный трейлер игры 14 ч.
Обучать ИИ на онлайн-библиотеках законно — так решил суд в деле авторов книг против Meta 15 ч.
Пример Game Pass не заразителен: Sony не станет добавлять свои игры в PS Plus на релизе, потому что всё и так «очень хорошо» 15 ч.
Новая статья: Обзор HUAWEI MatePad Pro 12.2’’ (2025): обновление планшета с лучшим экраном 4 ч.
«Аквариус» передал в залог структуре «Сбера» доли в двух компаниях 6 ч.
Xiaomi представила компактный планшет Redmi K Pad на флагманском процессоре по цене от $390 6 ч.
Хiaomi представила открытые наушники OpenWear Stereo Pro с пятью динамиками за $139 6 ч.
Китайская Loongson представила серверные процессоры 3C6000 — до 64 ядер и производительность Xeon четырёхлетней давности 6 ч.
Такого кризиса ещё не было: кадровый голод в производстве чипов достигнет миллиона специалистов к 2030 году 6 ч.
Xiaomi представила фитнес-браслет Smart Band 10 с автономностью до 21 дня и ценой от $37,5 7 ч.
Xiaomi представила смарт-очки AI Glasses с камерой Sony, чипом Snapdragon и автономностью выше 8 часов за $280 8 ч.
Xiaomi представила Redmi K80 Ultra: самый мощный MediaTek, батарея на 7410 мА·ч и лишь двойная камера — от $360 8 ч.
Xiaomi представила раскладушку Mix Flip 2 с чипом Snapdragon 8 Elite, ёмкой батареей и двумя камерами Leica за $835 9 ч.