Сегодня 19 апреля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

OpenAI формирует команду для контроля над созданием «сверхразумных» систем ИИ

По последним данным, компания OpenAI, положившая начало гонке ИИ, представив чрезвычайно эффективного чат-бота ChatGPT, сформировала специальную команду для управления и контроля «сверхразумными» ИИ-системами. Её главой стал один из основателей компании и её главный научный сотрудник Илья Суцкевер.

 Источник изображения: D5000/pixabay.com

Источник изображения: D5000/pixabay.com

Согласно публикации в блоге OpenAI, ИИ, превосходящий по возможностям человеческий разум, может появиться в течение десятилетия. При этом вовсе не обязательно, что этот «сверхразум» будет благожелательно настроен к человечеству — поэтому необходимо искать пути контроля и ограничений возможностей подобных систем.

Как заявляют в OpenAI, сегодня отсутствуют решения для эффективного контроля и управления сверхразумными ИИ и предотвращения «агрессии» с его стороны. Существующие технологии настройки искусственного интеллекта основаны на обучении с подкреплением на основе обратной связи от человека. При этом такие методики рассчитывают на то, что люди в принципе могут контролировать ИИ, что маловероятно с системами, потенциально более разумными, чем люди. Для изучения данного вопроса специальная команда получит доступ к 20 % вычислительных мощностей компании. К ним присоединятся учёные и программисты из отдела, занятого настройкой ИИ в компании, а также других подразделений — в ближайшие четыре года команда намерена справиться с ключевыми техническими вызовами, связанными с контролем сверхразумного ИИ.

Фактически речь идёт о тренировке ИИ с использованием обратной связи. При этом будет использоваться специальный искусственный интеллект, предназначенный для оценки других ИИ-систем и обеспечения желаемых результатов, а также обеспечения безопасности их эксплуатации. В OpenAI полагают, что искусственный интеллект справится с этим лучше и быстрее, чем люди. По мере развития ИИ-системы компании предположительно будут брать на себя всё больше задач и в результате станут создавать и внедрять лучшие технологии настройки, чем имеются сейчас. Они будут работать вместе с людьми для того, чтобы их собственные преемники больше соответствовали потребностями людей, а те будут осуществлять только надзор, не принимая в исследованиях непосредственного участия.

Конечно, ни один метод не имеет абсолютной защиты от ошибок, о чём и заявили в OpenAI. Использование одного ИИ для оценки других может привести к росту числа ошибок и уязвимостей в создаваемых ИИ, и вообще может выявить, что сложнейшая часть настройки может быть связана с самыми неожиданными аспектами работы ИИ. Впрочем, в компании убеждены, что настройка сверхразума в основе своей является задачей машинного обучения, и критически важную роль будут играть специалисты в данной отрасли. В компании рассчитывают в будущем поделиться плодами своих изысканий для настройки и обеспечения безопасности проектов, даже не связанных с OpenAI.

По данным Reuters, противники инициативы считают, что ИИ с мышлением на уровне человеческого сможет выйти из-под контроля ещё до того, как займётся обеспечением безопасной работы других ИИ-систем. В апреле представители экспертного и бизнес-сообщества опубликовали открытое письмо, в котором предостерегали от создания ИИ, более совершенного, чем GPT-4.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Свежий драйвер Nvidia ускорил видеокарты в синтетических тестах, но проблемы со стабильностью остались 3 ч.
«Копидел» поможет в клонировании и массовом развёртывании ОС «Альт» 5 ч.
Поумневшие ИИ-модели OpenAI o3 и o4-mini проявили повышенную склонность к галлюцинациям 8 ч.
EA показала суровую тактическую стратегию Star Wars Zero Company от ветеранов XCOM — первый трейлер и подробности 8 ч.
Новая статья: South of Midnight — соткана по лекалам. Рецензия 21 ч.
Спустя восемь лет «беты» Escape from Tarkov взяла курс на версию 1.0 — план обновлений игры на 2025 год 23 ч.
ChatGPT научился использовать воспоминания о пользователе для персонализации веб-поиска 23 ч.
Создатели следующей Battlefield рассказали о новом «языке разрушения» и показали его в деле 24 ч.
Глава Microsoft Gaming Фил Спенсер намекнул на продолжение Indiana Jones and the Great Circle 18-04 19:43
Разработчики Everspace 2 решили снизить цену на дополнение Wrath of the Ancients, потому что «вокруг дорожает буквально всё» 18-04 18:32
У земных лишайников обнаружился потенциал для выживания на Марсе 2 ч.
Nvidia, AMD и другие американские чипмейкеры опасаются, что проиграют Huawei из-за антикитайских санкций США 3 ч.
QNAP выпустила хранилище ES1686dc R2 на 16 SAS-накопителей 5 ч.
Беспилотные автомобили выйдут на российские дороги общего пользования к 2027 году 5 ч.
Tesla без объяснения причин отложила запуск производства доступной версии Model Y 5 ч.
Китайские передовые спутники связи и дальнего зондирования Земли теперь предлагают оптом и в розницу 5 ч.
Багамы отозвали разрешение на посадку ракет SpaceX Falcon 9 у своих берегов 7 ч.
В Пекине прошёл первый в мире полумарафон с участием людей и роботов 7 ч.
Synology подтвердила, что для флагманских NAS подойдут только избранные жёсткие диски 7 ч.
Looking Glass представила 27-дюймовый голографический 3D-монитор с разрешением 5K и ценой $10 тысяч 8 ч.