Учёные Университета Карнеги — Меллона и Центра безопасности искусственного интеллекта обнаружили уязвимость, присущую большинству современных ИИ-моделей. Она позволяет обходить установленные их разработчиками морально-этические барьеры. В результате основанные на этих моделях чат-боты выдают рецепты изготовления взрывчатых устройств, пишут вредоносный код, а также поддерживают разговоры в нацистском и сексистском ключах, передаёт Fortune.

Источник изображений: Gerd Altmann / pixabay.com

Предложенный исследователями метод атаки в той или иной степени срабатывает на самых передовых современных системах: OpenAI ChatGPT в версиях на GPT-3.5 и GPT-4, Microsoft Bing Chat, Google Bard и Anthropic Claude 2. Но ещё больше он актуален для открытых больших языковых моделей вроде Meta✴ LLaMA — успех гарантирован, когда у злоумышленника есть доступ ко всей структуре ИИ, и в первую очередь к синаптическим весам. Синаптические веса — коэффициенты, показывающие, какое влияние узел нейросети оказывает на другие узлы, с которыми он связан. Зная эту информацию, можно создать алгоритм автоматического поиска суффиксов, которые добавляются к запросу, чтобы гарантированно преодолеть ограничения системы.

Человеку эти суффиксы могут показаться по большей части длинной последовательностью случайных символов и бессмысленным набором слов. Но строка из таких символов способна обмануть большую языковую модель и заставить её дать ответ, которого ждёт организатор атаки. Схожим образом работают предложенные экспериментаторами методы атаки — например, можно предписать чат-боту начать ответ со слов «Конечно, вот...», и он в отдельных случаях обходит установленные ограничения. Но подобранные программными методами суффиксы выходят далеко за рамки подобных обходных путей и работают более эффективно.

Чат-бот Vicuna, основанный на первой версии Meta✴ LLaMA, позволяет производит атаки с успехом почти 100 %. Обновлённая модель LLaMA 2 имеет более надёжную защиту и позволяет добиваться успеха в 56 % случаев — но при попытке обрушить хотя бы один барьер из нескольких, которые подвергаются атаке одновременно, вероятность взлома повышается 84 %. Схожие показатели успеха демонстрируются при работе с чат-ботами на других открытых моделях, таких как EleutherAI Pythia или созданной в ОАЭ системе Falcon.

К некоторому удивлению самих учёных, те же самые суффиксы хорошо работают и против проприетарных моделей, разработчики которых открывают общий доступ только к интерфейсу запросов — в таких случаях доступ к весам отсутствует, и программу поиска суффиксов запустить не получается. Учёные предложили простое объяснение такому эффекту: большинство открытых моделей обучалось на общедоступных диалогах пользователей с бесплатной версией ChatGPT на основе OpenAI GPT-3.5. Поэтому неудивительно, что и бесплатная ChatGPT демонстрирует 86,6 % успеха.

Высокий успех атак на закрытую Google Bard на базе PaLM 2 (66 %) может указывать на существование каких-то иных скрытых механизмов — или в Google просто покривили душой, когда заявили, что не обучали Bard на данных ChatGPT. Примечательно, что обученная по уникальным методикам Anthropic Claude 2 демонстрирует всего 2,1 % успеха, хотя есть некоторые способы обойти эту защиту, например, предложив ИИ изобразить готовность помочь или представить, что это просто игра — тогда атаки срабатывают в 47,9 % случаев.

Учёные подчёркивают, что их открытие отнюдь не означает, что мощные ИИ-модели следует изъять из общего доступа — напротив, без доступа к исходному коду этого открытия никогда бы не случилось. А перевод больших языковых моделей на проприетарные лицензии означал бы, что автоматизированные методы атаки остались бы доступными только для киберпреступников с хорошим финансированием и поддерживаемых властями стран кибервойск, а независимые учёные никогда не нашли бы способов защиты от них.

Meta✴ намерена выпустить собственную коммерческую модель искусственного интеллекта, которая поможет стартапам и предприятиям разрабатывать на этой платформе собственное ПО, сообщает Financial Times со ссылкой на собственные источники. Тем самым гигант соцсетей станет полноценным конкурентом Google и дуэту Microsoft и OpenAI, которые лидируют на рынке генеративного ИИ.

Источник изображения: Gerd Altmann / pixabay.com

В начале года Meta✴ выпустила большую языковую модель LlaMA, предназначенную для исследователей, тогда как новая платформа будет предусматривать инструменты для корпоративных клиентов. Компания традиционно публикует исходные коды своих ИИ-моделей, что контрастирует с действиями конкурентов — данные и код GPT-4 от OpenAI третьим лицам недоступны. В Meta✴ же полагают, что «открытость — лучшее противоядие от окружающих ИИ страхов». Вице-президент и старший научный сотрудник в области ИИ в Meta✴ Ян ЛеКун (Yann LeCun) недавно заявил, что конкурентная среда в отрасли в корне изменится, когда выйдут платформы с открытым исходным кодом, которые так же хороши, что и закрытые.

Тем не менее даже при открытом и бесплатном характере новой платформы в Meta✴ рассматривают возможность взимать с корпоративных клиентов плату за её тонкую настройку и адаптацию под их потребности и наборы исходных данных. Но на старте проекта платных опций не предусматривается. Вице-президент Meta✴ по исследованиям в области ИИ Джоэль Пино (Joelle Pineau) добавила, что при выпуске проекта с открытым исходным кодом компания не отказывается от права интеллектуальной собственности на эту работу и уж тем более не скрывает намерения использовать эти модели в собственных продуктах. Недавно глава компании Марк Цукерберг (Mark Zuckerberg) намекнул, что технологии генеративного ИИ в том или ином виде появятся на ключевых платформах Meta✴: Facebook✴, Instagram✴ и WhatsApp.

Важнейшим преимуществом моделей с открытым исходным кодом является их широкое распространение среди пользователей — они вводят свои данные для обработки искусственным интеллектом, и чем обширнее доступный модели массив информации, тем мощнее становится эта модель. Кроме того, исследователи и разработчики имеют возможность выявлять и исправлять ошибки в платформах, повышая тем самым их безопасность. С одной стороны, стратегия выпуска бесплатных продуктов может показаться несовместимой с коммерческими целями разработчика, но, с другой, она помогает захватывать новые рынки.

В феврале основатель китайской поисковой службы Sogou (входит в Tencent) Ван Сяочуань (Wang Xiaochuan) написал в соцсети Weibo, что «Китаю нужна своя OpenAI». С реализацией плана предприниматель затягивать не стал — его стартап Baichuan Intelligence создал и выложил в открытый доступ большую языковую модель искусственного интеллекта Baichuan-13B.

Источник изображения: Gerd Altmann / pixabay.com

Baichuan считается одним из наиболее многообещающих китайских разработчиков больших языковых моделей — основателем компании является выпускник Университета Цинхуа, который создал поисковую службу Sogou, впоследствии поглощённую местным технологическим гигантом Tencent. Ван покинул Sogou в конце 2021 года. Когда платформа ChatGPT уже стала мировой сенсацией, бизнесмен запустил стартап Baichuan и оперативно собрал инвестиции на $50 млн.

Как следует из названия, обученная на китайском и английском большая языковая модель Baichuan-13B на архитектуре Transformer (она же лежит в основе GPT) имеет 13 млрд параметров — переменных, которые используются при генерации текста. Исходный код платформы выложен на GitHub и оптимизирован для коммерческого использования. Baichuan-13B обучена на 1,4 трлн токенов — для сравнения, модель Meta✴ LlaMa с теми же 13 млрд параметров была обучена на 1 трлн токенов.

Стартап Baichuan развивается с неимоверной скоростью. Открывшаяся в апреле компания к концу месяца расширила штат до 50 человек, а в июне опубликовала первую большую языковую модель Baichuan-7B с 7 млрд параметров. Новая Baichuan-13B доступна бесплатно для учёных и разработчиков, получивших разрешение на её использование в коммерческих целях. Стоит отметить, создатели учли введённые США антикитайские санкции, и модель можно запускать на системах с комплектующими потребительского класса, включая видеокарты NVIDIA GeForce RTX 3090.

В Китае выпущена первая национальная операционная система с открытым исходным кодом openKylin. Проект реализуется в рамках стратегии по сокращению зависимости страны от американских технологий.

Источник изображения: openkylin.top

ОС openKylin основана на ядре Linux — её созданием занималось сообщество из 4000 разработчиков. Платформа будет использоваться в китайской космической программе, а также в финансовой и энергетической отраслях страны. По итогам прошлого года объём рынка операционных систем в КНР составил 15,5 млрд юаней ($2,1 млрд), сообщает Reuters со ссылкой на отраслевой аналитический доклад.

Разработка ОС, в которой не используются американские решения, в последние годы значилась одной из важнейших целей китайской технологической отрасли — свой вклад в создание openKylin внесли многие организации и частные компании. Одним из активных участников стала Китайская группа реагирования на кибераварийные ситуации в промышленных системах управления — ведомство в подчинении Министерства промышленности и информатизации.

Параллельно более десятка китайских компаний разрабатывают собственные операционные системы, направленные на создание альтернатив Microsoft Windows и Apple macOS.

Партнёрство Tesla с прочими автопроизводителями, как следует из слов Илона Маска (Elon Musk), может не ограничиться предоставлением доступа к аппаратным разработкам и сети фирменных зарядных станций. Выступая вместе с главой Ford Motor Джимом Фарли (Jim Farley) на площадке Twitter Spaces, глава Tesla предположил, что откроет сторонним автопроизводителям доступ и к исходному коду программного обеспечения своей компании.

Источник изображения: Tesla

По крайней мере, в части операционной системы Tesla готова на такой шаг, как пояснил Маск: «Возможно, как в случае с Android, которая смогла стать общим стандартом в сегменте смартфонов, мы могли бы сделать доступ свободным к части своего исходного кода». Глава Tesla также выразил готовность оказать поддержку конкурирующей Ford в создании «полностью обновляемого программно транспортного средства», что Джим Фарли считает очень сложной задачей.

Глава Ford также выразил заинтересованность в использовании общих с Tesla поставщиков сырья для производства тяговых аккумуляторов. Компания Илона Маска не боится самостоятельно участвовать в профильной деятельности. По крайней мере, она собирается перерабатывать материалы для изготовления катодов на основе никеля, а вот участвовать в самостоятельном производстве анодов она не торопится, хотя и не исключает подобной возможности.

Маск в очередной раз выразил озабоченность тем, что предприниматели не торопятся заниматься добычей и переработкой сырья для тяговых батарей на территории США. Компания Tesla собирается тащить на себе ряд соответствующих инициатив, но от подобной инертности отрасли Илон Маск не в восторге. По его словам, рынок синтетического графита, который используется при производстве основной части анодов для литиевых аккумуляторов, также достаточно обширен.

Meta✴ объявила о разработке модели искусственного интеллекта с открытым кодом, которая способна обрабатывать шесть потоков данных: текст, звук, статическое и динамическое изображение (видео), температуру, информацию о глубине сцены, а также информацию о движении.

Источник изображения: Meta✴

ИИ-модель ImageBind пока представляет собой исследовательский проект, о возможном практическом применении которого пока не говорится ничего, но этот проект указывает на перспективы генеративных систем. Стоит также отметить, что Meta✴ упорно продолжает делиться своими разработками с общественностью, тогда как её конкуренты масштаба OpenAI и Google становятся всё более закрытыми.

Ключевая концепция исследования — объединение данных различных типов в многомерный индекс. Это своеобразное развитие идеи генеративных ИИ, которые сегодня доступны потребителю. К примеру, генераторы изображений вроде DALL-E, Stable Diffusion и Midjourney обучаются на сопоставлении текста и изображения, то есть двух типов данных: нейросеть ищет закономерности в визуальных данных, которые связываются с описаниями изображений. Это в итоге позволяет системам генерировать картинки по произвольным описаниям. Схожим образом работают генераторы аудио и видео.

Проект ImageBind — попытка поместить в единое пространство сразу шесть типов данных: визуальные, в том числе неподвижные картинки и видео; тепловые, то есть информацию от инфракрасных сенсоров; текст; звук; данные о глубине; данные о движении от инерциального измерительного блока (IMU) — такие используются в смартфонах и смарт-часах. Разработчики платформы пытаются обучить её работать с этими данными так же, как с текстом или изображениями. Обученная таким образом будущая система виртуальной реальности сможет генерировать целостные окружения: так, если попросить её сымитировать морское путешествие, она поместит пользователя на корабль с шумом волн на заднем плане, дополнив его раскачивающейся палубой и океанским бризом.

В перспективе инженеры Meta✴ предполагают и далее расширять потоки сенсорных данных, добавив «осязание, речь, обоняние и сигналы функциональной МРТ мозга». Машины же, в свою очередь, получат возможность самообучаться в реальном времени на информации в различных формах.

Россия в минувшем квартале возглавила список стран по росту числа загрузок ПО с открытым исходным кодом, гласят результаты исследования компании Scarf, которая осуществляет мониторинг около двух тысяч проектов свободного и открытого ПО (FOSS).

Источник изображений: about.scarf.sh

В I квартале 2023 года число загрузок FOSS в России выросло на 220 % по сравнению с предыдущим кварталом. Подобную динамику можно было бы объяснить санкциями и массовым уходом крупнейших разработчиков коммерческого ПО с российского рынка, однако все эти ограничительные меры возникли никак не в I квартале 2023 года, и главное — Россия не единственная продемонстрировала столь стремительный рост интереса к свободному ПО. Вслед за Россией его загрузки резко увеличились в Ирландии (рост на 190 %), Нидерландах (190 %) и Бельгии (140 %).

Среди корпоративных пользователей крупнейшим потребителем FOSS оказалась компания Oracle — за ней следуют Apple, Cisco и Microsoft, а замыкает пятёрку лидеров General Motors, первый из игроков промышленного сектора. В целом число предприятий, пользующихся свободным ПО, за квартал выросло на 18,5 %, хотя в абсолютно выражении число загрузок снизилось на 26 %. Это несоответствие аналитики связали с коммерческими проектами с открытым кодом и их тестированием. Число загрузок всеми корпоративными клиентами увеличилось на 60 % и составило 240 млн.

Калифорнийская Scarf позиционирует себя как Google Analytics в сегменте открытого ПО — компания отслеживает данные по двум тысячам проектов.

Стартап Stability AI, разработавший нейросеть Stable Diffusion с открытым кодом, способную генерировать изображения по текстовому запросу, выпустил набор ИИ-моделей StableLM с открытым исходным кодом, генерирующих текст и предназначенных для конкуренции с большими языковыми моделями, такими как GPT-4 компании OpenAI.

Источник изображения: Pixabay

Набор моделей StableLM с 3 и 7 млрд параметров, доступный в «альфа-версии» на платформах GitHub и Hugging Spaces, может генерировать текст и программный код, а также «демонстрировать, как небольшие и эффективные модели могут обеспечивать высокую производительность при соответствующем обучении».

«Языковые модели станут основой нашей цифровой экономики, и мы хотим, чтобы каждый имел право голоса при их разработке», — написала команда Stability AI в своём блоге на сайте компании.

Источник изображений: Stability AI

Набор StableLM обучался на новом экспериментальном массиве данных, построенном на The Pile, но в три раза большем, с 1,5 трлн токенов контента. Stability AI не сообщила, есть ли у моделей StableLM те же проблемы, что и у других языковых моделей, а именно склонность генерировать токсичные ответы на определённые вопросы и придумывать ложные факты. Но, учитывая, что The Pile содержит непристойные и довольно резкие выражения, это вполне может быть.

«Как это бывает с любой предварительно обученной большой языковой моделью без дополнительной тонкой настройки и обучения с подкреплением, ответы, которые получает пользователь, могут быть разного качества и потенциально могут включать оскорбительные выражения и взгляды, — написала Stability AI. — Ожидается, что это будет исправлено за счёт масштабирования, более качественных данных, отзывов сообщества и оптимизации».

Тем не менее, получившие настройку с использованием методики Alpaca, разработанной в Стэнфорде, на наборах данных с открытым исходным кодом, в том числе от стартапа AI Anthropic, модели StableLM ведут себя как ChatGPT, реагируя на поручения (иногда с юмором), такие, как «написать сопроводительное письмо для разработчика программного обеспечения» и «написать текст для эпической рэп-битвы».

Хотя некоторые эксперты подвергают критике модели с открытым исходным кодом, утверждая, что они могут использоваться в сомнительных целях, например, для создания фишинговых электронных писем или поддержки атак вредоносных программ. Но Stability AI утверждает, что открытый исходный код на самом деле является правильным подходом. «Открытый, детализированный доступ к нашим моделям позволяет широкому исследовательскому и академическому сообществу разрабатывать методы интерпретации и безопасности, выходящие за рамки того, что возможно с закрытыми моделями», — заявила компания.

Тем не менее, против Stability AI подан ряд судебных исков, в которых она обвиняется в нарушении авторских прав миллионов художников, так как разрабатывала Stable Diffusion с использованием изображений, защищённых правом на интеллектуальную собственность.

Некоммерческая организация Linux Foundation объявила о планах на создание платформы метавселенной с открытым исходным кодом, которая имеет шансы стать «такой же влиятельной, как Всемирная паутина», если компании, разработчики и фонды объединятся для достижения общих целей.

Источник изображения: openmv.org

Новый проект получил название Open Metaverse Foundation (OMF), и его уже поделили на так называемые группы по интересам, каждая из которых сосредоточится на собственной теме. Среди ключевых направлений перечисляются технологии транзакций, виртуальные миры и симуляции, сетевые решения, вопросы безопасности и конфиденциальности, а также правовые вопросы и политика.

Назначенный исполнительным директором OMF Роял О'Брайен (Royal O’Brien) заявил, что в рамках нового проекта будут созданы условия для обсуждения, определения и разработки «кирпичиков» для воплощения метавселенной в реальность — её частью станут цифровые активы, симуляции, транзакции, алгоритмы искусственного интеллекта и прочие решения.

Linux Foundation создана как нейтральная среда для разработчиков, позволяющая обмениваться кодом и совместно работать над инновационными идеями. В распоряжении некоммерческой организации есть обширное портфолио проектов, направленных на гармонизацию технологий, в том числе направление OpenWallet Foundation, которое поможет решить проблему совместимости цифровых кошельков.

Компания «Базальт СПО», занимающаяся разработкой системного программного обеспечения на базе Linux, в том числе по требованиям российского законодательства в области защиты информации, объявила о выпуске операционной системы «Альт Образование» версии 10.1.

Источник изображения: basealt.ru

Представленная разработчиком ОС предназначена для использования в образовательной среде. Ключевыми особенностями платформы «Альт Образование» являются интеграция рабочих мест учащихся и преподавателя и возможность централизованного управления учебным классом. Встроенные инструменты групповых политик позволяют бесшовно интегрировать систему в используемую IT-инфраструктуру Active Directory и управлять компьютерами и пользователями по единым правилам (включая аутентификацию в домене, доступ к файловым ресурсам и ресурсам печати).

Дистрибутив платформы «Альт Образование» 10.1 поставляется с двумя стабильными ядрами Linux 5.10 и 5.15 (выбираются на этапе установки системы), расширенной поддержкой периферийных устройств и дополнительным набором инструментов, упрощающих администрирование ОС. В комплект поставки также включены средства для скачивания образовательного контента с видеохостингов, обновлённая среда Wine 7.17 для запуска Windows-приложений и система программирования PascalABC.NET актуальной версии, которая используется при сдаче ЕГЭ по информатике.

Отдельное внимание разработчиками было уделено повышению безопасности платформы «Альт Образование» 10.1. В частности, сообщается об усилении защиты сеансов взаимодействия с Федеральной информационной системой обеспечения проведения государственной итоговой аттестации обучающихся, Федеральной базой свидетельств о результатах единого государственного экзамена и другими госинформсистемами за счёт улучшения поддержки корневых сертификатов шифрования российских удостоверяющих центров.

«Альт Образование» 10.1 поддерживает работу с аппаратными платформами x86 (Intel 32/64 бит), ARM64 («Байкал-М», Huawei Kunpeng Desktop, Raspberry Pi 4 и другие), e2k («Эльбрус»). Для домашнего использования ОС бесплатна, организациям необходимо приобрести лицензию.