Китайская лаборатория искусственного интеллекта (ИИ) DeepSeek представила открытую версию своей модели искусственного интеллекта R1 со способностью к рассуждению, которая, по заявлению разработчиков, превосходит ИИ-модель o1 от компании OpenAI в некоторых бенчмарках по ряду ключевых показателей.

Источник изображения: Alexander Sinn / Unsplash

Как сообщает издание TechCrunch, модель R1 превосходит OpenAI o1 в таких бенчмарках, как AIME, MATH-500 и SWE-bench Verified. Эти тесты охватывают различные области, включая математические задачи, программирование и общую производительность модели. AIME оценивает производительность моделей с помощью других ИИ-моделей, MATH-500 представляет собой набор задач по математике, а SWE-bench Verified ориентирован на программирование.

Особенностью R1 является её способность к самопроверке, что помогает исключить ошибки, характерные для других моделей. Однако этот подход требует больше времени для получения ответа — от нескольких секунд до нескольких минут. Тем не менее, такие модели считаются более надёжными в сложных областях, таких как математика, физика и различные науки.

В DeepSeek заявили, что R1 содержит 671 миллиард параметров, что делает её одной из крупнейших моделей в мире. Для удобства пользователей компания также выпустила упрощённые версии R1 с объёмом параметров от 1,5 до 70 миллиардов. При этом, самая компактная версия может работать даже на обычном ноутбуке, в то время как для полного варианта требуется более мощное оборудование. Тем не менее, R1 доступна через API компании по цене, которая, как утверждается, на 90–95% ниже, чем у OpenAI o1.

Отмечается, что у R1 есть и некоторые недостатки. Поскольку модель разработана в Китае, она подлежит обязательной проверке со стороны регуляторов на соответствие «основным социалистическим ценностям». Например, R1 отказывается отвечать на вопросы о событиях на площади Тяньаньмэнь или о независимости Тайваня, что характерно для многих китайских ИИ-моделей, которые избегают обсуждения острых для Поднебесной политических тем.

Стоит сказать, что DeepSeek стала первой китайской лабораторией, вступившей в реальную конкуренцию с OpenAI o1, представив предварительный вариант R1 ещё в ноябре. Однако за ней последовали и другие игроки, включая Alibaba и Kimi, принадлежащую компании Moonshot AI. По мнению исследователя искусственного интеллекта из Университета Джорджа Мейсона Дина Балла (Dean Ball), всё это свидетельствует о том, что китайские ИИ-компании продолжают оставаться «быстрыми последователями» в технологической гонке. «Успех упрощённых версий DeepSeek […] показывает, что мощные рассуждающие модели будут становиться всё более доступными и смогут работать даже на локальном оборудовании», — отметил Балл в своём посте на X.

OpenAI представила новую функцию под названием «Задачи» (Tasks), которая позволяет ChatGPT создавать напоминания и выполнять запланированные действия. Функция уже доступна в бета-версии и является попыткой превратить чат-бот в нечто большее, приблизив его к функциональности таких виртуальных помощников, как «Google Ассистент» или Siri.

Источник изображения: Andrew Neel / Unsplash

Tasks позволяет дать задание ChatGPT, что именно и когда нужно сделать. Например, можно попросить ежедневно присылать прогноз погоды в определённое время, напомнить о сроке действия паспорта или даже подготовить сказку для рассказа детям перед сном, поясняет The Verge.

Чтобы воспользоваться функцией, подписчикам нужно выбрать в меню ChatGPT модель «4o with scheduled tasks», затем просто сформулировать свою просьбу относительно того, что нужно сделать, и указать время выполнения. Кроме того, Tasks может рекомендовать задачи на основе предыдущих бесед, но пользователь должен вручную подтвердить каждую из таких рекомендаций. Управлять заданиями можно как в самих чатах, так и в новом разделе Tasks, доступном через веб-версию. После выполнения задач пользователи смогут получать уведомления на все свои устройства. Важно отметить, что одновременно может выполняться до 10 активных задач.

Нововведение уже доступно в бета-версии для подписчиков тарифов Plus, Team и Pro. OpenAI пока не уточняет, станет ли функция доступной для бесплатного использования, но предположительно, Tasks останется частью премиум-тарифов, которые стоят $20 или $200 в месяц.

Напомним, ранее чат-бот работал исключительно в режиме реального времени, отвечая на запросы в момент их поступления. Однако OpenAI решила несколько расширить рамки возможностей ChatGPT, превратив его в инструмент для долгосрочного планирования. Более того, на подходе новые разработки, такие как автономный агент Operator, который сможет управлять компьютерами, и проект Caterpillar, способный интегрироваться с Tasks для поиска информации, анализа данных, навигации по сайтам и работы с документами.

Отмечается, что несмотря на перспективы, у функции остаются нерешённые вопросы. Например, насколько надёжно Tasks будет справляться с задачами, особенно если речь идёт о важной и срочной информации. А запуск в бета-версии свидетельствует о том, что OpenAI пока лишь тестирует эту функцию с целью сбора отзывов от пользователей, не гарантируя стопроцентную надёжность.

Компания OpenAI не смогла выпустить обещанный инструмент Media Manager до 2025 года, с помощью которого создатели контента смогли бы контролировать использование своих работ в обучении нейросетей. Media Manager, анонсированный в мае прошлого года, должен был идентифицировать защищённые авторским правом тексты, изображения, аудио и видео.

Источник изображения: hdhai.com

Инструмент должен был помочь OpenAI избежать юридических проблем, связанных с нарушением прав на интеллектуальную собственность, и в целом мог бы стать стандартом для всей индустрии искусственного интеллекта. Однако, как пишет издание TechCrunch, разработка Media Manager изначально не считалась в компании приоритетной. Один из бывших сотрудников OpenAI отметил: «Я не думаю, что это было приоритетом. Честно говоря, я и не помню, чтобы кто-то над этим работал». Другой источник, близкий к компании, подтвердил, что обсуждения инструмента были, но с конца 2024 года никакой новой информации, связанной с проектом, не поступало.

Надо сказать, что в последнее время использование авторского контента для обучения ИИ неоднократно становилось причиной споров. Модели OpenAI, такие как ChatGPT и Sora, обучаются на огромных наборах данных, включающих тексты, изображения и видео из интернета. Это позволяет ИИ-моделями создавать новые работы, но зачастую они оказываются слишком похожи на оригинал. Например, Sora может генерировать видео с логотипом TikTok или персонажами из видеоигр, а ChatGPT был «пойман» на дословных цитатах из статей The New York Times.

Такая практика вызывает волну возмущения со стороны авторов, чьи работы были использованы без их согласия. Против OpenAI уже поданы коллективные иски от художников, писателей и крупных медиа-компаний, включая The New York Times и Radio-Canada. Авторы, такие как американская актриса и сценарист Сара Сильверман (Sarah Silverman) и писатель Та-Нехиси Коутс (Ta-Nehisi Coates), также присоединились к судебным разбирательствам, обвинив OpenAI в незаконном использовании их работ.

OpenAI предложила альтернативные решения проблемы, и на данный момент создателям контента предлагается несколько способов для исключения своих работы из обучения нейросетей. В частности, в сентябре 2024 года была запущена форма для подачи заявлений на удаление изображений из будущих наборов данных. Также компания ничего не имеет против того, чтобы веб-мастера прописывали блокировку для своих сайтов от сбора данных её ботами, например в файле «robots.txt». Однако эти методы подверглись критике как за их сложность (удаление контента из набора данных), так и за их несовершенство.

Media Manager, напротив, преподносился как долгожданное комплексное решение. В мае 2024 года OpenAI заявила, что работает над инструментом совместно с регуляторами и использует передовые технологии машинного обучения для распознавания авторских прав. Тем не менее с момента анонса компания больше ни разу публично не упоминала об этом инструменте. И даже если Media Manager будет выпущен, эксперты сомневаются, что инструмент сможет решить все проблемы.

Эдриан Сайхан (Adrian Cyhan), юрист в сфере интеллектуальной собственности, отмечает, что даже крупным платформам, таким как YouTube и TikTok, сложно справляться с идентификацией контента в больших масштабах. «Гарантировать соблюдение всех требований создателей контента и законов разных стран — крайне трудная задача», — заявил он. А основатель некоммерческой организации Fairly Trained Эд Ньютон-Рекс (Ed Newton-Rex) вообще считает, что Media Manager лишь переложит ответственность на самих создателей.

При этом, даже если Media Manager будет запущен, он вряд ли сможет избавить OpenAI от юридической ответственности, считают эксперты. Эван Эверист (Evan Everist), специалист по авторскому праву, напомнил, что по закону владельцы авторских прав вообще не обязаны предупреждать о запрете на использование их работ и «базовые принципы авторского права остаются неизменными: нельзя использовать чужие материалы без разрешения».

В отсутствие Media Manager, OpenAI пока внедрила фильтры, которые предотвращают дословное копирование чужих данных, а в судебных исках компания продолжает утверждать, что её ИИ-модели создают «компиляцию», а не плагиат, ссылаясь на принцип «добросовестного использования». Суды могут поддержать позицию OpenAI, как это произошло в деле Google Books, когда суд постановил, что копирование компанией Google миллионов книг для Google Books, своего рода цифрового архива, является допустимым. Однако, если суды признают, что OpenAI незаконно использует авторский контент, компании придётся пересмотреть свою стратегию, включая выпуск Media Manager.

Искусственный интеллект (ИИ), способный убедительно создавать ложную или вымышленную информацию, может стать незаменимым инструментом в руках учёных. Новые лекарства, прогнозирование погоды и изобретение устройств — вот лишь немногие примеры того, как способность ИИ генерировать новые, на первый взгляд ошибочные идеи, может менять мир науки.

Источник изображения: Copilot

ИИ-модели часто подвергаются критике за склонность генерировать недостоверную информацию, выдавая её за факты — так называемые «галлюцинации». Эти правдоподобные подделки не только сбивают с толку пользователей чат-ботов, но и приводят к судебным разбирательствам и ошибкам в медицинских записях. Например, в прошлом году ложное заявление чат-бота Google обвалило рыночную стоимость одной из компаний на $100 млрд. Однако, как пишет The New York Times, недавно исследователи обнаружили, что «галлюцинации» ИИ могут быть и на удивление полезными.

Оказывается, «умные» LLM (большие языковые модели) способны генерировать невероятные идеи, которые помогают учёным в борьбе с раком, разработке новых лекарств, создании медицинских устройств, изучении погодных явлений и даже в получении Нобелевской премии. «Это даёт учёным новые идеи, которых они могли бы никогда не придумать сами», — объясняет Эми МакГоверн (Amy McGovern), руководитель федерального института ИИ (NSF AI Institute) в США по прогнозированию климата и погоды.

Хотя наука традиционно ассоциируется с логикой и аналитикой, её начало часто связано с интуицией и смелыми предположениями. Философ и методолог науки Пол Фейерабенд (Paul Feyerabend) однажды охарактеризовал этот этап как «всё дозволено». Ошибки ИИ-моделей оживляют этот творческий процесс, ускоряя поиск и проверку новых идей. То, что раньше занимало годы, теперь можно сделать за дни, часы или даже минуты. Профессор Массачусетского технологического института (MIT) Джеймс Дж. Коллинз (James J. Collins) недавно похвалил «галлюцинации» за ускорение его исследований в области новых антибиотиков, поскольку ИИ-модели создали совершенно новые молекулы.

«Галлюцинации» ИИ возникают, когда учёные обучают генеративные компьютерные модели определённой теме, а затем позволяют машинам перерабатывать полученную информацию. Результаты могут быть как абсурдными, так и гениальными. Например, в октябре 2023 года Нобелевская премия по химии была вручена Дэвиду Бейкеру (David Baker) за исследования в области белков. Его подход, основанный на использовании ИИ для создания совершенно новых белков, ранее считался практически невозможным. Бейкер отметил, что ИИ-генерация стала основой для разработки «белков с нуля». «Мы создали 10 миллионов новых белков, которых нет в природе», — говорит учёный. При этом его лаборатория уже получила около 100 патентов, включая технологии для лечения рака и борьбы с вирусными инфекциями.

Однако термин «галлюцинации» вызывает споры. Многие предпочитают называть результаты работы ИИ предположениями или перспективными идеями, поскольку они часто основаны на реальных научных данных. Например, профессор Калифорнийского технологического института Анима Анандкумар (Anima Anandkumar) считает, что использование термина «галлюцинации» может вводить в заблуждение, и отмечает, что учёные стараются избегать его.

Стоит отметить, что некоторые эксперты обеспокоены тем, что темпы научных открытий замедлились за последние десятилетия. Однако сторонники ИИ утверждают, что новые возможности могут вывести науку на иной уровень. В частности, Бейкер и его коллеги видят будущее, в котором белковые катализаторы будут использовать солнечную энергию, модернизировать заводы и помогать создавать устойчивый мир.

Другие учёные также разделяют этот оптимизм. «Это невероятно, насколько быстро всё развивается», — говорит Иан Хейдон (Ian C. Haydon), член команды Бейкера. А Пушмит Кохли (Pushmeet Kohli) из DeepMind подчёркивает, что ИИ способен на неожиданные, но гениальные ходы. «Мы явно имеем удивительный инструмент, который способен проявлять креативность», — заключил он.

Несмотря на успехи, «галлюцинации» искусственного интеллекта остаются спорной темой. Хотя некоторые учёные видят в них полезный инструмент, другие опасаются их негативных последствий, таких как ошибки в медицинских данных. Тем не менее, научным сообществом признаётся, что потенциал ИИ для ускорения научных открытий огромен.

ChatGPT перестал работать у многих пользователей по всему миру. Многочисленные сообщения в социальных сетях, а также наша собственная проверка показали, что чат-бот загружается, но не отвечает на запросы. Также многие пользователи видят сообщение о «внутренней ошибке сервера».

Похоже, что перебои начались примерно в 21:30 по московскому времени. Именно тогда на Down Detector начали появляться сообщения. В 22:00 по московскому времени OpenAI опубликовала обновление на странице состояния своих сервисов, сообщив, что ChatGPT, его API и генератор видео по текстовому описанию Sora «в настоящее время испытывают высокий уровень ошибок». В обновлении, опубликованном в 22:18 по московскому времени, говорится, что проблема «вызвана вышестоящим провайдером» и что OpenAI в настоящее время отслеживает ситуацию.

В 23:06 по московскому времени OpenAI заявила, что «продолжает работать над исправлением». О сроках восстановления полной работоспособности сервисов пока ничего не говорится.

За последние несколько месяцев ChatGPT уже несколько раз выходил из строя. Всего через несколько дней после того, как OpenAI выпустила Sora для платных подписчиков ChatGPT в начале этого месяца, инструмент для создания видео и ChatGPT вышли из строя на несколько часов. Между тем, в июне ChatGPT был выведен из строя в результате широкомасштабного сбоя.

Современные технологии искусственного интеллекта (ИИ) поставили под сомнение эффективность привычных инструментов защиты от ботов в интернете. Прохождение тестов капчи (Captcha), созданные для того, чтобы отличать людей от машин, больше не справляются с этой задачей, утверждает издание The Conversation. Сегодня боты способны решать эти головоломки быстрее и точнее, чем люди.

Источник изображения: Google

Капча, появившаяся в начале 2000-х годов, была изобретена учёными из Университета Карнеги-Меллон. Изначально она была разработана для защиты сайтов от автоматизированных программ — ботов, которые создавали фальшивые аккаунты или, например, скупали билеты и распространяли спам. Принцип работы был очень прост: человек должен был выполнить задание, которое легко для людей, но сложно для машин.

Первая версия капчи предлагала пользователям вводить буквы и цифры. Позже, в 2007 году, появилась ReCaptcha, где к задачам добавились слова. В 2014 году Google выпустила ReCaptcha v2, которая до сих пор остаётся самой популярной. Она предлагает либо отметить галочку «Я не робот», либо выбрать верные изображения, например, с велосипедами или светофорами.

Однако ИИ-системы научились капчу обходить. Технологии компьютерного зрения и обработки языка позволяют машинам с лёгкостью «читать» искажённый текст и распознавать объекты на изображениях. Например, ИИ-инструменты, такие как Google Vision и OpenAI Clip, решают подобные задачи за доли секунды, тогда как человеку требуется гораздо больше времени. И это уже становится проблемой в реальной жизни. Боты используются для скупки билетов на спортивные матчи или массового бронирования мест, лишая тем самым доступа к покупке билетов обычных пользователей. Например, в Великобритании автоматизированные программы массово резервируют места на экзамены по вождению, чтобы затем их перепродавать с большой наценкой.

Тем не менее, разработчики пытаются адаптироваться к новым вызовам. Так, в 2018 году Google представила ReCaptcha v3, которая больше не требует от пользователей решать головоломки. Вместо этого система анализирует поведение на сайте — движение курсора, скорость набора текста и другие детали, характерные только для человека.

Однако выяснилось, что и такие методы не идеальны. Во-первых, они вызывают вопросы о конфиденциальности данных, так как требуют сбора информации о пользователях. Например, некоторые сайты уже начали использовать биометрические данные для проверки пользователей, такие как отпечатки пальцев, голосовые команды или идентификацию по лицу.

Во-вторых, даже эти системы уже могут обходиться продвинутыми ИИ, а с появлением ИИ-агентов — программ, которые будут выполнять задачи от имени пользователей, ситуация может усложниться ещё больше. В будущем сайтам потребуется различать «хороших» ботов, работающих на благо пользователей, и «плохих», которые нарушают правила. Одним из возможных решений может стать введение цифровых сертификатов для аутентификации, но пока они находятся на стадии разработки.

То есть, борьба между ботами и системами защиты продолжается. Captcha, которая когда-то была надёжным инструментом, теряет свою эффективность, а разработчикам предстоит найти новые способы защиты, которые будут одновременно удобными для пользователей и недоступными для злоумышленников.

Китайская компания Alibaba представила модель искусственного интеллекта с открытым исходным кодом под названием QwQ-32B-Preview. Модель способна решать сложные логические и математические задачи, содержит 32,5 миллиарда параметров и может обрабатывать запросы длиной до 32 000 слов. По тестам, проведённым Alibaba, QwQ-32B-Preview превосходит модели o1-preview и o1-mini от OpenAI в ряде показателей.

Источник изображения: Copilot

Одним из ключевых преимуществ QwQ-32B-Preview, как сообщает TechCrunch, является её производительность в тестах AIME и MATH. Тест AIME оценивает работу модели с помощью других искусственных интеллектов, а MATH представляет собой набор текстовых математических задач. Благодаря своим особенностям, этот ИИ-бот способен решать сложные задачи и логические головоломки. Однако отмечается, что QwQ-32B-Preview не лишена недостатков: она может неожиданно менять язык общения, зацикливаться на некоторых моментах и хуже справляется с заданиями, когда требуется задействовать здравый смысл.

Интересной особенностью QwQ-32B-Preview является способность «проверять саму себя». Это помогает избегать ошибок-ловушек, свойственных другим системам искусственного интеллекта, однако замедляет процесс нахождения решений. Как и модели o1 от OpenAI, новая разработка Alibaba решает задачи поэтапно, постепенно анализируя и планируя дальнейшие шаги.

Несмотря на то, что QwQ-32B-Preview доступна для скачивания на платформе Hugging Face под лицензией Apache 2.0 (свободное программное обеспечение), что позволяет использовать её в коммерческих целях, Alibaba раскрыла лишь часть компонентов модели, тем самым не позволяя изучить внутренние механизмы работы алгоритма. Таким образом, несмотря на заявления об «открытости», модель остаётся промежуточным вариантом между закрытыми и открытыми системами (open source license).

Китайское происхождение модели также накладывает определённые ограничения. Как и другие разработки из Китая, QwQ-32B-Preview следует требованиям местного регулятора, который проверяет ИИ на соответствие «основным социалистическим ценностям». На вопросы политического характера, связанных с Китаем, модель отвечать откажется.

Стоит сказать, что интерес к «рассуждающим» моделям растёт на фоне снижения эффективности традиционного подхода к увеличению возможностей ИИ, основанного на простом масштабировании данных и вычислительных мощностей. Компании, такие как OpenAI, Google и Anthropic, всё чаще сталкиваются с замедлением прогресса своих технологий, что в свою очередь, стимулирует разработчиков искать новые подходы, например, такие как «вычисления на этапе выполнения» (test-time compute), которые дают моделям дополнительное время для обработки задач. При этом крупные лаборатории, включая Google, активно инвестируют в развитие подобных технологий, что подтверждает их ключевую роль в будущем искусственного интеллекта.

Новое исследование IEEE показало, что взломать роботов с искусственным интеллектом так же просто, как и обмануть чат-ботов. Учёные смогли заставить роботов выполнять опасные действия с помощью простых текстовых команд.

Источник изображения: Copilot

Как пишет издание HotHardware, если для взлома устройств вроде iPhone или игровых консолей требуются специальные инструменты и технические навыки, то взлом больших языковых моделей (LLM), таких как ChatGPT, оказывается гораздо проще. Для этого достаточно создать сценарий, который обманет ИИ, заставив его поверить, что запрос находится в рамках дозволенного или что запреты можно временно игнорировать. Например, пользователю достаточно представить запрещённую тему как часть якобы безобидного рассказа «от бабушки на ночь», чтобы модель выдала неожиданный ответ, включая инструкции по созданию опасных веществ или устройств, которые должны быть системой немедленно заблокированы.

Оказалось, что взлом LLM настолько прост, что с ним могут справится даже обычные пользователи, а не только специалисты в области кибербезопасности. Именно поэтому инженерная ассоциация из США — Институт инженеров электротехники и электроники (IEEE) — выразила серьёзные опасения после публикации новых исследований, которые показали, что аналогичным образом можно взломать и роботов, управляемых искусственным интеллектом. Учёные доказали, что кибератаки такого рода способны, например, заставить самоуправляемые транспортные средства целенаправленно сбивать пешеходов.

Среди уязвимых устройств оказались не только концептуальные разработки, но и широко известные. Например, роботы Figure, недавно продемонстрированные на заводе BMW, или роботы-собаки Spot от Boston Dynamics. Эти устройства используют технологии, аналогичные ChatGPT, и могут быть обмануты через определённые запросы, приведя к действиям, полностью противоречащим их изначальному назначению.

В ходе эксперимента исследователи атаковали три системы: робота Unitree Go2, автономный транспорт Clearpath Robotics Jackal и симулятор беспилотного автомобиля NVIDIA Dolphins LLM. Для взлома использовался инструмент, который автоматизировал процесс создания вредоносных текстовых запросов. Результат оказался пугающим — все три системы были успешно взломаны за несколько дней со 100-% эффективностью.

В своём исследовании IEEE приводит также цитату учёных из Университета Пенсильвании, которые отметили, что ИИ в ряде случаев не просто выполнял вредоносные команды, но и давал дополнительные рекомендации. Например, роботы, запрограммированные на поиск оружия, предлагали также использовать мебель как импровизированные средства для нанесения вреда людям. Эксперты подчёркивают, что, несмотря на впечатляющие возможности современных ИИ-моделей, они остаются лишь предсказательными механизмами без способности осознавать контекст или последствия своих действий. Именно поэтому контроль и ответственность за их использование должны оставаться в руках человека.

Google с помощью искусственного интеллекта выявила 26 новых уязвимостей в проектах с открытым исходным кодом (Open Source), включая баг в OpenSSL, который оставался незамеченным в течение двух десятилетий. Этот баг, получивший название CVE-2024-9143, связан с «выходом за границы памяти», вызывал сбои программы, а в редких случаях запускал вредоносный код.

Источник изображения: AI-генерация

Для поиска уязвимостей и автоматизации процесса разработчики Google применили метод «фаззинг-тестирование» (fuzz testing), при котором в код загружаются случайные данные для выявления возможных сбоев. В блоге компании отмечается, что подход заключался в использовании возможностей больших языковых моделей (LLM) для генерации большего количества целей фаззинга.

Как выяснилось, LLM оказались «высокоэффективными в эмуляции всего рабочего процесса типичного разработчика по написанию, тестированию и сортировке обнаруженных сбоев». В результате искусственный интеллект был применён для тестирования 272 программных проектов, где и были обнаружены 26 уязвимостей, включая «древний» баг в OpenSSL.

По словам исследователей, причина, по которой баг оставался незамеченным 20 лет, заключается в сложности тестирования отдельных сценариев кода, а также из-за того, что данный код считался уже тщательно протестированным и, соответственно не привлекал к себе большого внимания. «Тесты не способны измерять все возможные пути выполнения программы. Разные настройки, флаги и конфигурации могут активировать и разное поведение, которое выявляют новые уязвимости», — пояснили специалисты. К счастью, ошибка имеет низкий уровень опасности из-за минимального риска эксплуатации процесса.

Ранее разработчики вручную писали код для фаззинг-тестов, но теперь Google планирует научить ИИ не только находить уязвимости, но и автоматически предлагать исправления, минимизируя участие человека. «Наша цель — достичь уровня, при котором мы будем уверены в возможности обходиться без ручной проверки», — заявили в компании.

Исследование Naumen показало впечатляющее развитие российского рынка диалогового ИИ. За 5 лет объём отечественного рынка NLP-решений вырос в четыре раза, до 5,9 млрд руб. к концу 2023 года. Ключевые сегменты рынка — чат-боты, голосовые помощники, речевая аналитика, синтез и распознавание речи — всё шире внедряются в банковский сектор, ретейл и медицину, где играют важную роль в автоматизации взаимодействия с клиентами и повышении эффективности бизнес-процессов.

Источник изображений: Alexandra_Koch / Pixabay

Согласно исследованию разработчика программных решений Naumen, рынок диалогового ИИ охватывает четыре основные категории: чат-боты, голосовые помощники, решения для речевой аналитики, а также технологии синтеза и распознавания речи. Лидером в 2023 году стали голосовые помощники, которые заняли 26,8 % рынка и принесли почти 1,6 млрд руб. дохода, увеличившись в объёме в 4,9 раза по сравнению с 2019 годом. Популярность таких помощников объясняется их эффективностью в автоматизации клиентского обслуживания и оптимизации бизнес-процессов.

Сегмент голосовых роботов для исходящих звонков также занял значительную долю рынка, достигнув 1,55 млрд руб. в 2023 году, впервые превысив объём сегмента входящих роботов, включающих автоответчики и маршрутизаторы звонков. Эти технологии активно применяются для автоматического обзвона клиентов и проведения опросов, что позволяет компаниям оптимизировать затраты на коммуникации и обеспечивать более масштабное взаимодействие с клиентами.

Сегмент чат-ботов в 2023 году составил 19 % рынка с объёмом продаж, достигшим 1,2 млрд руб. Это на 44 % больше по сравнению с 2019 годом, что свидетельствует о стабильном росте интереса к этому направлению. Эксперты Naumen полагают, что потенциал чат-ботов ещё далёк от исчерпания, и прогнозируют высокие темпы роста этого сегмента в будущем. Основные инвестиции на рынке диалогового ИИ пришлись на период 2019–2021 годов, когда крупные компании начали приобретать доли в профильных разработчиках ИИ. Сбербанк, к примеру, приобрёл 51 % компании «Центр речевых технологий» (ЦРТ), Совкомбанк — 25 % в компании AtsAero, а совместно с МТС — 22,5 % разработчика Just AI. После некоторого затишья в 2022 году инвестиционная активность возобновилась: в 2023 году «Вымпелком» купил 14 % акций в компании Cashee (Target AI), а Softline приобрёл 72,5 % в Robovoice.

На российском рынке диалогового ИИ крупные игроки, такие как ЦРТ, Just AI, BSS и «Наносемантика», контролируют более 50 % разработок чат-ботов и голосовых помощников. В то же время 80 % решений для голосовых роботов производят небольшие специализированные компании, такие как Neuro Net и Zvonobot. Согласно статистике Naumen, диалоговые ИИ-системы наиболее активно внедряются в ретейле, где чат-боты используют 42 % компаний, и в банковском секторе, охватывающем 27 % рынка. Голосовые помощники востребованы в основном среди банков (21 %) и медицинских учреждений (50 %).

Генеральный директор компании Dbrain и автор Telegram-канала «AI Happens» Алексей Хахунов отмечает, что интенсивный рост рынка NLP-решений в последние годы объясняется двумя основными факторами. Во-первых, рынок только формируется и продолжает набирать обороты, что создаёт условия для устойчивого роста. Во-вторых, значительные технологические достижения в области обработки естественного языка, произошедшие в последние несколько лет, позволили создать эффективные и конкурентоспособные решения для бизнеса. Хахунов подчёркивает, что современные NLP-инструменты значительно упрощают доступ к технологиям автоматизации.

Исполнительный директор MTS AI и эксперт Альянса в сфере ИИ Дмитрий Марков подчёркивает, что популярность чат-ботов выросла в период пандемии коронавируса, когда компании столкнулись с резким увеличением онлайн-запросов. После окончания пандемии рост этого сегмента несколько замедлился. Однако развитие технологий ИИ привело к появлению множества платформ для создания чат-ботов, что снизило порог входа на рынок для малого и среднего бизнеса. Теперь базового чат-бота или голосового робота может внедрить практически любая компания.

Сооснователь компании Parodist AI Владимир Свешников прогнозирует, что будущее развитие рынка NLP-решений будет тесно связано с совершенствованием больших языковых моделей. Повышение качества ИИ-моделей достигается за счёт их масштабирования и увеличения объёма обучающих данных, что ускоряет разработку и внедрение диалоговых ИИ-систем. Доступность большого объёма данных позволяет ИИ становиться всё более гибким и точным, что создаёт благоприятные условия для расширения его использования в различных отраслях.

Спрос на автоматизацию и роботизацию остаётся высоким, особенно в условиях нехватки квалифицированных кадров. Современные технологии ИИ позволяют оптимизировать рабочие процессы в ночное время и выходные дни, когда привлечение человеческих ресурсов обходится значительно дороже. Дмитрий Марков отмечает, что современные чат-боты и голосовые роботы могут обеспечивать круглосуточное обслуживание клиентов, что способствует быстрой окупаемости вложений. С развитием ИИ такие решения станут частью более сложных систем поддержки бизнеса, способных обеспечивать постоянное присутствие компании в цифровом пространстве.

Один из ключевых специалистов OpenAI, Лилиан Венг (Lilian Weng), объявила о своём уходе. Венг проработала в компании 7 лет, занимая должность главы отдела систем разработки безопасности, а в августе этого года получила повышение. В своём заявлении на платформе X она отметила, что покидает OpenAI, чтобы «начать всё сначала и попробовать что-то новое».

Источник изображения: Levart_Photographer/Unsplash

Как сообщает TechCrunch, последним рабочим днём Венг станет 15 ноября, однако о своих дальнейших планах она не сообщила. «Я приняла крайне трудное решение покинуть OpenAI», — призналась Венг. «Оглядываясь на то, чего мы достигли, я очень горжусь каждым членом команды по системам безопасности и полностью уверена, что команда продолжит процветать».

Венг — не единственный специалист, который покинул компанию. За последний год оттуда ушли исследователи в области безопасности, а также руководители, обвинившие компанию в приоритете коммерческих продуктов над безопасностью ИИ. Ранее в этом году OpenAI покинули Илья Суцкевер (Ilya Sutskever) и Ян Лейке (Jan Leike) — руководители расформированной команды «Superalignment», которая занималась разработкой методов управления сверхразумными системами ИИ.

Венг присоединилась к OpenAI в 2018 году, начав свою карьеру в команде робототехники, которая создала роботизированную руку, способную собирать кубик Рубика за считаные секунды. С переходом OpenAI к парадигме GPT, Венг присоединилась к команде прикладных исследований ИИ в 2021 году. После запуска GPT-4 в 2023 году она возглавила команду по разработке систем безопасности, в которой работает более 80 человек.

OpenAI сообщает, что руководство ищет замену Венг. «Мы глубоко ценим вклад Лилиан в прорывные исследования в области безопасности и создание надёжных технических гарантий, — говорится в заявлении официального представителя OpenAI. — Мы уверены, что команда по системам безопасности продолжит играть ключевую роль в обеспечении надёжности наших систем, обслуживающих сотни миллионов людей по всему миру».

Стоит отметить, что в октябре компанию покинул Майлз Брандейдж (Miles Brundage), работавший над политикой в сфере ИИ, после чего OpenAI объявила о роспуске команды AGI Readiness. В тот же день газета New York Times опубликовала интервью с бывшим исследователем OpenAI Сучиром Баладжи (Suchir Balaji), который заявил, что тоже покинул компанию, поскольку считает, что её технологии принесут обществу больше вреда, чем пользы.

Waymo, дочерняя компания Alphabet, представила новый подход к обучению своих беспилотных транспортных средств, используя модель Gemini — большую мультимодальную языковую модель (MLLM) от Google. Модель улучшит навигацию автономных автомобилей и позволит лучше справляться со сложными дорожными ситуациями.

Источник изображения: waymo.com

В новом исследовательском докладе Waymo дала определение своей разработке как «сквозной мультимодальной модели для автономного вождения» (EMMA), которая обрабатывает данные с сенсоров и помогает роботакси принимать решения о направлении движения, избегая препятствий. Как пишет The Verge, Waymo давно подчёркивала своё стратегическое преимущество благодаря доступу к научным исследованиям в области искусственного интеллекта (ИИ) Google DeepMind, ранее принадлежавшей британской компании DeepMind Technologies.

Новая система EMMA представляет собой принципиально иной подход к обучению автономных транспортных средств. Вместо традиционных модульных систем, которые разделяют функции на восприятие, планирование маршрута и другие задачи, EMMA предлагает единый подход, который позволит обрабатывать данные комплексно, поможет избежать ошибок, возникающих при передаче данных между модулями, и улучшит адаптацию к новым, незнакомым условиям на дороге в реальном масштабе времени.

Одним из ключевых преимуществ использования моделей MLLM, в частности Gemini, является их способность к обобщению знаний, почерпнутых из огромных объёмов данных, полученных из интернета. Это позволяет моделям лучше адаптироваться к нестандартным ситуациям на дороге, таким как неожиданное появление животных или ремонтные работы. Кроме того, модели, обученные на основе Gemini, способны к «цепочке рассуждений». Это метод, который помогает разбивать сложные задачи на последовательные логические шаги, улучшая процесс принятия решений.

Несмотря на успехи, Waymo признает, что EMMA имеет свои ограничения. Например, модель пока не поддерживает обработку 3D-данных с таких сенсоров, как лидар или радар, из-за высокой вычислительной сложности. Кроме того, EMMA способна обрабатывать лишь ограниченное количество кадров изображений одновременно. Подчёркивается, что потребуется дальнейшее исследование для преодоления всех этих ограничений перед полноценным внедрением модели в реальных условиях.

Waymo также осознает и риски, связанные с использованием MLLM в управлении автономными транспортными средствами. Модели, подобные Gemini, могут допускать ошибки или «галлюцинировать» в простых задачах, что конечно недопустимо на дороге. Тем не менее, есть надежда, что дальнейшие исследования и улучшения архитектуры ИИ-моделей для автономного вождения преодолеют эти проблемы.

Компания Microsoft опубликовала отчёт по кибербезопасности Microsoft Digital Defense Report 2024. Документ объёмом 114 страниц демонстрирует значительное увеличение числа кибератак различного рода за последний год. Особо подчёркивается, что злоумышленники получают всё больше технических ресурсов, в том числе связанных с искусственным интеллектом.

Источник изображения: FlyD/Unsplash

Согласно отчёту, пользователи Windows ежедневно подвергаются более чем 600 миллионам кибератак. Для атак используются программы-вымогатели, фишинг (обман с помощью поддельных сайтов) и другие изощрённые формы кражи личных данных, поясняет PCWorld. В основном хакеры пытаются заполучить пароли.

Эксперты Microsoft отмечают, что киберпреступники активно используют новейшие технологии, включая инструменты на базе искусственного интеллекта (ИИ). Технология помогает злоумышленникам создавать поддельные изображения, видеоролики и аудиозаписи. Также искусственный интеллект используется для массового создания «идеальных» резюме с целью проникновения во внутреннюю систему компаний через поддельные заявки на вакансии. Кроме того выяснилось, что хакеры могут использовать для атак непосредственно ИИ-платформы. Например, через внедрение ложных запросов (XPIA) они могут отправить фальшивые команды и получить управление компьютером жертвы.

Под угрозой находятся не только обычные пользователи. Кибератаки всё чаще направляются на правительственные организации и компании. Так, в течение текущего года система здравоохранения США подверглась 389 успешным кибератакам, что привело к сбоям в работе сетей, различным системам и задержкам в проведении важных медицинских процедур.

За многими из этих атак, как подчёркивается в отчёте, стоят не только «простые» киберпреступники. Всё больше участие в этом принимают государственные акторы. Microsoft среди прочих стран называет Китай одним из основных источников таких атак, особенно в контексте вмешательства в предвыборные кампании перед президентскими выборами в США. При этом грань между обычными киберпреступниками и хакерами, работающими на государства, становится всё более размытой.

Сообщается, что Microsoft удалось в этом году предотвратить около 1,25 миллиона атак типа «распределённый отказ в обслуживании» (DDoS), что в четыре раза больше по сравнению с прошлым годом.

Сотрудник Microsoft предупредил о новой «сверхреалистичной» схеме мошенничества с использованием ИИ, которая способна обмануть «даже самых опытных пользователей». Целью аферы, связанной с поддельными звонками и электронными письмами якобы от Google, является захват учётных записей Gmail.

Источник изображения: Andras Vas/Unsplash

С появлением искусственного интеллекта злоумышленники находят новые способы использования технологии в своих интересах. Консультант по решениям Microsoft Сэм Митрович (Sam Mitrovic) чуть сам не попался на обман и рассказал в своём блоге, как всё происходит.

Недавно он получил СМС-уведомление с просьбой подтвердить попытку восстановления доступа к своему аккаунту Gmail. Запрос пришёл из США, но он отклонил его. Однако спустя 40 минут был обнаружен пропущенный звонок с идентификатором Google Sydney. Через неделю Митрович снова получил уведомление о попытке восстановления доступа к своему аккаунту Gmail. И вновь, спустя 40 минут, получил звонок, который на этот раз решил принять. По его словам, звонивший говорил с американским акцентом, был крайне вежлив, а номер звонившего оказался австралийским.

Собеседник представился и сообщил, что на аккаунте зафиксирована подозрительная активность и спросил, не находится ли Митрович в поездке? После отрицательного ответа задал ещё пару уточняющих вопросов. В процессе разговора сотрудник Microsoft решил проверить номер, используя данные Google. К его удивлению, официальная документация Google подтвердила, что некоторые звонки действительно могут поступать из Австралии, при этом номер казался подлинным. Однако, зная о возможной подмене номеров, Митрович продолжил проверку, попросив звонившего отправить ему электронное письмо.

Тот согласился. При этом на линии во время ожидания были слышны звуки клавиатуры и шумы, характерные для колл-центра, что не должно было вызвать сомнений в подлинности разговора. Однако всё раскрылось в тот момент, когда звонивший повторил «Алло» несколько раз. Митрович понял, что разговаривает с ИИ, так как «произношение и паузы были слишком идеальными».

Бросив трубку, он попытался перезвонить на номер, однако услышал автоматическое сообщение: «Это Google Maps, мы не можем принять ваш звонок». Далее он проверил активность входа в свой аккаунт Gmail (это можно сделать, нажав на фото профиля в правом верхнем углу, выбрав «Управление аккаунтом Google», затем перейдя в раздел «Безопасность» и проверив «Недавнюю активность безопасности»). Все входы в систему, к счастью, оказались его собственными.

Далее Митрович изучил заголовки полученного письма и обнаружил, что мошенник подделал адрес отправителя с помощью системы Salesforce CRM, которая позволяет пользователям устанавливать любой адрес и отправлять письма через серверы Google Gmail. Итог истории в том, что мошенники с помощью ИИ и поддельного Email могут быть настолько убедительны в своих действиях, что даже опытные пользователи могут быть подвергнуты обману. С учётом технологических реалий сегодняшнего дня, единственной защитой является бдительность.

Исследователи Apple обнаружили, что большие языковые модели, такие как ChatGPT, не способны к логическому мышлению и их легко сбить с толку, если добавить несущественные детали к поставленной задаче, сообщает издание TechCrunch.

Источник изображения: D koi/Unsplash

Опубликованная статья «Понимание ограничений математического мышления в больших языковых моделях» поднимает вопрос о способности искусственного интеллекта к логическому мышлению. Исследование показало, что большие языковые модели (LLM) могут решать простые математические задачи, но добавление малозначимой информации приводит к ошибкам.

Например, модель вполне может решить такую задачу: «Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу. Сколько киви у Оливера?». Однако, если при этом в условие задачи добавить фразу «в воскресенье 5 из этих киви были немного меньше среднего размера», модель скорее всего вычтет эти 5 киви из общего числа, несмотря на то, что размер киви не влияет на их количество.

Источник изображения: Copilot

Мехрдад Фараджтабар (Mehrdad Farajtabar), один из соавторов исследования, объясняет, что такие ошибки указывают на то, что LLM не понимают сути задачи, а просто воспроизводят шаблоны из обучающих данных. «Мы предполагаем, что это снижение [эффективности] связано с тем фактом, что современные LLM не способны к подлинному логическому рассуждению; вместо этого они пытаются воспроизвести шаги рассуждения, наблюдаемые в их обучающих данных», — говорится в статье.

Другой специалист из OpenAI возразил, что правильные результаты можно получить с помощью техники формулировки запросов (prompt engineering). Однако Фараджтабар отметил, что для сложных задач может потребоваться экспоненциально больше контекстных данных, чтобы нейтрализовать отвлекающие факторы, которые, например, ребёнок легко бы проигнорировал.

Означает ли это, что LLM не могут рассуждать? Возможно. Никто пока не даёт точного ответа, так как нет чёткого понимания происходящего. Возможно, LLM «рассуждают», но способом, который мы пока не распознаём или не можем контролировать. В любом случае эта тема открывает захватывающие перспективы для дальнейших исследований.