У OpenAI есть ChatGPT. У Google есть ИИ-чат-бот Bard. У Microsoft есть различные версии ИИ-помощников Copilot, предназначенные для разных задач. Компания Amazon во вторник наконец-то анонсировала своего ИИ-помощника — Amazon Q. Он разработан подразделением облачных вычислений Amazon и предназначен не для обычных потребителей, а для корпоративных пользователей.

Источник изображения: Associated Press

Среди функций Amazon Q отмечаются возможность кратко формулировать содержание важных документов, заполнение заявок для внутренней поддержки компаний, ответы на вопросы о политике компании, помощь в редактировании и т.д. Он будет конкурировать с другими корпоративными чат-ботами включая Copilot, Google Duet AI и ChatGPT Enterprise.

В интервью изданию The New York Times исполнительный директор Amazon Web Services Адам Селипски (Adam Selipsky, на фото выше) выразил надежду, что Amazon Q имеет все шансы стать важным помощником для миллионов людей в их повседневных рабочих задачах.

За минувший год с момента выпуска ChatGPT компанией OpenAI многие другие ведущие технологические гиганты, включая Google и Microsoft, успели поддаться всеобщему буму ИИ и выпустить свои варианты чат-ботов, на основе технологий больших языковых моделей, вложив в эти разработки миллиарды долларов. Компания Amazon в свою очередь лишь недавно начала говорить о своём интересе к подобным технологиям, а также планах развития в этом направлении. Например, в сентябре Amazon сообщила, что инвестирует до $4 млрд в компанию Anthropic, конкурента OpenAI, и будет заниматься вместе с ней разработкой специализированных ИИ-процессоров. Также Amazon ранее представила сервис, который способен предоставлять доступ к разным ИИ-системам в рамках единой платформы.

Являясь одним из ведущих операторов облачных вычислений, компания Amazon имеет большую пользовательскую базу среди корпоративных клиентов, которые хранят огромные объёмы информации на её облачных серверах. По словам Селипски, её клиенты заинтересованы в использовании чат-ботов на рабочих местах, но они хотят быть уверены в том, что ИИ-помощники будут обладать достаточным уровнем защиты от утечек корпоративных данных. «Многие компании в разговоре со мной отметили, что они запретили своим сотрудникам использовать ИИ-чат-боты из соображений безопасности и конфиденциальности», — заявил Селипски.

Источник изображения: AWS

Ответом Amazon стала разработка Amazon Q — корпоративного чат-бота с повышенной защитой конфиденциальных данных по сравнению с потребительскими чат-ботами. Например, для Amazon Q можно выставить те же разрешения безопасности, которые бизнес-клиенты облачного сервиса Amazon уже настроили для своих пользователей. Если в компании сотрудник отдела маркетинга не имеет доступа к конфиденциальным финансовым прогнозам, Amazon Q может имитировать эти прогнозы, без предоставления официальных финансовых данных. Кроме того, компании, использующие Amazon Q, также могут устанавливать разрешения на использование своих корпоративных данных чат-ботом, не находящихся на серверах Amazon, например, через подключение Slack и Gmail.

В отличие от ChatGPT и Bard, Amazon Q не основан на какой-то конкретной языковой модели искусственного интеллекта. Вместо этого он использует платформу Amazon Bedrock, которая объединяет несколько систем искусственного интеллекта, включая собственный Titan от Amazon, а также модели ИИ, разработанные Anthropic и Meta✴.

Цены на Amazon Q начинаются с 20 долларов США за одного пользователя сервиса в месяц. Для сравнения, Microsoft и Google взимают 30 долларов в месяц за каждого пользователя своих корпоративных чат-ботов, которые могут работать с электронной почтой и предлагают другие функции, повышающие общую производительность сотрудников на рабочих местах.

Источник изображения: NVIDIA

Вместе с анонсом Amazon Q компания сообщила о планах расширения своей облачной инфраструктуры, связанной с технологиями ИИ. В частности, Amazon заявила о продлении сотрудничества с компанией NVIDIA и анонсировала разработку ИИ-серверов на основе новых специализированных графических процессоров, в которых используется Arm-архитектура.

Одна из входящих в МТС структур запустила проект «Рой 9», который предполагает развитие и обучение моделей искусственного интеллекта на сторонних устройствах. Данную инициативу можно сравнить с добычей криптовалют в пулах, когда устройства разных клиентов объединяют вычислительные мощности для общей цели. Только здесь вместо криптовалюты на выходе будет натренированная нейросеть. В компании сообщили, что широкий запуск проекта пока не планируется, и сейчас это всего лишь проверка гипотез, сообщает «Коммерсант».

Источник изображения: Gerd Altmann / pixabay.com

Работой над проектом занимается принадлежащее оператору ООО «Серенити Сайбер Секьюрити», которое 1 ноября зарегистрировало доменное имя roy9.ru. «Рой 9» предлагает пользователям предоставлять свои компьютеры и мобильные устройства для обучения моделей машинного обучения — в настоящий момент на платформе обучаются четыре нейросети. «Новые модели AI помогут людям в новых открытиях, вы можете стать частью этого движения. Кроме того, помогая в обучении моделей, вы делаете мир интереснее», — говорится в описании сохранённой изданием страницы.

Представитель МТС заявил, что сайт был запущен исключительно для проверки гипотез в области ИИ и машинного обучения — он предназначался только для внутренних нужд, и никаких связанных с ним общедоступных проектов не планировалось. Тестированием занимается центр инноваций МТС Future Crew, и к настоящему моменту сайт закрыт.

Крупные российские игроки уже запускали службы для развития систем машинного обучения: к примеру, в инфраструктуре VK Cloud Solutions действует сервис для тестирования гипотез, работы с данными и других целей; у «Яндекса» есть сервис для разработки и тестирования алгоритмов машинного обучения DataSphere. А МТС весной прошлого года запустил систему CICADA 8, предназначенную для тестирования инфраструктуры компании на устойчивость.

В России наблюдается дефицит мощностей для обучения ИИ, и модель краудфандинга стала бы частичным решением вопроса, считает опрошенный «Коммерсантом» эксперт. В случае с МТС участвующие в проекте абоненты оператора могли бы получать, например, скидку на услуги связи или дополнительные пакеты трафика или минут.

Компания OpenAI объявила о планах провести первую конференцию для разработчиков OpenAI DevDay. Однодневное мероприятие, запланированное на 6 ноября, соберёт в Сан-Франциско (Калифорния, США) разработчиков со всего мира. Они смогут принять участие в технических сессиях и демонстрациях новых продуктов.

Источник изображения: Neowin

Посредством конференции OpenAI стремится укрепить свои отношения с сообществом разработчиков. Это играет ключевую роль в быстром внедрении технологий искусственного интеллекта.

«Однодневное мероприятие соберёт сотни разработчиков со всего мира вместе с командой OpenAI, чтобы изучить новые инструменты и обменяться новыми идеями. Участники конференции также смогут присоединиться к секционным заседаниям, которые будут проводиться техническими специалистами OpenAI. Мы с нетерпением ждём возможности показать наши последние решения, которые позволят разработчикам создавать новые продукты», — отметила компания.

Сегодня более двух миллионов разработчиков используют модели OpenAI, такие как GPT-4, GPT-3.5, Dall-E и Whisper, в своих приложениях и продуктах. На конференции OpenAI DevDay компания, вероятно, представит обновления диалогового агента ChatGPT, использующего языковые модели GPT-4 и GPT-3.5.

Хотя те же Google и Microsoft стремятся не отставать от конкурента и предлагают свои модели ИИ, OpenAI называет себя авангардом инноваций в области искусственного интеллекта. Недавно компания запустила корпоративную версию ChatGPT Enterprise с дополнительными функциями и средствами защиты конфиденциальности, которые недоступны в обычных версиях ChatGPT.

Подробную информацию о регистрации для участников конференции OpenAI предоставит позже. Компания также планирует транслировать основную часть DevDay в прямом эфире.

Социальная сеть «ВКонтакте» представила новые функции платформы «VK Звонки», которые будут полезны для тех, кто использует сервис для делового общения или в условиях, когда важно соблюдать тишину. Речь идёт о текстовой расшифровке встреч, которая автоматически переводит звуковую дорожку встречи в текст с сохранением в чате звонка, а также об автосубтитрах, которые дублируют речь участников чата.

Источник изображения: «ВКонтакте»

Функцию текстовой расшифровку может включить любой из участников группового звонка, при этом остальные собеседники получат об этом уведомление. После завершения общения файл с текстом поступит в чат звонка и будет сохранён в специальном разделе в профиле пользователя, включившего текстовую расшифровку. В файле автоматически расставляются тайм-коды и имена говорящих.

Что касается автоматических субтитров, то они будут показываться в реальном времени только у тех пользователей, которые включили эту опцию. Текстовая расшифровка может выполняться одновременно с субтитрами и записью звонка.

Для перевода речи в текст «ВКонтакте» использует собственные нейросетевые разработки, которые соцсеть применяет для расшифровки голосовых сообщений и создания автосубтитров в видео. Для обеспечения высокого качества расшифровки аудиопоток обрабатывается в несколько этапов. Сначала запись очищается от фоновых звуков с использованием интеллектуального шумоподавления, после чего нейросеть распознаёт слова, формируя текст, который потом делит на предложения в соответствии с конкретным спикером. Нейросети постоянно совершенствуются, проходя обучение, в том числе, на актуальной разговорной речи и сленге.

Новыми функциями можно также воспользоваться в сессионных залах и в звонках от имени сообщества. В настоящее время функции доступны только для русского языка, но в дальнейшем будут добавлены и другие языки. Также в ближайшее время планируется запуск новых функций в звонках один на один и возможность настройки администратором того, кто из участников встречи сможет запускать расшифровку.

Как отметила «ВКонтакте», новые функции будут особенно полезны тем, кто использует «VK Звонки» для делового общения, позволяя быстро расшифровать интервью, отправить ключевые тезисы после встречи или рассказать об итогах звонка коллегам, которые не были на встрече. Субтитры будут полезны в ситуации, когда важно соблюдать тишину и у пользователя не оказалось наушников. «Кроме того, это шаг к формированию доступной цифровой среды для слабослышащих пользователей: они смогут участвовать во встречах без ограничений», — подчеркнула пресс-служба соцсети.

Компания Tesla сообщила о запуске на этой неделе нового суперкомпьютера для решения ресурсоемких задач, связанных с ИИ. В его основе используются 10 тыс. специализированных графических ускорителей NVIDIA H100.

Источник изображений: HPC Wire

Отмечается, что система обеспечивает пиковую производительность в 340 Пфлопс в операциях FP64 для технических вычислений и 39,58 Эфлопс в операциях INT8 для задач ИИ. Таким образом, по производительности FP64 кластер превосходит суперкомпьютер Leonardo, который располагается на четвёртой позиции в нынешнем мировом рейтинге суперкомпьютеров Тор500 с показателем 304 Пфлопс.

Новый суперкомпьютер Tesla с ускорителями NVIDIA H100 является одной из самых мощных платформ в мире. На формирование кластера потрачено около $300 млн. Он подходит не только для обработки алгоритмов ИИ, но и для НРС-задач. Благодаря данной системе компания рассчитывает значительно расширить ресурсы для создания полноценного автопилота.

На фоне сформировавшегося дефицита ускорителей NVIDIA H100 компания хочет диверсифицировать вычислительные мощности. Для этого Tesla ведёт разработку своего собственного проприетарного суперкомпьютера Dojo. В проект планируется инвестировать $1 млрд. Уже к октябрю следующего года Tesla рассчитывает преодолеть барьер в 100 Эфлопс производительности, что более чем в 60 раз мощнее самого производительного суперкомпьютера в мире на сегодняшний день.

Помимо простого аппаратного обеспечения, новая вычислительная инфраструктура предоставит Tesla преимущество в обработке огромных наборов данных, что имеет решающее значение для реальных сценариев обучения ИИ.

На очередной ежегодной конференции Cloud Next компания Google Cloud объявила о выпуске пятого поколения своих тензорных процессоров (TPU) для обучения нейросетей — TPU v5e. Google анонсировала предыдущую, четвертую версию этих процессоров в 2021 году, но разработчикам они стали доступны только в 2022 году.

Источник изображения: Frederic Lardinois / TechCrunch

Компания отмечает, что при создании новой версии чипа особое внимание уделялось его эффективности. По сравнению с предыдущим поколением, новый процессор обещает двукратное улучшение производительности в пересчёте на доллар для обучения больших языковых моделей (LLM) и генеративных нейросетей, а также 2,5-кратное улучшение производительности по тому же критерию для инференс-систем.

«Это самый экономичный и доступный облачный TPU на сегодняшний день», — заявил на пресс-конференции перед сегодняшним анонсом Марк Ломейер (Mark Lohmeyer), вице-президент и генеральный директор по вычислительной и ML-инфраструктуре Google Cloud.

Источник изображения: Google

В то же время он подчеркнул, что компания не экономила на технических характеристиках TPU v5e в угоду рентабельности. Кластеры могут включать до 256 чипов TPU v5e, объединённых высокоскоростным интерконнектом с совокупной пропускной способностью более 400 Тбит/с. Производительность такой платформы составляет 100 Попс (Петаопс) в INT8-вычислениях.

«Мы предоставляем нашим клиентам возможность легко масштабировать свои модели искусственного интеллекта за пределы физических границ одного модуля TPU или одного кластера TPU. Другими словами, одна большая рабочая нагрузка искусственного интеллекта теперь может распределяться на несколько физических кластеров TPU, масштабируясь буквально до десятков тысяч чипов. При этом работа будет выполняться экономически эффективно. В результате, используя облачные графические процессоры и облачные TPU, мы действительно предоставляем нашим клиентам большой выбор, гибкость и дополнительные возможности для удовлетворения потребностей широкого набора рабочих задач, связанных с ИИ, которые, как мы видим, продолжают множиться», — добавил он.

В дополнение к анонсу нового поколения TPU компания Google также объявила, что в следующем месяце сделает общедоступными для разработчиков виртуальные кластеры A3, оснащённые специализированными графическими процессорами Nvidia H100.

Годовая выручка компании OpenAI, занимающейся разработкой и лицензированием технологий на основе машинного обучения, приближается к $1 млрд, пишет Bloomberg. Технологии компании используются в основе ChatGPT — генеративного бота с искусственным интеллектом, получившего значительную популярность среди множества компаний и привлекшего значительную волну инвестиций в область ИИ.

Источник изображения: Mariia Shalabaieva / unsplash.com

Стартап, поддерживаемый компанией Microsoft, зарабатывает около $80 миллионов ежемесячно, сообщил изданию источник, проинформированный по этому вопросу, но попросивший об анонимности. Впервые о доходах OpenAI сообщило издание The Information, в частности, отметив, что в 2022 году компания потеряла около 540 миллионов долларов на разработке языковой модели GPT-4 и чат-бота ChatGPT.

OpenAI считается одной из нескольких компаний, находящихся в авангарде разработок генеративного искусственного интеллекта, способного создавать контент, от видео до стихов, с помощью нескольких простых пользовательских команд. С момента дебюта своего бота в ноябре OpenAI лицензирует его молодым компаниям и крупным корпорациям, а также помогает внедрять технологию в их экосистемы бизнеса, продуктов и сервисов.

В этом месяце компания запустила корпоративную версию ChatGPT с дополнительными функциями и средствами защиты конфиденциальности. Это самая значительная попытка стартапа привлечь широкий круг бизнес-клиентов и увеличить доходы от своего самого известного продукта.

Внедрение ChatGPT Enterprise — шаг вперёд в планах OpenAI по зарабатыванию денег на своём сверхпопулярном, но весьма дорогом в вопросе внедрения и эксплуатации продукте. Для работы модели искусственного интеллекта требуются значительные специализированные вычислительные мощности. Компания уже реализовала несколько моделей получения дохода с ChatGPT, например, предложив клиентам премиальную подписку, а также платный доступ к интерфейсу программирования ПО, который разработчики могут использовать для добавления чат-бота в другие приложения.

В журнале Nature вышли две статьи, в которых учёные рассказали о новых методиках трансляции мыслей пациентов с поражениями мозга в речь и эмоции. Преобразование мозговой активности в текст и голосовое общение происходит с помощью алгоритма машинного обучения. Учёным удалось увеличить скорость преобразования почти в четыре раза с 18 слов в минуту до 78. Это ниже среднего для обычного разговора темпа в 160 слов в минуту, но кратно быстрее, чем было до этого.

Источник изображений: Noah Berger/UCSF

Нейродегенеративные заболевания, инсульты или травмы способны лишить человека речи разными способами, но один из них достаточно легко поддаётся исправлению. Современные технологии позволяют создать мостик между здоровыми участками мозга, отвечающими за речь или мысленное произношение, и мышцами, управляющими мимикой и позволяющими говорить. Естественный канал коммуникации между мышцами и мозгом может быть разорван в случае болезни или травмы, и тогда на помощь приходит интерфейс человек-компьютер и обучаемый алгоритм.

В мозг пациента встраивается датчик или несколько датчиков с электродами, входящими в зоны активности мозга человека, ответственные за произношение и речь (хотя учёные пока не до конца понимают, какие это зоны). В одном случае, например, учёные установили на речевую область сенсомоторной коры и на область верхней височной извилины женщины после инсульта 253 электрода. После болезни она не могла говорить и даже печатать.

В течение нескольких недель ИИ обучался на примере произношения пациенткой 1024 слов из специально подобранного словаря. Для упрощения работы алгоритма он разбивал все слова на фонемы, которых было всего 39. Затем словарный запас женщины был расширен до 125 тыс. слов. Машинный алгоритм смог распознавать мысленное произношение женщины с ошибками на уровне 25 %, но со скоростью до 78 слов в минуту.

Алгоритм также научили распознавать эмоции пациентки — горе, радость, удивление. Наконец, используя старую видеозапись женщины, учёные создали её компьютерный образ — аватар — и заставили его транслировать текстовые сообщения в голосовые. По сути, они вернули пациентке возможность разговаривать.

Сегодня подобные процедуры восстановления сопряжены с длительным обучением ИИ и необходимостью быть постоянно подключённым к компьютеру. Учёные из Калифорнийского университета в Сан-Франциско (UCSF) и Калифорнийского университета в Беркли, которые реализовали представленную методику, теперь работают над беспроводными вариантами транслятора. Когда-нибудь это повысит социальную вовлечённость людей с подобными медицинскими проблемами.

Zoom обновил условия обслуживания, дав себе право обучать собственный ИИ на основе данных пользователей. Это изменение вызывает споры о том, насколько допустимо использовать личные данные клиентов для обучения ИИ, даже если они агрегированы или анонимизированы.

Источник изображения: Alexandra_Koch / Pixabay

Согласно недавно обновлённым условиям обслуживания, Zoom намерен обучать собственные ИИ-модели, используя данные пользователей. Нововведение, вступившее в силу 27 июля, подтверждает право компании использовать информацию о продукте, телеметрические и диагностические данные, а также другой контент или данные, собранные компанией. Такой подход к пользовательским данным со стороны технологических компаний не является новым, однако новые условия являются важным шагом в реализации стратегии Zoom в области ИИ.

Условия Zoom гласят: «Вы даёте согласие на доступ, использование, сбор, создание, изменение, распространение, обработку, совместное использование, обслуживание и хранение генерируемых Службой данных компанией Zoom в любых целях, в объёме и в порядке, разрешённых действующим законодательством, в том числе в целях разработки продуктов и услуг, маркетинга, аналитики, обеспечения качества, машинного обучения или искусственного интеллекта (в том числе в целях обучения и настройки алгоритмов и моделей), обучения, тестирования, улучшения Служб, Программного обеспечения или других продуктов, услуг и программного обеспечения компании Zoom или любой их комбинации, а также в соответствии с другими положениями настоящего Соглашения».

Контент пользователей, такой как сообщения, файлы и документы, в эту категорию, по-видимому, не входит. В блоге компании представитель Zoom уточнил: «Для ИИ мы не используем аудио, видео или чат без согласия клиента». Ключевая фраза здесь — «без согласия клиента».

В июне Zoom на бесплатной основе представил две новые функции генеративного ИИ — инструмент для составления резюме встречи и инструмент для создания сообщений в чате. Однако при активации этих функций Zoom просит пользователей подписать форму согласия на обучение своих ИИ-моделей с использованием их контента. Представитель компании заявил, что пользователи Zoom сами решают, следует ли им активировать функции генеративного ИИ и делиться индивидуальным контентом с Zoom для улучшения продукта. «Ваш контент используется исключительно для улучшения производительности и точности этих ИИ-услуг», — пояснил предствитель Zoom в блоге.

Обновление условий произошло на фоне растущей обеспокоенности, в какой степени ИИ должен обучаться на данных отдельных лиц, независимо от того, насколько они агрегированы или анонимизированы. Инструменты, такие как ChatGPT — OpenAI, Bard — Google и Bing — Microsoft, обучаются на больших объёмах текста или изображений из интернета. В секторе генеративного ИИ недавно были поданы иски от писателей и художников, которые утверждают, что их произведения были незаконно использованы техногигантами для обучения своих ИИ-моделей.

Обновление условий обслуживания Zoom подчёркивает растущую роль ИИ в современных технологиях и вызывает вопросы о балансе между инновациями и конфиденциальностью данных. Пока компании стремятся улучшить свои услуги с помощью ИИ, важно помнить о необходимости защиты личной информации пользователей.

Новое исследование, проведённое учёными из Стэнфордского университета и Калифорнийского университета в Беркли, выявило тревожное снижение качества ответов платной версии ChatGPT. Так, например, точность определения простых чисел у новейшей модели GPT-4, которая лежит в основе ChatGPT Plus, с марта по июнь 2023 года упала с 97,6 % до всего лишь 2,4 %. Напротив, GPT-3.5, являющаяся основной для обычного ChatGPT, точность ответов в некоторых задачах повысила.

Источник изображения: OpenAI

В последние месяцы всё чаще обсуждается снижение качества ответов ChatGPT. Группа учёных из Стэнфордского университета и Калифорнийского университета в Беркли решила провести исследование с целью определить, действительно ли произошла деградация качества работы этого ИИ, и разработать метрики для количественной оценки масштабов этого негативного явления. Как выяснилось, снижение качества ChatGPT — это не байка или выдумка, а реальность.

Трое учёных — Матей Захария (Matei Zaharia), Линцзяо Чэнь (Lingjiao Chen) и Джеймс Цзоу (James Zou) — опубликовали научную работу под названием «Как меняется поведение ChatGPT с течением времени» (How is ChatGPT’s behavior changing over time). Захария, профессор компьютерных наук в Калифорнийском университете, обратил внимание на удручающий факт: точность GPT-4 в ответе на вопрос «Это простое число? Подумай шаг за шагом» снизилась с 97,6 % до 2,4 % с марта по июнь.

OpenAI открыла доступ к API языковой модели GPT-4 около двух недель назад и объявила её своей самой продвинутой и функциональной ИИ-моделью. Поэтому общественность была расстроена тем, что новое исследование обнаружило значительное снижение качества ответов GPT-4 даже на относительно простые запросы.

Исследовательская группа разработала ряд заданий, чтобы оценить различные качественные аспекты основных больших языковых моделей (LLM) ChatGPT — GPT-4 и GPT-3.5. Задания были разделены на четыре категории, каждая из которых отражает различные навыки ИИ и позволяет оценить их качество:

• решение математических задач;
• ответы на деликатные вопросы;
• генерация кода;
• визуальное мышление.

В следующих графиках представлен обзор эффективности работы ИИ-моделей OpenAI. Исследователи оценили версии GPT-4 и GPT-3.5, выпущенные в марте и июне 2023 года.

Слайд 1. Производительность GPT-4 и GPT-3.5 в марте и июне 2023 года. Источник: Matei Zaharia, Lingjiao Chen, James Zou

Первый слайд демонстрирует эффективность выполнения четырёх задач — решения математических задач, ответа на деликатные вопросы, генерации кода и визуального мышления — версиями GPT-4 и GPT-3.5, выпущенными в марте и июне. Заметно, что эффективность GPT-4 и GPT-3.5 может значительно варьироваться со временем и в некоторых задачах ухудшаться.

Слайд 2. Решение математических задач. Источник изображения: Matei Zaharia, Lingjiao Chen, James Zou

Второй слайд иллюстрирует эффективность решения математических задач. Измерялась точность, многословность (в символах) и совпадение ответов GPT-4 и GPT-3.5 в период с марта по июнь 2023 года. В целом, наблюдались значительные колебания в эффективности обеих ИИ-моделей. Также приведён пример запроса и соответствующие ответы за определенный промежуток времени. GPT-4 в марте следовала инструкциям по цепочке мыслей для получения правильного ответа, но в июне их проигнорировала, выдав неверный ответ. GPT-3.5 всегда следовала цепочке мыслей, но настаивала на генерации неправильного ответа в марте. Эта проблема была устранена к июню.

Слайд 3. Ответы на деликатные вопросы. Источник изображения: Matei Zaharia, Lingjiao Chen, James Zou

На третьем слайде показан анализ ответов на деликатные вопросы. С марта по июнь GPT-4 ответила на меньшее количество вопросов, в то время как GPT-3.5 ответила на немного больше. Также приведён пример запроса и ответов GPT-4 и GPT-3.5 в разные даты. В марте GPT-4 и GPT-3.5 были многословны и давали подробные объяснения, почему они не ответили на запрос. В июне они просто извинились.

Слайд 4. Генерация кода. Источник изображения: Matei Zaharia, Lingjiao Chen, James Zou

Четвёртый слайд демонстрирует снижение эффективности генерации кода. Общая тенденция показывает, что для GPT-4 процент непосредственно исполняемых генераций сократился с 52 % в марте до 10 % в июне. Также наблюдалось значительное падение для GPT-3.5 (с 22 % до 2 %). Многословность GPT-4, измеряемая количеством символов в генерациях, также увеличилась на 20 %. Также приведён пример запроса и соответствующие ответы. В марте обе ИИ-модели следовали инструкции пользователя («только код») и таким образом генерировали непосредственно исполняемый код. Однако в июне они добавили лишние тройные кавычки до и после фрагмента кода, делая код неисполняемым.

Слайд 5. Визуальное мышление. Источник изображения: Matei Zaharia, Lingjiao Chen, James Zou / arxiv.org

Пятый слайд демонстрирует эффективность визуального мышления ИИ-моделей. В части общих результатов и GPT-4, и GPT-3.5 показали себя на 2 % лучше в период с марта по июнь, точность их ответов улучшилась. Вместе с тем, объём информации, которую они генерировали, остался примерно на том же уровне. 90 % визуальных задач, которые они решали, не изменились за этот период. На примере конкретного вопроса и ответов на него можно заметить, что, несмотря на общий прогресс, GPT-4 в июне показала себя хуже, чем в марте. Если в марте эта модель выдала правильный ответ, то в июне уже ошиблась.

Пока неясно, как обновляются эти модели, и могут ли изменения, направленные на улучшение некоторых аспектов их работы, негативно отразиться на других. Эксперты обращают внимание, насколько хуже стала новейшая версия GPT-4 по сравнению с версией марта в трёх тестовых категориях. Она только незначительно опережает своего предшественника в визуальном мышлении.

Ряд пользователей могут не обратить внимания на снижение качества результатов работы одних и тех же версий ИИ-моделей. Однако, как отмечают исследователи, из-за популярности ChatGPT упомянутые модели получили широкое распространение не только среди рядовых пользователей, но и многих коммерческих организаций. Следовательно, нельзя исключать, что некачественная информация, сгенерированная ChatGPT, может повлиять на жизни реальных людей и работу целых компаний.

Исследователи намерены продолжать оценку версий GPT в рамках более долгосрочного исследования. Возможно, OpenAI следует регулярно проводить и публиковать свои собственные исследования качества работы своих ИИ-моделей для клиентов. Если компания не сможет стать более открытой в этом вопросе, может потребоваться вмешательство бизнеса или государственных организаций с целью контроля некоторых базовых показателей качества ИИ.

Илон Маск (Elon Musk) сообщил об основании компании xAI, которая будет заниматься вопросами искусственного интеллекта. На недавно заработавшем сайте организации указано, что её миссия заключается в том, чтобы «разобраться в истинной природе Вселенной».

Источник изображения: xAI

О планах Маска открыть новую компанию стало известно несколько месяцев назад, после того как миллиардер зарегистрировал в Неваде компанию X.AI Corp., чьё название косвенно указывало на профиль её будущей деятельности. В одном из апрельских интервью он подтвердил, что хочет основать стартап, для «создания ИИ, который попытается разобраться в истинной природе Вселенной» и хотел бы, чтобы этот ИИ «принёс больше пользы, чем вреда».

О новой компании xAI пока мало что известно. На сайте организации указано, что команда xAI собирается в эту пятницу провести голосовой чат в Twitter Spaces, в ходе которого, вероятно, более подробно расскажет о своей деятельности и целях. Более ранние заявления Маска намекали на его желание создать противовес таким компаниям, как OpenAI и Google, представившим свои разработки в области ИИ и машинного обучения. Ранее также стало известно, что Маск закупил тысячи специализированных графических ускорителей, чтобы наделить Twitter искусственным интеллектом. Связаны ли эти два проекта — неизвестно.

В списке сотрудников xAI значатся ветераны и выходцы из DeepMind, OpenAI, Google Research, Microsoft Research, Tesla, а также эксперты в области ИИ из Университета Торонто. Они принимали участие в разработке моделей и методов, ускоряющих обучение ИИ, в частности Adam, Batch Normalization и Layer Normalization, инновационных методов и анализов, таких как Transformer-XL Autoformalization, Memorizing Transformer, Batch Size Scaling и μTransfer. Кроме того, они приложили руку к созданию передовых моделей ИИ AlphaStar, AlphaCode, Inception, Minerva, GPT-3.5 и GPT-4.

Среди ведущих специалистов xAI значатся Игорь Бабушкин (Igor Babuschkin), Мануэль Кройсс (Manuel Kroiss), Юхуай Тони Ву (Yuhuai Tony Wu), Кристиан Сегеди (Christian Szegedy), Джимми Ба (Jimmy Ba), Тоби Полен (Toby Pohlen), Росс Нордин (Ross Nordeen), Кайл Косич (Kyle Kosic), Грег Ян (Greg Yang), Годун Чжан (Guodong Zhang) и Цзыхан Дай (Zihang Dai).

OpenAI открыла доступ к GPT-4, своей наиболее продвинутой языковой модели ИИ, через облачный API. Вместе с этим компания предоставила сторонним разработчикам доступ к API трёх других своих моделей ИИ. Кроме того, OpenAI объявила о своих планах постепенно отказаться от ряда более ранних нейронных сетей.

Источник изображения: OpenAI

OpenAI представила GPT-4 в марте как преемника GPT-3, ИИ-модели, которая за три года до этого привлекла к компании внимание всей отрасли. GPT-4 более эффективно интерпретирует инструкции пользователя, может принимать изображения в качестве входных данных и обладает расширенными возможностями обработки поставленных задач. Последние усовершенствования позволяют модели легче выполнять сложные запросы пользователей, например, решать математические задачи.

API GPT-4 позволяет разработчикам интегрировать модель в свои приложения. Сервис теперь доступен для всех клиентов, которые ранее приобрели доступ к API. Компания откроет доступ для новых разработчиков позднее в этом месяце. В дальнейшем OpenAI намерена увеличить лимиты использования API. В долгосрочные планы компании входит запуск так называемой возможности тонкой настройки, которая позволит разработчикам повысить точность GPT-4 путём обучения на пользовательских наборах данных.

Вместе с API GPT-4 был открыт доступ к программному интерфейсу трёх других моделей. Первая из них — GPT-3.5 Turbo, предшественница GPT-4, которая предлагает более ограниченные возможности за значительно меньшую стоимость. OpenAI также открыла доступ к API своих моделей DALL-E и Whisper. Последние две нейронные сети оптимизированы для генерации изображений и транскрибирования речи соответственно.

В связи с этим событием OpenAI также объявила о планах прекратить работу ряда ранних языковых моделей, доступных через API. Они будут отключены 4 января 2024 года. Некоторые из затронутых моделей будут автоматически обновлены до более новых продуктов OpenAI, в то время как другие потребуют от разработчиков ручного перехода.

Изменения частично связаны с обновлением API. Многие из моделей, которые будут постепенно отменены, используют прикладной интерфейс программирования, который OpenAI называет Completions API. Первоначально он стал доступен в 2020 году. Например, энтузиасту, чтобы подключиться к Chat Completion API и запустить ChatGPT на 39-летнем компьютере IBM , пришлось вручную написать весь запрос POST на языке C. В марте этого года OpenAI представила новый интерфейс под названием Chat Completions API, который станет основным направлением дальнейшей разработки.

«Первоначально Completions API был представлен в июне 2020 года, чтобы обеспечить текстовую подсказку свободной формы для взаимодействия с нашими языковыми моделями. С тех пор мы поняли, что часто можем обеспечить лучшие результаты с помощью более структурированного интерфейса подсказок», — сообщает OpenAI в своём блоге.

Новый API Chat Completions вносит несколько улучшений. В первую очередь, он обеспечивает защиту от атак с внедрением подсказок, которые представляют собой попытки хакеров изменить вывод модели ИИ с помощью вредоносных инструкций. Это усовершенствование должно помочь разработчикам повысить безопасность своих приложений на базе OpenAI.

Продвинутые инструменты OpenAI и их растущая доступность открывают новые возможности для разработчиков и исследователей по всему миру. Однако как и с любыми новыми технологиями, важно использовать их ответственно и с учётом возможных рисков. OpenAI продолжает работать над улучшением своих моделей и сервисов, стремясь обеспечить безопасность и эффективность их использования.

Intel обновила документ под названием Architecture Instruction Set Extensions and Future Features, внеся некоторые коррективы в спецификации настольных процессоров следующего поколения, сообщает VideoCardz. В частности, в документе указывается, что процессоры семейств Arrow Lake и Lunar Lake получат поддержку множества инструкций, среди которых SHA512, SM3 и SM4, а также новые AVX-VNNI, ориентированные на ускорение операций, связанных с ИИ.

Источник изображений: Intel

Появление AVX-VNNI в процессорах Arrow Lake и Lunar Lake заслуживает особого внимания. Это набор инструкций, которые повышают производительность при работе с нейросетями, предоставляя отдельные алгоритмы для 8-битных и 16-битных целочисленных операций. Это означает, что приложения, использующие алгоритмы искусственного интеллекта, машинного и глубокого обучения, будут быстрее работать и эффективнее использовать процессоры. Внесённые в документ изменения отмечены фиолетовым.

Поддержка инструкций SHA512, SM3 и SM4 в этих потребительских процессорах увеличит их защитные и криптографические возможности. Включение SHA512, широко используемой криптографической хэш-функции, обеспечивает лучшее сохранение целостности данных и безопасную передачу данных. Кроме того, в документе указана поддержка криптографических хэш-алгоритмов SM3 и SM4, используемых при обмене данными.

В документе также есть намёки на будущие обновлённые процессоры Raptor Lake Refresh. В частности, там перечисляются CPUID, которые подтверждают, что обновленные чипы станут представителями 14-го поколения. Анонс Raptor Lake Refresh ожидается одновременно с запуском мобильных процессоров Meteor Lake.

На корпоративной встрече сотрудников глава Meta✴ Марк Цукерберг (Mark Zuckerberg) сообщил, что компания начнёт внедрять генераторы текста, изображений и видео в свои ведущие социальные платформы Facebook✴ и Instagram✴.

Источник изображения: WordPress

Несмотря на то, что Meta✴ всегда находилась на переднем крае разработок и исследований генеративных моделей ИИ, компания несколько задержала их интеграцию в свои собственные продукты. На встрече сотрудников Цукерберг анонсировал несколько технологий, которые находятся на разных стадиях разработки и внутреннего тестирования. Многие из этих технологий станут доступны пользователям сервисов и продуктов компании.

Например, одна из таких технологий позволит пользователям на основе текстового описания изменять собственные изображения и фотографии, а затем делиться ими в Instagram✴ Stories. Другая технология позволит создать несколько ИИ-ботов с различными персоналиями и способностями. Они смогут помогать или развлекать пользователей. Указанные ИИ-боты будут в основном использоваться в Facebook✴ Messenger и WhatsApp. Компания в июле также проведёт внутренний хакатон (форум для разработчиков), посвящённый генеративному ИИ.

Пока Meta✴ всё ещё думает о внедрении генеративных ИИ-инструментов в свои продукты, другие технологические гиганты уже вовсю занимаются интеграцией. Например, компания Microsoft добавляет различных ИИ-помощников в программный пакет Office, операционную систему Windows и поисковик Bing. Более прямой конкурент Meta✴, сервис Snapchat, выпустил ИИ-бота Snap AI, а другие компании, начиная от Adobe и заканчивая Salesforce, запустили множество новых функций, которые объединяют генеративный ИИ с их продуктами.

«За последний год мы стали свидетелями по-настоящему удивительных прорывов, качественных прорывов в области генеративного ИИ. Это открывает для нас возможность взять эти технологии и встроить их в каждый наш продукт», — прокомментировал Цукерберг ситуацию изданию Axios.

Рассказывая о знаковых продуктах вроде Apple Silicon Mac Pro и Apple Vision Pro на своём главном мероприятии WWDC 2023, докладчики компании ни разу напрямую не упомянули «искусственный интеллект», как это делали Microsoft и Google, а заменили его другими понятиями: «машинное обучение» и «трансформер».

Источник изображений: apple.com

При рассказе о новых алгоритмах автозамены и голосового ввода в iOS 17, старший вице-президент Apple по разработке ПО Крейг Федериги (Craig Federighi) сообщил, что автозамена основана на машинном обучении и языковой модели — трансформере, благодаря которым система срабатывает точнее, чем когда-либо. Модель запускается с каждым нажатием клавиши, что стало возможным благодаря мощным процессорам Apple в основе iPhone.

Таким образом, он избежал термина «искусственный интеллект», но подтвердил, что в продукте используется языковая модель с архитектурой типа «трансформер», оптимизированной для обработки естественного языка. На той же архитектуре работают нейросети в основе генератора изображений DALL-E и чат-бота ChatGPT. Это значит, что автокоррекция в iOS 17 срабатывает на уровне предложения, предлагая завершение слов или целых фраз. Более того, она дополнительно обучается, подстраиваясь под особенности речи владельца телефона. Все это оказывается возможным благодаря подсистеме Neural Engine, которая дебютировала в процессорах Apple A11 в 2017 году — она оптимизирует производительность приложений с функциями машинного обучения.

Несколько раз упоминался термин «машинное обучение»: при описании новых функций экрана блокировки iPad — функция Live Photo сама производит синтез дополнительных кадров; при описании функции сканирования PDF в iPadOS для последующей автоподстановки в формах; в рассказе о функции AirPods Adaptive Audio, которая выявляет музыкальные предпочтения пользователя; в описании нового виджета Smart Stack под Apple Watch.

«Машинное обучение» используется в новом приложении Journal — теперь на iPhone можно вести личный интерактивный дневник. Приложение само рекомендует, какой контент отметить, исходя из сохранённых на телефоне данных. Наконец, «машинное обучение» применяется для создания 3D-аватаров пользователей с выводом изображения глаз на передний экран гарнитуры Apple Vision Pro. А для сжатия этих аватаров используется кодек на алгоритме нейросети.

Непрямое упоминание технологий ИИ последовало при описании нового чипа Apple M2 Ultra, на борту которого до 32 ядер центрального и 76 графического процессора, а также 32 ядра подсистемы Neural Engine — чип обеспечивает до 31,6 трлн операций в секунду и предлагает прирост производительности на 40 % в сравнении с M1 Ultra. Apple прямо заявила, что эти ресурсы смогут использоваться для обучения «больших моделей — трансформеров», располагая 192 Гбайт оперативной памяти, которых и быть не может у современных дискретных графических процессоров, и из-за этого они пасуют перед некоторыми задачами.

Это означает, что обучение ИИ оказывается доступным для рядовых пользователей, причём для него подойдёт не только занимающий верхнее положение в линейке Mac Pro по цене от $6999, но и более скромный Mac Studio, который предлагается от $1999. Осталось дождаться сравнительных обзоров с ускорителями вроде NVIDIA H100.