Конференция разработчиков Apple WWDC стартует в понедельник, 10 июня. Открывающая презентация начнётся в 20:00 мск. Традиционно она проходит после мероприятий «заклятых врагов» Google I/O и Microsoft Build, но раньше Apple никогда не приходилось выступать в роли догоняющей. За последние месяцы IT-гиганты сделали серьёзные заявки на первенство в ИИ-гонке: Google продвигает Gemini, а Microsoft — Copilot. Теперь Apple придётся показать, что она не сильно отстаёт в этой сфере от конкурентов.

Источник изображения: Apple

Bloomberg сообщает, что Apple собирается внедрить ИИ-функции под общим названием Apple Intelligence во все свои приложения. Эти функции ИИ могут включать в себя сводки сообщений и веб-страниц, а также перевод в реальном времени текста и голоса. Компания разрабатывает собственный генератор смайлов, а переработанное приложение «Фото» будет использовать ИИ для удаления «лишних» объектов с изображений.

Пытаясь не отстать в гонке ИИ Apple вела переговоры с Google и Anthropic, но сделку в конце концов заключила с OpenAI. По данным Bloomberg, на устройствах Apple появится свой чат-бот — «родственник» ChatGPT. По слухам, Apple интегрирует ИИ в свои операционные системы, а в центре внимания окажется Siri. Теперь Siri в своём общении с пользователями опирается на большие языковые модели. Обновлённая Siri станет гораздо функциональнее и может самостоятельно выполнять ряд действий внутри приложений Apple.

Под давлением регулирующих органов Apple, наконец, приняла стандарт Rich Communication Services (RCS) в качестве альтернативы по умолчанию для iMessage, поддержка RCS должна появиться в iOS 18. Вскоре пользователи iPhone и Android смогут обмениваться длинными текстовыми сообщениями и фотографиями более высокого качества, используя сквозное шифрование.

По информации от MacRumors, Apple в iOS 18 позволит пользователям компоновать приложения на рабочем столе по своему вкусу и даже оставлять между ними пустые места. Более того, Bloomberg сообщает, что Apple интегрирует в новую версию своей ОС систему управления темами.

Ожидается, что в рамках обновлений ОС для Mac, iPhone, iPad и других устройств Apple также представит новые и улучшенные версии своих встроенных приложений. По слухам, приложение «Калькулятор» обновится и, наконец, появится на iPad, менеджер паролей станет доступен на всех платформах Apple, а дизайн экранов «Настройки» и «Центр управления» будет кардинально изменён.

Пользователи ждут от Apple выхода Mac Studio и Mac Pro на свежем чипе M4, но пока нет никаких свидетельств того, что такие устройства появятся на WWDC — возможно, клиентам придётся подождать до конца года.

Apple планирует модернизировать своего виртуального помощника Siri, чтобы пользователи смогли управлять отдельными функциями приложений при помощи голосовых команд. Возможно это станет благодаря внедрению в Siri более совершенной технологии искусственного интеллекта на основе больших языковых моделей (LLM).

Источник изображения: Vinoth Ragunathan/Unsplash

По словам инсайдеров, знакомых с планами компании, обновлённая Siri сможет впервые полноценно управлять функциями приложений на устройствах Apple. Например, можно будет при помощи голосовой команды открывать конкретные документы, перемещать заметки между папками, удалять письма из почты, запускать определённые новости в приложении Apple News, делиться веб-ссылками и многое другое.

В настоящее время возможности Siri по управлению приложениями сильно ограничены. Он может запускать музыку, искать информацию в интернете, управлять умной техникой, но не может взаимодействовать с конкретными опциями и данными внутри приложений.

По данным Bloomberg, обновление Siri станет ключевым анонсом на ежегодной Всемирной конференции разработчиков Apple WWDC 2024, которая пройдёт 10 июня. На ней также будет представлен целый ряд других интересных вещей, касающихся искусственного интеллекта для экосистемы Apple. В частности, расшифровка аудиозаметок, автоматическое создание кратких сводок веб-страниц и уведомлений, ответы на сообщения, расширенные инструменты редактирования фото на основе ИИ и многое другое.

Реализация новой функциональности Siri потребовала полной переработки базового ПО с использованием нейросетей. Очень скоро Siri сможет обрабатывать команды последовательно, а в будущем справляться и с более сложными запросами. Например, можно будет в одном запросе попросить сначала расшифровать аудиозапись встречи, затем выделить ключевые моменты и отправить резюме коллеге.

Стоит отметить, что данные будут обрабатываться несколько способами — локально или в облаке. При этом система сама будет определять, где именно — на устройстве пользователя или на серверах компании. Это вызывает некоторые вопросы к приватности, однако Apple заверяет, что конфиденциальные данные будут надёжно защищены благодаря системе Apple Chips in Data Centers (ACDC).

Очевидно, что Apple стремится вернуть Siri лидерство в среде виртуальных помощников, которое он утратил в последние годы на фоне более продвинутых решений Amazon и Google. Кроме того, компания рассчитывает, что новые функции ИИ подстегнут продажи iPhone, iPad и Mac новых моделей. Выпуск обновлённого Siri запланирован не раньше осени 2024 года в составе iOS 18.

Менее чем через две недели начнётся конференция для разработчиков Apple Worldwide Developers Conference 2024 (WWDC 2024). Как стало известно ресурсу The Information, на ней будет объявлено о сделке Apple с OpenAI, чьи ИИ-технологии будут использоваться в расширении функциональности голосового помощника Siri и, возможно, для его трансформации в ИИ-чат-бота.

Источник изображения: 9to5mac

Ранее появились слухи о том, что Apple ведёт переговоры с OpenAI об использовании технологии GPT в iOS 18. Согласно данным источников The Information, переговоры двух компаний длятся около года. Сотрудники из команды машинного обучения Apple встречались с гендиректором OpenAI Сэмом Альтманом (Sam Altman) и другими сотрудниками компании в середине 2023 года на прошлогодней конференции WWDC. О чём шёл разговор неизвестно, но впоследствии стороны достигли соглашения о предоставлении сотрудникам Apple доступа к API OpenAI для внутреннего тестирования.

«В ходе этих тестов инженеры Apple подключили ChatGPT к Siri, создав впечатляющую демонстрацию того, как Siri обрабатывает более сложные запросы, чем обычно, в том числе благодаря лучшему пониманию контекста того, что говорят пользователи», — сообщается в публикации The Information. В свою очередь, ресурс 9to5Mac заявил, что нашёл в коде iOS 17.4 доказательства использования Apple таких API, которые могут помочь Siri даже осуществлять перевод в реальном времени.

По данным The Information, Microsoft обеспокоена партнёрством Apple и OpenAI. У Microsoft есть соглашение с OpenAI о сотрудничестве, согласно которому последняя предоставляет ИИ-технологии, лежащие в основе Copilot, а Microsoft предоставляет OpenAI свои ЦОД для поддержки ChatGPT.

The Information утверждает, что недавно Альтман встречался по этому поводу с гендиректором Microsoft Сатьей Наделлой (Satya Nadella). Microsoft также обеспокоена тем, как удовлетворить спрос на серверы, когда Apple запускает новые функции для пользователей iPhone и iPad. Кроме того, она предложила OpenAI сократить будущую прибыль в качестве компенсации предыдущих инвестиций в стартап в размере $13 млрд.

Компания Apple осознала, что её виртуальный помощник Siri безнадёжно отстаёт от конкурентов, в частности от ChatGPT, разработанного OpenAI. Это привело к масштабной реорганизации внутри компании и срочным усилиям по модернизации Siri с использованием новейших технологий ИИ. Apple сосредоточится на улучшении существующей функциональности Siri, а не на создании нового чат-бота.

Изображение: Kandinsky

В начале прошлого года топ-менеджеры Apple по программному обеспечению пришли к выводу, что виртуальный помощник Siri нуждается в переменах. Siri слишком часто неправильно понимает вопросы и не может вести диалоги. Поводом для этого стало тестирование нового чат-бота ChatGPT компании OpenAI. Использование передовых технологий генеративного искусственного интеллекта, способного создавать стихи, код и вести диалог с пользователями, заставило Siri выглядеть устаревшей.

Осознав отставание Siri, руководство Apple во главе с Тимом Куком (Tim Cook) решило сделать модернизацию виртуального помощника приоритетным проектом компании и догнать конкурентов в сфере AI любой ценой. Apple уже работает над тем, чтобы виртуальный помощник смог вести диалог по принципу чат-ботов, а не просто отвечать на отдельные запросы. Сможет ли Siri сочинять стихи и писать код, пока не известно. В любом случае, все подробности станут известны на ежегодной конференции Apple для разработчиков 10 июня.

Стоит отметить, что модернизация Siri — это лишь часть более масштабных планов Apple по интеграции технологий генеративного ИИ в свои продукты и сервисы. В частности, компания планирует увеличить объём памяти в новых моделях iPhone, чтобы поддерживать расширенные возможности Siri. Кроме того, обсуждается приобретение лицензий на использование передовых моделей ИИ таких компаний как Google, Cohere и OpenAI.

Как сообщает The New York Times, топ-менеджмент Apple обеспокоен тем, что новые технологии ИИ могут подорвать доминирующие позиции компании на рынке смартфонов. В частности, есть опасения, что генеративный ИИ может со временем стать альтернативной мобильной операционной системой, вытеснив полностью iOS. Кроме того, ИИ открывает путь для создания экосистемы «интеллектуальных агентов», способных заменить множество приложений из AppStore.

Чтобы не допустить такого развития событий, Apple решила сконцентрироваться на усилении собственных позиций в сфере ИИ. В частности, не так давно компания отменила проект по созданию беспилотных автомобилей стоимостью 10 млрд долларов и вместо этого сотни инженеров были переведены на разработку в области ИИ.

Хотя Apple не планирует создавать аналог ChatGPT, основные усилия сосредоточены на расширении возможностей Siri как помощника для решения повседневных задач. Помимо улучшенного диалога, обновленная Siri сможет точнее устанавливать таймеры, планировать встречи, составлять списки покупок и резюмировать тексты. При этом в Apple подчёркивают, что новая Siri будет более приватной, чем конкурирующие ИИ, так как обработка запросов будет производиться непосредственно на iPhone, а не на удалённых серверах.

Компания Apple намерена закрыть филиал подразделения Data Operations Annotations, который базируется в Сан-Диего и занимается разработками в сфере искусственного интеллекта. Сотрудникам предложено переехать в Остин, где они смогут войти в состав другого аналогичного подразделения. Об этом пишет Bloomberg со ссылкой на собственные осведомлённые источники.

В сообщении сказано, что Apple уже уведомила сотрудников о предстоящих изменениях и дала им время принять решение о переезде в Остин до конца февраля. Те, кто не пожелают переезжать в Техас, будут уволены 26 апреля. Подразделение Data Operations Annotations также имеет офисы в Китае, Индии, Ирландии и Испании, а его деятельность в основном связана с развитием голосового помощника Siri. По данным источника, решение о закрытии офиса в Сан-Диего приняла Кристин ДеФилиппо (Christine DeFilippo), заместитель Джона Джаннандреа (Giannandrea), вице-президента Apple по машинному обучению и ИИ-стратегии.

Подразделение Data Operations Annotations в Сан-Диего занималось преимущественно развитием Siri, включая прослушивание пользовательских запросов и определение того, насколько голосовой помощник точно распознаёт команды. В последнее время оно сосредоточилось на работе Siri на иврите, английском, нескольких диалектах испанского, португальского, арабского и французского языках. Кроме того, некоторое количество сотрудников филиала помогало Apple в переходе на ИИ-продукты, основанные на больших языковых моделях.

Неназванный представитель Apple подтвердил информацию о сокращении подразделения в Сан-Диего. Он также добавил, что это делается для объединения команд Data Operations Annotations в Остине, где и находится большая часть подразделения. Отмечается, что «все сотрудники, работающие в настоящее время, имеют возможность продолжить работу в Apple в Остине». Представитель Apple отметил, что компания остаётся «глубоко предана Сан-Диего», где она «значительно выросла», и что она продолжает нанимать сотрудников в Сан-Диего в рамках расширения действующих подразделений.

Отмечается, что для сотрудников из Сан-Диего реорганизация стала неожиданностью. До этого они работали в офисе, который Apple арендует, но недавно компания объявила, что с января они переедут в новый кампус в этом же районе. Ранее в этом месяце сотрудники подразделения получили упаковочные коробки, чтобы им было проще подготовиться к переезду. Однако оказалось, что ехать им придётся в Техас, и большинство сотрудников это не устраивает. Apple позволила сотрудникам подать заявки на смену сферы деятельности, но многие из них не имеют инженерного образования, что осложнит получение новой должности.

В конечном счёте Apple могут покинуть несколько десятков сотрудников. Людям, которые согласится на переезд в Остин компания сохранит занимаемые должности, а также выплатит $7000. Те, кто решат покинуть Apple, получат соответствующее выходное пособие, размера которого зависит от срока работы в компании, а также оплату медицинской страховки на шесть месяцев.

Компания Apple опубликовала на своём сайте вакансию инженера-лингвиста для работы с голосовым помощником Siri. Сотрудник должен уметь «анализировать данные для улучшения пользовательского опыта на российском рынке». По мнению специалистов, Apple хочет улучшить ассистента из-за того, что в настоящее время он существенно уступает российским аналогам, а также для поддержания связи с пользователями из РФ.

«Мы несём ответственность за комплексное взаимодействие пользователей с голосовым помощником Siri. На должности инженера-лингвиста на русском языке сотрудник будет работать над улучшением всех продуктов компании», — говорится в описании вакансии на сайте Apple. В дополнение к этому требуется в совершенстве владеть несколькими языками программирования, включая наличие навыков разработки на Java, Python, Swift, Objective-C, C++ или Go. Также желателен опыт разработки программного обеспечения для устройств Apple. Сотрудник будет работать в испанском офисе Apple в Барселоне.

Директор по информационным технологиям «EdgeЦентр» Сергей Липов считает, что Apple работает над улучшением Siri для российских пользователей, поскольку компания стремится сделать ассистента максимально полезным для всех потребителей, независимо от их местоположения или языка. Он отметил, что для компании российский рынок остаётся большим и важным сегментом, который требует обслуживания на высоком уровне.

«Удалять русский язык глупо и бессмысленно, а принципиально не развивать распознавание на том же уровне, какой заложен для Siri в планах у Apple на ближайшие несколько лет, — невозможно. Потому что если продукт обновляется, то он должен обновляться целиком, а не частично», — уверен главный редактор iPhones.ru Никита Горяинов.

Основатель сервисного центра iSupport Кирилл Майзлер напомнил, что возможности Siri на русском языке сильно урезаны по сравнению с её английской версией. По его мнению, Apple хочет исправить это, сделав голосового помощника более полезным. Заместитель директора Центра компетенции НТИ «Технологии доверенного взаимодействия» Руслам Пермяков отметил, что сейчас на российском рынке лидирует голосовой помощник «Алиса», а смарт-динамики «Яндекса» продаются не только в РФ. При этом возможности «Алисы» гораздо шире, чем у Siri или Alexa от Amazon.

Заявления Тима Кука (Tim Cook) о вовлечении Apple в разработку систем генеративного искусственного интеллекта на протяжении многих лет, по словам известного колумниста Bloomberg Марка Гурмана (Mark Gurman) скрывают неприглядную правду о судорожных попытках компании встроиться в новую рыночную тенденцию. С конца прошлого года Apple буквально пытается наверстать упущенное в этой сфере.

Источник изображения: Apple

По словам источника, Apple буквально «проморгала» момент начала бума систем искусственного интеллекта, и теперь прилагает максимум усилий к тому, чтобы найти применение соответствующим технологиям в различных сферах своей деятельности. Старший вице-президент Apple по машинному обучению и стратегии в сфере ИИ Джон Джанандреа (John Giannadrea), по данным Bloomberg, в тандеме со старшим вице-президентом по разработке ПО Крейгом Федериги (Craig Federighi) курируют инициативу компании по внедрению технологий искусственного интеллекта. Эдди Кью (Eddie Cue), старший вице-президент по услугам, также привлечён к этой работе.

Подчинённые Джанандреа, например, создают усовершенствованную версию голосового ассистента Siri, которая подразумевает более глубокую интеграцию с искусственным интеллектом и должна быть выпущена в следующем году. Одновременно ведётся интеграция технологий ИИ в код операционной системы iOS, для чего развивается фирменная большая языковая модель Apple. В частности, взаимодействие Siri и программы для работы с сообщениями Messages должно стать более совершенным, система получит возможность обрабатывать более сложные вопросы и более эффективно завершать начатые предложения за пользователя. Кроме того, в помощь разработчикам ПО для платформы iOS может быть предложен фирменный ИИ-ассистент, как это случилось с Microsoft Copilot.

Эдди Кью, по данным источника, намерен наделить элементами ИИ как можно большее количество фирменных приложений. Apple Music, например, получит возможность автоматически генерировать списки воспроизведения, искусственный интеллект также поможет пользователю составлять слайды презентаций. Внутренние бизнес-процессы Apple в сфере взаимодействия с пользователями по технической поддержке тоже будут оптимизироваться с использованием систем искусственного интеллекта. На нужды разработки такого ПО компания готова тратить по $1 млрд в год, как минимум. Сейчас внутри Apple ведутся активные споры по поводу выбора схемы работы корпоративных систем искусственного интеллекта: какую часть вычислительной нагрузки следует доверить периферийным устройствам, а какую оставить в «облаке».

Последняя версия официального приложения Tesla получила поддержку функций Shortcuts, а значит, некоторые связанные с электромобилем задачи теперь можно выполнять при помощи команд для голосового помощника Siri: открытие и закрытие дверей, багажника и окон — даже активацию режима защиты от биологического оружия, сообщил ресурс Not a Tesla App.

Источник изображения: tesla.com

Ярлыки функций поддерживают сценарии автоматизации, а значит, их можно объединять в группы или запускать по расписанию. К примеру, можно сформировать экстренный режим, при котором машина закрывает окна и двери, начинает мигать фонарями и подавать звуковой сигнал. Или можно автоматически прогревать салон каждое утро перед выходом на работу.

Источник изображения: notateslaapp.com

Список доступных функций достаточно обширен, и некоторые из них большинству автолюбителей не понадобятся. Интеграции с другими голосовыми помощниками, такими как Alexa или «Google Ассистент» пока нет, и в Tesla о планах её реализовать пока не говорят. Хотя голосовое управление заметно упростит владельцу электромобиля управление некоторыми функциями — пробираться через разделы в приложении при наличии iPhone больше не придётся.

Стоит отметить, что новые возможности мобильного приложения не означают, что голосовой интерфейс появился на самих машинах Tesla — он пока есть, в частности, на автомобилях марок Mercedes и Volvo.