На конференции Cloud Next представитель компании сообщил, что ИИ-помощник по кодированию Code Assist теперь умеет развёртывать новых ИИ-агентов. Они могут создавать приложения из спецификаций продуктов в Google Docs или выполнять преобразования кода с одного языка на другой. Code Assist теперь доступен в Android Studio в дополнение к другим средам программирования.

Источник изображения: Google

Обновления Code Assist являются ответом на конкурентное давление со стороны таких компаний, как GitHub Copilot, Cursor и Cognition Labs, создателя вирусного инструмента программирования Devin. Рынок помощников по кодированию на основе искусственного интеллекта растёт с каждым месяцем, а его ёмкость оценивается в миллиарды долларов.

Агенты Code Assist, которыми можно управлять с новой доски Gemini Code Assist Kanban, могут создавать рабочие планы и отчитываться о пошаговом прогрессе по запросам на работу. Помимо создания программного обеспечения и миграции кода, агенты могут внедрять новые функции приложений, выполнять проверки кода и генерировать модульные тесты и документацию.

Пока трудно понять, насколько хорошо работают агенты Code Assist. Исследования показали, что даже лучшие генераторы кода на основе ИИ на сегодняшний день могут допускать ошибки и вносить уязвимости безопасности из-за неспособности понимать логику программирования. На одном из недавних тестов Devin успешно выполнил только три из двадцати задач.

Поэтому, при использовании любого ИИ-ассистента для программирования не помешает самостоятельно проверить получившийся код.

Google создала лаборанта на основе искусственного интеллекта, который поможет учёным ускорить биомедицинские исследования и разработать специализированные приложения на основе передовых технологий. Новый ИИ-ассистент (AI Coscientist — «ИИ-соучёный») умеет выявлять пробелы в знаниях исследователей и предлагать новые идеи, способные ускорить процесс научного познания.

Источник изображения: Pixabay

В настоящее время технологические компании тратят миллиарды долларов на модели и продукты ИИ, рассчитывая, что эти технологии смогут изменить различные отрасли — от здравоохранения до энергетики и образования. «С помощью нашего проекта мы пытаемся выяснить, могут ли технологии, подобные нашему ИИ-ассистенту, наделить исследователей сверхспособностями», — заявил старший клинический учёный Google Алан Картикесалингам (Alan Karthikesalingam).

AI Coscientist работает с использованием нескольких агентов ИИ, которые имитируют научный процесс: один специализируется на генерации идей, другие — на их рассмотрении, критическом анализе и рецензировании. ИИ-модель способна извлекать информацию из научных статей и специализированных баз данных, находящихся в свободном доступе. Затем она анализирует полученные данные и генерирует ранжированный список предложений с пояснениями и ссылками на источники.

Ранние испытания нового инструмента Google с экспертами из Стэнфордского университета, Имперского колледжа Лондона и Хьюстонской методистской больницы показали, что он способен генерировать многообещающие научные гипотезы. AI Coscientist смог подобрать препараты, которые можно повторно использовать для лечения фиброза печени — серьёзного заболевания, ведущего к образованию рубцовой ткани. ИИ-ассистент предложил два типа препаратов, которые, как подтвердили учёные, помогли в лечении этой болезни.

AI Coscientist также сумел прийти к тем же выводам о новом механизме переноса генов, что и исследователи из лаборатории Imperial в своих закрытых научных работах. Результаты, полученные учёными, не были общедоступными, так как находились на стадии рецензирования в ведущем научном журнале. Инструмент Google затратил на исследование всего несколько дней, в то время как университетская команда учёных работала над ним несколько лет.

«Мы думаем, что это инструмент, который может изменить наш подход к науке», — считает профессор кафедры инфекционных заболеваний Хосе Пенадес (José Penadés), один из исследователей механизма переноса генов. Такие инструменты, как новый Google AI Coscientist, могут помочь исследователям оставаться в курсе последних открытий в своих предметных областях, полагает доцент Оксфордского университета Якоб Ферстер (Jakob Foerster).

Ранее лаборатория Google DeepMind представила новую версию модели искусственного интеллекта AlphaFold, которая предсказывает форму и поведение белков. OpenAI, Perplexity, немецкий производитель лекарств BioNTech и его лондонское дочернее предприятие InstaDeep также недавно запустили собственные инструменты для ИИ-исследований.

Группа компаний Fromtech (в которую входят ООО «ФРОМТЕК» и ООО «СМАРТДИАЛОГС») анонсировала запуск инструмента для быстрой и эффективной интеграции голосовых ассистентов для компаний малого и среднего бизнеса. Платформа SmartDialogs, построенная на базе технологий и экспертизы Fromtech, помогает автоматизировать взаимодействие с клиентами, упрощая коммуникации и снижая затраты. Оператором платформы выступает дочерняя компания SmartDialogs.

Источник изображения: Fromtech

SmartDialogs позволяет быстро интегрировать голосового ассистента в бизнес любой отрасли и масштаба — от индивидуальных предпринимателей до микропредприятий. Платформа предлагает готовые шаблоны голосовых роботов, уже проверенные крупнейшими компаниями России в различных отраслях (телеком, банки, ритейл, медицина) —действующими клиентами Fromtech.

«Основная миссия SmartDialogs — это быстрая и качественная доставка высоких технологий для небольших и средних предприятий. За более чем 5 лет во Fromtech мы накопили значительную экспертизу в интеграции ИИ в различные сферы отечественного Enterprise. Однако мы видим колоссальную потребность в этих технологиях и у представителей сегмента МСП и просто не можем не поделиться нашим опытом, предлагая доступные и эффективные решения для оптимизации клиентского сервиса и снижения операционных затрат. Именно поэтому мы создали SmartDialogs — платформу, ориентированную на конечных пользователей, которым нужно быстрое и удобное решение для интеграции голосового ИИ без дополнительных затрат на разработчиков. Интерфейс платформы понятен и не перегружен лишними деталями, что позволяет даже неподготовленным пользователям легко настроить бота и разобраться в структуре ценообразования», — рассказал технический директор Fromtech Александр Цепелев.

SmartDialogs предлагает максимально упрощённый процесс создания робота – несколько понятных шагов.

1. Выбор шаблона. Пользователь выбирает подходящий шаблон для своего сценария взаимодействия.
2. Настройка переменных. Вводится информация, которая индивидуализирует выбранного бота под конкретного пользователя и его потребности.
3. Выбор голоса. Пользователь может выбрать синтезированный голос или заказать озвучку диктором.
4. Проведение тестового звонка. Пользователь может протестировать робота, совершив тестовый звонок на свой номер.
5. Запуск бота. После всех настроек робот готов к приему или совершению звонков.

Платформа предлагает несколько тарифных планов, включая базовую минимальную подписку, которая позволяет одновременно использовать один шаблон робота. Расширенные тарифные планы включают приоритетную техническую поддержку и неограниченное количество создаваемых роботов. Также доступна возможность озвучки робота голосом диктора.

«В ближайших планах — адаптировать больше проектов для использования на платформе и добавить новые сценарии. Этим займутся проектные команды компании, а пользователи смогут оставлять запросы на разработку новых шаблонов, которые будут добавляться в маркетплейс решений. В ближайших релизах также планируется внедрение ассистентов на базе технологий генеративного искусственного интеллекта, позволяющих создавать голосовых роботов без использования шаблонов. Достаточно будет описать задачу, и большие языковые модели (LLM) вместе с другими модулями самостоятельно создадут нужного бота. Этот функционал уже готов на 80% и скоро станет доступен первым пользователям», — поделился технический директор Fromtech Александр Цепелев.

На сайте маркетинговой компании Cox Media Group (CMG) некоторое время назад был размещён баннер с однозначным и тревожным заявлением: «Это правда. Ваши устройства Вас слушают». Этим заявлением CMG спровоцировала панику, намекнув, что у неё есть доступ к частным разговорам людей, собираемым их телефонами, телевизорами и другой личной электроникой. Маркетинговая компания заявила, что использует эти личные разговоры для таргетинга рекламы своих клиентов.

Источник изображений: unsplash.com

Наверное, каждый пользователь интернета на себе испытал или хотя бы слышал от других: стоит только сказать вслух о желании приобрести кожаную куртку «как у Дженсена», как реклама таких кожаных курток начинает транслироваться из каждого утюга. Производители электроники с микрофонами порой признаются в продаже голосовых данных третьим лицам (рекламодателям), но обычно речь идёт о данных, накопленных после того, как пользователь разрешил устройству начать его прослушивать и согласился на сбор данных.

CMG ещё 28 ноября рассказала о технологии Active Listening («Активное прослушивание»), которая использует ИИ для «обнаружения соответствующих разговоров через смартфоны, смарт-телевизоры и другие устройства». По утверждению компании, она знает, «когда и на что настраиваться». CMG готова удовлетворить желание рекламодателей услышать каждый шёпот, который мог бы помочь им таргетировать рекламу: «Это мир, где ни один шум перед покупкой не останется без анализа, а слухи потребителей становятся для вас инструментом таргетинга, переориентации и завоевания местного рынка».

CMG не предоставила подробных и точных разъяснений своей технологии, сейчас информация об Active Listening пропала с сайта, а архивная версия даёт весьма расплывчатое представление о том, как эта функция якобы работает. CMG загружала на свою платформу данные, создавая «персонажи покупателей». Затем каждому персонажу ставились в соответствие ключевые слова, интересующие клиента CMG.

Процесс отслеживания описывался так: «Активное прослушивание начинается и анализируется с помощью искусственного интеллекта для обнаружения соответствующих разговоров через смартфоны, смарт-телевизоры и другие устройства». Далее обсуждался анализ данных при помощи ИИ и создание «зашифрованного вечнозелёного списка аудитории», используемого для таргетирования рекламы на различных платформах, включая потоковое телевидение и аудио, медийную рекламу, платные социальные сети, YouTube, Google и Bing.

Источник изображения: CMG

В ноябрьском сообщении в блоге CMG указывалось на неназванного технологического партнёра, который может «агрегировать и анализировать голосовые данные во время разговоров перед покупкой», а также на «растущие возможности доступа к данным микрофона на устройствах». Но компания никогда не объясняла, как получила вычислительные и сетевые ресурсы, необходимые для записи и отправки каждого разговора в радиусе действия устройства. Также неясно, как CMG могла получить доступ, требующий наличия ордера от правоохранительных органов.

Компания ссылалась на многостраничное соглашение об условиях использования устройств, которые обычно никто не читает, где мелким шрифтом якобы описывалась возможность использования технологий, подобных Active Listening. Ещё больше путаницы добавило утверждение CMG о сотрудничестве с Facebook✴, Microsoft, Google и Amazon, хотя в реальности CMG является просто участником рекламных партнёрских программ этих компаний.

Теперь CMG уверяет, что она «не прослушивает какие-либо разговоры и не имеет доступа к чему-либо, кроме стороннего агрегированного, анонимного и полностью зашифрованного набора данных, который может быть использован для размещения рекламы и сожалеет о любой путанице». Рекламные инструменты компании включают «продукты сторонних поставщиков, основанные на наборах данных, полученных от пользователей различными социальными сетями и другими приложениями, которые затем упаковываются и перепродаются поставщикам услуг данных».

Компания утверждает, что рекламные данные, основанные на голосовых и других данных, собираются этими платформами и устройствами в соответствии с условиями, предусмотренными этими приложениями и принятыми их пользователями, а затем могут быть проданы сторонним компаниям и преобразованы в анонимную информацию для рекламодателей. Эти обезличенные данные затем перепродаются многочисленными рекламными компаниями.

Как бы жутко ни звучали заявления CMG, некоторые из них не являются надуманными. Голосовые помощники дали электронике повод держать микрофоны включёнными круглосуточно. Крупные технологические компании оказываются перед выбором: максимально удовлетворить ожидания клиентов или в первую очередь обеспечивать конфиденциальность пользователей. За прошедшие годы это привело к множеству судебных разбирательств, в том числе громких процессов, которые продолжаются годами и во многом определяют будущее конфиденциальности потребителей.

Начиная с 2019 года против Google регулярно подаётся иск, обвиняющий Google Assistant в использовании данных после неверно воспринятой команды на активацию голосового управления (например, «Эй, пудель!» вместо «Эй, Google»). В июле 2021 года, добиваясь прекращения дела, Google заявила, что «никогда не обещала, что Google Assistant будет активироваться только тогда, когда истцы захотят этого». Google также отметила, что не сохраняет аудиозаписи. В 2022 году в очередном иске против Google утверждалось, что компания собирает данные распознавания голоса и лица без согласия пользователя. Google утверждает, что это «является неверной характеристикой её продуктов».

Другим примером является борьба Apple с обвинениями в записи разговоров пользователей без запроса с их стороны к Siri. Apple утверждает, что Siri не слушает пользователей, если она не активирована, а компания «активно работает над улучшением Siri, чтобы предотвратить непреднамеренные срабатывания и предоставлять визуальные и звуковые сигналы… чтобы пользователи знали, когда Siri срабатывает».

На фоне судебных разбирательств и заверений от компаний о защите конфиденциальности клиентов, маркетологи и рекламодатели продолжают попытки вторжения в личные устройства с целью монетизации полученных персональных данных. И, хотя возможности CMG оказались преувеличенными, сам факт её заявлений многое говорит о неясном состоянии конфиденциальности и доверия потребителей, когда дело касается персональных интеллектуальных устройств. Одного этого уже достаточно, чтобы пересмотреть использование интеллектуальных продуктов с микрофоном и освежить понимание пользовательских соглашений и настроек конфиденциальности.

Платформа видеосвязи Zoom представила обновлённый ИИ-инструмент AI Companion, который поможет пользователям быстро решать некоторые рабочие задачи — администрация платформы уверяет, что он поможет повысить производительность их труда.

Источник изображения: zoom.us

В своём блоге Zoom уточняет, что AI Companion — это новое название инструмента Zoom IQ, возможности которого расширились. Ранее он составлял сводки обсуждений в чате и генерировал ответы на поступающие вопросы. Теперь AI Companion позволяет оперативно подготовиться к рабочей встрече, получить сводки предыдущих совещаний, а также найти соответствующие документы. Пользователи смогут вызывать AI Companion прямо в ходе виртуальных совещаний, отправляя запросы в службу поддержки или оперативно находя ответы на различные вопросы — инструмент превращается в полноценного виртуального ассистента.

AI Companion основан на разработанной Zoom собственной модели искусственного интеллекта в сочетании с Meta✴ Llama 2, а также нейросетями от OpenAI и Anthropic. Этот «федеративный подход к искусственному интеллекту», уточнили в компании, помогает быстро интегрировать новые возможности различных моделей. Важнейшим нововведением AI Companion, который уже доступен платным подписчикам Zoom, является возможность управлять им при помощи команд в чате — помимо получения сводок совещаний можно задавать системе конкретные вопросы о том, что обсуждалось. По завершении совещания ассистент автоматически подготавливает его расшифровку, разбивает её на «умные главы» и тезисно выделяет наиболее важную информацию.

К концу сентября AI Companion научится генерировать ответы по электронной почте, автоматически определяя наиболее подходящую для них интонацию и объём текста. В перспективе система поможет анализировать эффективность презентаций, отслеживая, сколько времени выступающие и аудитория говорили и слушали.

На мероприятии Google I/O компания представила набор основанных на алгоритмах искусственного интеллекта инструментов помощи программисту, в том числе чат-бот, выступающий прямым конкурентом GitHub Copilot — он ассистирует в написании кода и работе с облачными сервисами Google.

Источник изображения: Alex Dudar / unsplash.com

В основе всех этих инструментов, предлагающих автоматическое дополнение и генерацию кода, лежит нейросеть Codey, которая, в свою очередь, базируется на большой языковой модели Google PaLM 2. Компания обучила Codey на большом объёме исходного кода, лицензия которого позволяет использовать его в этих целях, а также на коде собственных продуктов Google. Проект получил интеграцию с экосистемой сервисов компании: она постоянно обучается на коде её проектов, и хотя первичным для неё является контекст Google Cloud, предлагаемый код не ограничивается этим направлением: поддерживаются языки Go, Java, JavaScript, Python и SQL, а начать работу с новыми инструментами можно будет, установив расширения для сред Visual Studio Code, IDE JetBrains и Google Shell.

К сожалению, пока доступ к новым инструментам есть только у небольшого числа клиентов компании — вероятно, более подробно о своих планах она расскажет на мероприятии Google Cloud Next. В перспективе компания собирается использовать эти ИИ-модели, чтобы помочь разработчикам управлять услугами в Google Cloud, включая развёртывание и масштабирование приложений — изучить все возможности инфраструктуры было бы затруднительно, ведь в её документации уже более миллиона страниц. Наконец, сообщили в компании, Google решила избавить клиентов от выполнения рутинных задач, чтобы освободить время для чего-то более творческого.