Nvidia представила новую экспериментальную генеративную модель ИИ, которую компания описывает как «швейцарский армейский нож для звука». Модель Fugatto (Foundational Generative Audio Transformer Opus 1) использует текстовые подсказки для генерации новых или изменения существующих музыкальных, голосовых и звуковых файлов. В создании модели принимали участие разработчики со всего мира, что усилило «многоакцентные и многоязычные возможности модели».

Источник изображения: Nvidia

«Мы хотели создать модель, которая понимает и генерирует звук, как это делают люди», — рассказал участник проекта и менеджер по прикладным исследованиям звука в Nvidia Рафаэль Валле (Rafael Valle). Компания предложила несколько сценариев, в которых модель Fugatto может оказаться востребованной:

• Музыкальные продюсеры могут быстрого создать прототип песни, которую легко редактировать, пробуя разные стили, голоса и инструменты.
• Fugatto может использоваться при создании инструментов для изучения языка с выбором наиболее подходящего голоса.
• Разработчики видеоигр могут использовать её для создания вариаций предварительно записанных ресурсов, чтобы соответствовать изменениям в игре на основе выбора и действий игроков.

Исследователи утверждают, что модель при некоторой дополнительной тонкой настройке также может выполнять задачи, не входившие в её предварительное обучение. Модель может объединять отдельные инструкции, например, генерировать речь с определёнными интонациями и акцентом или звук пения птиц во время грозы. Модель также умеет генерировать изменяющиеся со временем звуки, например, шум приближающегося ливня или удаляющегося поезда.

Fugatto не является первой технологией генеративного ИИ, которая может создавать звуки из текстовых подсказок. Ранее Meta✴ выпустила аналогичную модель ИИ с открытым исходным кодом. Google предлагает ИИ-инструмент собственной разработки для преобразования текста в музыку MusicLM, доступ к которому можно получить через сайт компании AI Test Kitchen.

Nvidia пока не предоставила публичный доступ к Fugatto и воздержалась от комментариев на этот счёт.

«Сбер» представил технологию GigaChek, которая помогает определять происхождение текста: был ли он написан человеком или сгенерирован искусственным интеллектом. Опробовать решение можно в демо-версии службы на сайте или через чат-бот в Telegram.

Источник изображения: sber.ru

Сервис, помогающий определить происхождение текста, окажется полезным при проверке дипломов, диссертаций и других научных работ; им смогут пользоваться редакторы, которые принимают работу копирайтеров и писателей; а владельцы пабликов смогут выявить написанные нейросетями комментарии. Пока текст оценивается на основе контента, который в нём преобладает. В перспективе технология будет усовершенствована и позволит осуществлять интервальный поиск — такая возможность должна появиться в обозримом будущем.

«Задача нашей технологии — иметь такой уровень качества работы, что для обхода текст придётся исказить до степени неприменимости в реальных задачах. Например, диплом с разбросанными символами „;“ просто не пройдёт нормоконтроль, а такой комментарий в паблике сразу будет выделяться», — рассказали в «Сбере». Когда новый сервис будет официально запущен, компания подготовит инструменты API, которые помогут интегрировать технологию.

Благодаря машинному обучению археология совершила рывок вперёд. С помощью ИИ разработан метод чтения сожжённых или иным образом повреждённых свитков папируса. Таких документов множество, и находятся всё новые и новые. Технологию ещё предстоит доработать, однако первые результаты оказались успешными.

Внешний вид обугленного свитка, который был прочитан с помощью ИИ (источник изображения: scrollprize.org)

Ещё в 18 веке при раскопках римской виллы в Геркулануме было обнаружено более 1000 целых или частичных свитков в особняке, который, как считалось, принадлежал тестю Юлия Цезаря. Извержение Везувия в 79 году н.э. и последующее погребение свитков землёй превратили их в обугленные останки, развернуть которые можно было только один раз — они при этом рассыпались. Тексты также были нечитаемые, поскольку чернила выгорели вместе с основой. Прочесть всё это и многое другое — это достойно усилий.

Попытки создать технологию для прочтения обугленных свитков из Геркуланума много лет возглавлял специалист по информатике из Университета Кентукки Брент Силз (Brent Seales). Он и его команда с помощью рентгеновской томографии на ускорительном комплексе Diamond Light Source — источнике синхротронного излучения третьего поколения в графстве Оксфордшир — научились распознавать следы чернил в волокнах папируса, не трогая и не разрушая свиток.

Но распознать чернила — это только начало. Необходимо было «развернуть» свиток и прочитать текст. Для этого в 2023 году на деньги спонсоров был объявлен конкурс Vesuvius Challenge с призом около $1 млн. К концу года начали определяться лидеры. В частности, студент факультета компьютерных наук в Университете Небраски в Линкольне Люк Фарритор (Luke Farritor) был объявлен победителем этапа «Первые буквы» за расшифровку первых связных фраз из сожжённого текста, за что получил $40 тыс.

Позже к Фарритору присоединились Юсеф Надер (Youssef Nader) из Германии и Джулиан Шиллигер (Julian Schilliger) из Швейцарии. Они разработали алгоритм «разворачивания» свитков. Все вместе они смогли прочесть более 2000 букв из свитка. Как стало известно на днях, приз в размере $700 тыс. ушёл этой команде.

Искусственный интеллект справляется с задачей в несколько этапов. Свиток разбивается на сектора с определением каждого слоя. Предложено несколько способов решить эту головоломку. Например, ИИ отслеживает паутинку трещин в каждом слое, что позволяет точно определить слой и потом выровнять его цифровую копию. Пожалуй, это самая сложная часть работы.

Распознавание букв греческого алфавита также происходит не напрямую из текста, что важно для подтверждения опыта команды сторонними группами исследователей. Все данные берутся из базы, полученной рентгеновской томографией, а не с помощью программ по оптическому распознаванию символов. Немаловажно и то, что предложенный группой победителей конкурса код открыт и может быть использован другими группами для проверки результатов. И они были подтверждены. ИИ на самом деле восстанавливает текст по обнаруженным остаткам чернил в волокнах свитков.

Технология далека от совершенства, но её возможности обещают привнести множество нового в наши знания о прошлом. Она может быть применена также к прочтению текстов папирусов, в которые заворачивали мумии. Этих папирусов груды в каждом приличном музее, а это кладезь информации о жизни тысячи лет назад.

Уже сейчас нейросети способны правдоподобно воссоздавать голос человека и имитировать его мимику в соответствии с якобы произносимым текстом. Как считают учёные, вскоре искусственному интеллекту будут по плечу и задачи правдоподобного воспроизведения почерка человека, для этого нейросетям будет достаточно ознакомиться лишь с несколькими абзацами «исходного материала».

Источник изображения: Unsplash, Hannah Olinger

Команде специалистов Университета искусственного интеллекта имени Мухаммеда бен Заида в ОАЭ, как сообщает Bloomberg, уже удалось создать профильную нейросеть и опробовать её в деле. Эту разработку авторам даже удалось запатентовать в юрисдикции США. Пока использование данной нейросети сторонними клиентами не подразумевается, и авторы разработки уже выражают опасения по поводу способности недобросовестных пользователей применять её во вред обществу.

Прежде чем этот инструмент начнёт распространяться, по мнению разработчиков, необходимо создать защитные механизмы, предотвращающие его некорректное с этической точки зрения применение. «Это всё равно что создать антивирус для вируса», — пояснили представители университета. Подобные соображения не мешают создателям нейросети планировать её коммерческое применение в течение ближайших месяцев, они уже ищут партнёров для реализации сопутствующего потенциала данной технологии. Помимо прочего, такая система могла бы распознавать рукописный текст — например, для обработки записей в историях болезни пациентов. На генерируемых нейросетью рукописях можно было бы обучать другие подобные системы. Пока нейросеть способна распознавать и генерировать рукописный текст на английском и французском языках, но в перспективе разработчики хотели бы добавить к ним и арабский.

Специалисты «Яндекса» обучили нейросети расшифровке архивных записей — теперь препятствиями не являются ни рукописный текст, ни дореволюционная орфография. Поработать с технологией можно уже сейчас, открыв службу «Поиск по архивам», в которой доступны более 2,5 млн страниц исторических документов и их текстовая расшифровка.

Источник изображения: Яндекс

Нейросеть была обучена при помощи сотен тысяч рукописных строк в реальных архивных документах, датированных с XVIII по XIX вв., а также десятков миллионов примеров, которые были сгенерированы. В работе участвовали эксперты — они производили расшифровку и разметку документов, а также контролировали качество работы системы. Прочитать такие рукописи неподготовленному человеку очень сложно, но нейросеть «Яндекса» справляется с задачей почти мгновенно. При наличии расшифровки появилась возможность быстро находить документы с упоминанием ключевых слов, например, названий населённых пунктов и фамилий.

Служба «Поиск по архивам» поможет в работе историкам, социологам, демографам и генеалогам, а также тем, кто не обладает профессиональной подготовкой, но хочет больше узнать об истории своей семьи. Первыми в базе появились материалы Главархива Москвы, потому что нейросеть обучали на них; впоследствии коллекция пополнилась документами из архивов Оренбургской и Новгородской областей. Со временем к проекту подключатся и другие архивы, документов станет больше.

Сейчас в поиске доступны материалы с XVIII до начала XX вв. — они наиболее популярны у пользователей. В базе есть метрические книги, исповедные ведомости, а также ревизские сказки, в которые внесены результаты переписи населения. Документы открываются как по каталогу, так и через поисковую строку — на странице приводится скан листа и его построчная расшифровка с подсветкой при наведении.

Разработчики из российской компании Smart Engine создали систему распознавания текста, которая способна находить документы на фото или сканах и распознавать все текстовые данные на 102 языках. Представленное решение является частью продукта Smart Document Engine, включённого в реестр российского программного обеспечения.

Источник изображения: smartengines.ru

Во всех продуктах Smart Engine применяется собственная технология распознавания GreenOCR. За счёт этого удаётся достигнуть высокого уровня точности распознавания текста даже на некачественных фото. Представленное приложение позиционируется в качестве альтернативы продуктам ABBYY и иностранному ПО в корпоративном и государственном сегментах. Полнотекстовое распознавание является важным элементом ввода документов в системах электронного документооборота, управления бизнес-процессами, электронных архивах и RPA-системах. Скорость и точность извлечения данных оказывают прямое влияние на трудоёмкость и уровень автоматизации процесса обработки документов.

Представленная система должна обеспечить технологический суверенитет, поскольку в ней не используются решения Open Source и иностранные программные компоненты. Отмечается, что процесс обработки одного изображения на современном смартфоне занимает 3-4 секунды. Помимо распознавания текста система Smart Engine автоматически обрезает, разглаживает сложенные документы и улучшает качество снимков, фактически превращая смартфон в сканер. В серверных решениях на 32-ядерном HPC без использования GPU скорость полнотекстового распознавания достигает 15 страниц в секунду.

Разработчики могут интегрировать технологию распознавания текстовых документов в серверные, мобильные, десктопные и веб-приложения в составе продукта Smart Document Engine. Для функционирования системы не требуется подключение к сторонним сервисам и внешним ресурсам, не требуется GPU. Для распознавания документов не требуется постоянное интернет-подключение, поскольку все вычисления выполняются непосредственно на устройстве пользователя. Помимо привычных языков на основе кириллических и латинских символов система может распознавать арабский, армянский, греческий, грузинский, иврит, китайский, корейский и японский языки. Поддерживается работа на устройствах с ALT Linux, Astra Linux, «Ред ОС» и других платформах семейства Linux, а также Windows, macOS, iOS, Android и ОС «Аврора».