Команда исследователей из Чикагского университета создала инструмент под названием Nightshade, с помощью которого художники смогут защитить свои работы от генеративных нейросетей, использующих для обучения изображения в интернете. Он позволяет добавить к изображениям невидимые глазу человека пиксели, которые эффективно искажают данные для обучения ИИ-алгоритмов.

Источник изображения: petapixel.com

Стремительный рост популярности генеративных нейросетей, способных создавать изображения по текстовому описанию, также привёл к многочисленным судебным искам со стороны современных художников в адрес компаний, занимающихся разработкой ИИ-алгоритмов. Дело в том, что для обучения генеративных нейросетей обычно используются изображения, опубликованные на разных веб-ресурсах. За счёт этого генеративные нейросети способны рисовать изображения не хуже человека и даже копировать стили известных художников.

Алгоритм Nightshade призван помочь художникам защитить свои работы от сканирования нейросетями. Он особым образом обрабатывает изображения, и, если в дальнейшем они используются для обучения нейросетей, то последние теряют способность должным образом обрабатывать пользовательский запрос и выдают неверный результат. Фактически такая доработка картинок заставляет нейросети неправильно распознавать изображённые на них предметы. Например, там, где нарисованы шляпы, алгоритм распознаёт торты, а сумки — распознаются как тостеры. Повреждённые таким образом данные очень сложно удалить, поскольку разработчикам генеративных алгоритмов придётся кропотливо находить каждый такой фрагмент вручную.

Художники, которые хотят поделиться своими работами в интернете, но при этом также намерены защитить их, могут задействовать Nightshade в сочетании с другим инструментом под названием Glaze (разработан той же группой исследователей и предназначен для модификации изображений таким образом, что нейросеть не сможет эффективно обучаться с их помощью). Согласно имеющимся данным, Nightshade и Glaze будут доступны для бесплатного использования, а первый из них будет иметь открытый исходный код, благодаря чему другие разработчики смогут улучшать его.

Согласно сообщению Bloomberg, YouTube в настоящее время разрабатывает инструмент на базе ИИ, который позволит пользователям имитировать голоса известных музыкантов при записи звука. В настоящее время сервис пытается получить у музыкальных компаний права на обучение своей нейросети на песнях из их музыкальных каталогов. Ни один крупный звукозаписывающий лейбл пока не дал согласия, но источники утверждают, что переговоры между сторонами продолжаются.

Источник изображения: Pixabay

В прошлом месяце YouTube представил несколько новых инструментов на базе ИИ для авторов, в том числе созданные с помощью нейросети фоновые изображения и видео. Компания планировала включить в эти объявления и новый инструмент для клонирования голосов известных музыкантов, но не смогла вовремя получить разрешения от правообладателей.

Музыка, сгенерированная ИИ, в настоящее время находится в юридической «серой» зоне из-за трудностей с установлением прав собственности на песни, которые воспроизводят уникальный голос исполнителя, но не используют напрямую защищённых текстов или аудиозаписей. В настоящее время с точки зрения существующего законодательства неясно, является ли обучение генеративного ИИ клонированию голоса на музыкальном каталоге звукозаписывающей компании нарушением авторских прав. Тем не менее, это не подорвало интерес к разработке и обучению «музыкальных» нейросетей — в этом году Meta✴, Google и Stability AI выпустили ИИ-инструменты для создания музыки.

YouTube позиционирует себя в качестве партнёра, который поможет отрасли двигаться вперёд с помощью технологии генеративного ИИ, которую, по данным Bloomberg, приветствуют музыкальные компании. Хотя Alphabet в течение последнего года активно продвигала свои разработки в области генеративного ИИ, далеко не факт, что ей удастся на законных основаниях предоставить создателям YouTube инструменты клонирования голоса на базе ИИ, не вызвав многочисленных исков о нарушении авторских прав.

В настоящее время неясно, помогут ли дискуссии об ИИ-инструменте клонирования голоса YouTube решить возникающие претензии о нарушении авторских прав от звукозаписывающих компаний на фоне увеличения количества треков, созданных с помощью ИИ и подражающих популярным музыкантам. Широкое внимание к этой проблеме было привлечено в начале года, когда созданная ИИ песня Drake стала вирусной в интернете. В то время как некоторые музыканты, такие как Граймс (Grimes), поддерживают музыку, генерируемую ИИ, многие другие, в том числе Стинг (Sting), Джон Ледженд (John Legend) и Селена Гомес (Selena Gomez), призывают к введению правил, защищающих их голоса от копирования.

Команда разработчиков «Яндекса» представила новую диффузионную нейросеть Yandex AI Rendering Technology (YandexART), которая создаёт изображения и анимацию в ответ на текстовые запросы пользователей.

Примеры созданных YandexART изображений (источник: пресс-служба «Яндекса»)

YandexART формирует изображения и анимацию методом каскадной диффузии: сначала нейросеть генерирует картинки и кадры в соответствии с запросом пользователя, а затем поэтапно увеличивает их разрешение, насыщая деталями. В качестве обучающего набора данных были задействованы 330 млн изображений с текстовым описанием. Также разработчиками был реализован новый алгоритм распознавания текстов, помогающий нейросети лучше понимать пожелания пользователей.

Отличительной особенностью YandexART является понимание российского культурного кода — нейросеть знает известные места и города страны, выдающихся личностей разных эпох и знакомых с детства персонажей мультфильмов и сказок. Например, Чебурашку, богатырей и Бабу-Ягу.

Нейросеть уже интегрирована в мобильное приложение «Шедеврум» и помогает иллюстрировать рекламные объявления в «Яндекс Бизнесе». Вскоре YandexART появится в «Яндекс Клавиатуре» и других сервисах компании.

Компания «Яндекс» сообщила об очередных доработках своего фирменного браузера и включении функции краткого пересказа русскоязычных видео. Она позволяет быстро ознакомиться с содержанием ролика и понять, есть ли в нём ответ на нужный вопрос.

В основу новой функции положены технологии распознавания речи и генеративная нейросеть нового поколения YandexGPT. Сначала алгоритм конвертирует аудиодорожку в текст с помощью системы распознавания речи, а затем YandexGPT разбивает его на смысловые фрагменты. Нейросеть обобщает каждый из них и указывает таймкод начала блоков, кликнув по которому, можно перейти к интересующему фрагменту видео.

Чтобы получить пересказ ролика, нужно открыть видео в «Яндекс Браузере» и нажать на кнопку «Краткий пересказ». Функция также доступна в поиске «Яндекса» и сервисе краткого пересказа 300.ya.ru.

Согласно данным статистического сервиса LiveInternet.ru, «Яндекс.Браузер» является вторым по популярности веб-обозревателем в Рунете и контролирует 28,3 % рынка. Лидирующую позицию занимает Google Chrome c 51,3 процентами отечественной аудитории (показатели приведены за октябрь 2023 года).

Сегодня состоялась презентация смартфонов Pixel 8 и Pixel 8 Pro, а также других аппаратных и программных новинок компании Google. Вместе с этим состоялся релиз мобильной операционной системы Android 14, которая имеет немало новых функций, включая генератор обоев на базе нейросети.

Источник изображения: Google

Впервые эта функция была анонсирована в рамках мероприятия Google I/O в мае этого года. Взаимодействие с генератором обоев начинается с выбора категории, например, классического искусства, после чего нужно задать требуемые параметры и алгоритм представит несколько вариантов изображений на их основе. В одном из примеров Google выбирается категория Dreamscape, после чего отмечаются варианты структуры, материала и цвета. В конечном итоге формируется запрос «Дом из растений цвета индиго», после обработки которого алгоритм выдаёт несколько изображений покрытых растениями построек с входной дверью и фиолетовым оттенком.

Первыми функцию генерации обоев смогут испытать в деле обладатели смартфонов Pixel 8 и Pixel 8 Pro. Когда она может появиться на других смартфонах с Android 14, не уточняется. Однако формулировка Google предполагает, что в конечном счёте это всё же произойдёт.

ИИ-генератор обоев — это лишь одна из многих новых функций Android 14. Программная платформа предоставит широкие возможности в плане настройки пользовательского интерфейса, включая экран блокировки, возможность выбора разных шрифтов и цветов, ситуативные виджеты и др. Хотя Android в целом опережает iOS в плане возможностей визуальной настройки, пользователям не всегда легко привести интерфейс к желаемому виду. С выходом Android 14 сделать это будет проще.

Ранее СМИ писали, что песня Heart on My Sleeve, сгенерированная с помощью нейросети на основе вокала Дрейка и The Weeknd, будет претендовать на получение престижной премии «Грэмми». Теперь же, президент Национальной академии искусства и науки звукозаписи Харви Мейсон (Harvey Mason Jr.) заявил, что трек не будет номинирован.

Источник изображения: Elice Moore / unsplash.com

Господин Мейсон опроверг своё же предыдущее заявление относительно того, что упомянутый трек может получить «Грэмми», поскольку он создавался с участием человека. Ранее на этой неделе Мейсон в беседе с журналистами заявил, что песня Heart on My Steeve «полностью соответствует требованиям, потому что её написал человек».

«Позвольте мне быть предельно ясным: несмотря на то, что она была написана человеком, вокал не был получен законным путём, не было получено одобрение на использование вокала от лейбла или исполнителей, песня не является коммерчески доступной, и поэтому она не может быть включена в список», — рассказал Мейсон в беседе с журналистами.

Напомним, автором композиции стал человек с ником Ghostwriter, который использовал текст собственного сочинения и сгенерированные нейросетью голоса известных исполнителей. Сообщалось, что трек будет претендовать на получение награды сразу в двух номинациях: «Лучшая рэп-песня» и «Песня года» (обе премии традиционно присуждаются автору композиции, а не её исполнителю). Несмотря на то, что Heart on My Sleeve не получит престижную премию, Мейсон дал понять, что в будущем на получение «Грэмми» могут быть номинированы композиции, созданные с помощью искусственного интеллекта.

Социальная сеть «ВКонтакте» представила новые функции платформы «VK Звонки», которые будут полезны для тех, кто использует сервис для делового общения или в условиях, когда важно соблюдать тишину. Речь идёт о текстовой расшифровке встреч, которая автоматически переводит звуковую дорожку встречи в текст с сохранением в чате звонка, а также об автосубтитрах, которые дублируют речь участников чата.

Источник изображения: «ВКонтакте»

Функцию текстовой расшифровку может включить любой из участников группового звонка, при этом остальные собеседники получат об этом уведомление. После завершения общения файл с текстом поступит в чат звонка и будет сохранён в специальном разделе в профиле пользователя, включившего текстовую расшифровку. В файле автоматически расставляются тайм-коды и имена говорящих.

Что касается автоматических субтитров, то они будут показываться в реальном времени только у тех пользователей, которые включили эту опцию. Текстовая расшифровка может выполняться одновременно с субтитрами и записью звонка.

Для перевода речи в текст «ВКонтакте» использует собственные нейросетевые разработки, которые соцсеть применяет для расшифровки голосовых сообщений и создания автосубтитров в видео. Для обеспечения высокого качества расшифровки аудиопоток обрабатывается в несколько этапов. Сначала запись очищается от фоновых звуков с использованием интеллектуального шумоподавления, после чего нейросеть распознаёт слова, формируя текст, который потом делит на предложения в соответствии с конкретным спикером. Нейросети постоянно совершенствуются, проходя обучение, в том числе, на актуальной разговорной речи и сленге.

Новыми функциями можно также воспользоваться в сессионных залах и в звонках от имени сообщества. В настоящее время функции доступны только для русского языка, но в дальнейшем будут добавлены и другие языки. Также в ближайшее время планируется запуск новых функций в звонках один на один и возможность настройки администратором того, кто из участников встречи сможет запускать расшифровку.

Как отметила «ВКонтакте», новые функции будут особенно полезны тем, кто использует «VK Звонки» для делового общения, позволяя быстро расшифровать интервью, отправить ключевые тезисы после встречи или рассказать об итогах звонка коллегам, которые не были на встрече. Субтитры будут полезны в ситуации, когда важно соблюдать тишину и у пользователя не оказалось наушников. «Кроме того, это шаг к формированию доступной цифровой среды для слабослышащих пользователей: они смогут участвовать во встречах без ограничений», — подчеркнула пресс-служба соцсети.

В России создана нейросеть SheetsGPT, призванная упростить работу с электронными таблицами для всех, кто использует их в своей работе — бухгалтеров, операторов персональных данных, сотрудников маркетплейсов и других специалистов, пишет РИА Новости со ссылкой на информацию пресс-службы платформы Национальной технологической инициативы (НТИ). Нейросеть «понимает» текстовые запросы, поэтому специалистам больше не потребуется прибегать к формулам и писать макросы в Excel.

Источник изображения: Pixabay

«Российская команда разработчиков создала систему SheetsGPT на базе собственной нейросети, которая упростит работу бухгалтера, оператора персональных данных, сотрудника маркетплейсов и всех, кто работает с электронными таблицами — персональные данные, отчёты, заказы и продажи и многое другое. В будущем пользователь также сможет вносить изменения в таблицы. Такое решение избавит клиентов от заучивания формул и написания макросов», — рассказали в пресс-службе.

По словам руководителя проекта Антона Аверьянова, пользователю будет достаточно направить нейросети текстовый запрос, который будет обработан серверной частью, после чего человек получит ответ, преобразованный нейросетью в удобный для него вид.

Чтобы получить необходимые данные из электронной таблицы, пользователю необходимо загрузить документ на сайт SheetsGPT и написать запрос, на подготовку ответа на который нейросети потребуется 8–15 секунд. Нейросеть также обладает способностью сопоставлять и создавать срез сразу по нескольким таблицам, получать выборки в виде таблицы. В дальнейшем разработчики намерены добавить опцию редактирования данных в таблицах с помощью SheetsGPT.

«Мы предлагаем принципиально новый подход к работе с данными. Теперь не нужно знать формулы, писать макросы для того, чтобы с ними работать, — вам нужно только написать текстом то, что вы хотите получить», — рассказал Аверьянов.

На данный момент проект находится на стадии прототипа. В ближайшем будущем после проведения тестов разработчики планируют начать продажи продукта конечным потребителям, а также клиентам B2B и B2G-сегментов.

На выставке Computex 2023 компания NVIDIA представила платформу Avatar Cloud Engine (ACE) for Games, которая позволит сделать умнее неигровых персонажей (NPC) в играх. Представленный инструмент даёт возможность разработчикам создавать собственные ИИ-модели, которые позволят генерировать для NPC естественную речь, диалоги, а также движения. За минувшие месяцы с момента анонса платформы NVIDIA её усовершенствовала, научив создавать эмоциональных персонажей.

Источник изображения: NVIDIA

В рамках изначальной демонстрации работы технологии ACE компания показала интерактивную демо-сцену Kairos с неигровым персонажем Джином, владельцем лапшичной, созданную на движке Unreal Engine 5 с технологией трассировки лучей. Сегодня NVIDIA отчиталась, что интегрировала в платформу ACE ИИ-модель NVIDIA NeMo SteerLM. Она позволяет разработчикам игр изменять характер неигровых персонажей, делая их более эмоциональными и реалистичными, что позволяет человеку сильнее погрузиться в мир игры.

Большинство языковых моделей (LLM) разработаны с целью давать только нейтральные ответы. Они лишены возможности эмоциональных имитаций и личностных поведенческих особенностей. Типичным примером таких LLM являются ИИ-чат-боты. В свою очередь с помощью SteerLM языковые модели обучаются давать ответы, соответствующие определённым атрибутам характера, от юмора до креативности и токсичности. При этом все особенности характера NPC можно настроить всего лишь движением нескольких ползунков в интерфейсе SteerLM. С примером использования SteerLM и результатами работы можно ознакомиться на видео ниже, в рамках всё той же интерактивной демо-сцены NVIDIA Kairos.

Как можно заметить, ответы NPC значительно отличаются, в зависимости от выбранных атрибутов характера и уровня интенсивности. Неигровой персонаж может обидеться на реплику игрока, попытаться более подробно объяснить ситуацию, а также сделать это с юмором и креативностью. При использовании NVIDIA NeMo SteerLM можно изменять существующие черты характера, а также добавлять новые, создавая по-настоящему уникальных неигровых интерактивных персонажей под определённую сцену в игре или локацию.

Эмоциональный отклик — не единственный вариант использования SteerLM в играх. С помощью этой технологии разработчики могут создавать сразу несколько персонажей, используя одну LLM. Кроме того, разработчики могут создавать так называемые атрибуты фракций, чтобы согласовать реакции тех или иных NPC с развитием внутриигровой истории, позволяя неигровым персонажам динамически изменяться в характере с учётом изменяющихся событий в игре.

В приведенной выше демо-сцене для озвучивания неигрового персонажа Джина использовался синтезатор текста в речь ElevenLabs. С помощью ACE разработчики могут добавлять свои собственные компоненты в конвейер ACE, расширяя его возможности.

Вице-премьер России Дмитрий Чернышенко заявил на пленарной сессии по ИИ в рамках международного военно-технического форума «Армия-2023», что только от снижения операционных расходов российских организаций благодаря внедрению ИИ экономический эффект по итогам года составит ₽400 млрд, а к 2025 г. превысит ₽1 трлн. Он также отметил рост рынка ИИ на 18 % до ₽650 млрд по итогам 2022 г.

Источник изображения: rusarmyexpo.ru

Чернышенко сообщил, что сейчас «на фоне вызовов, стоящих перед отраслью, и высокого потенциала применения технологий ведётся работа по актуализации национальной стратегии развития искусственного интеллекта на период до 2030 года». Проект обновлённого документа должен в сентябре рассмотреть премьер Михаил Мишустин, а в ноябре проект оценит президент России Владимир Путин.

Дмитрий Чернышенко также проинформировал участников сессии, что «по поручению президента разрабатывается нацпроект “Экономика данных” – в рамках него будет обеспечена реализация обновлённой стратегии».

В рамках научно-технологической кооперации в военной сфере Чернышенко поручил включить представителей Минобороны в состав штаба по ИИ, обеспечить информирование экспертов военного ведомства о существующих в России разработках в области ИИ, а также назначить дополнительную экспертизу решениям в области информационных технологий.

По данным Чернышенко, правительство с 2021 года осуществляет финансирование и поддержку шести ведущих исследовательских центров в области ИИ, которые тесно сотрудничают с 26 индустриальными партнёрами. Власти планируют отобрать ещё шесть ИИ-лабораторий, которые получат господдержку в 2024–2026 годах. В следующем году планируется запуск реестра типовых ИИ-решений.

Также вице-премьер проинформировал участников форума о начавшемся переходе государственных информационных систем на платформу «Гостех», в которой будут храниться обезличенные наборы данных корпоративных и государственных структур.

Поисковая система «Яндекса» подскажет пользователям, на что именно обратить внимание при выборе того или иного товара, а также за что именно заинтересовавшие их продукты хвалят и ругают чаще всего. Для этого нейросеть YandexGPT обобщит данные из отзывов покупателей и сформирует краткий список плюсов и минусов. Сформированные нейросетью обобщённые отзывы также будут доступны в «Яндекс.Маркете».

Источник изображений: «Яндекс»

Пользователи смогут оценить подобранные нейросетью данные, а также сообщить о случаях, когда алгоритм предоставляет некорректную информацию. В поисковике компании такой список плюсов и минусов отображается, если пользователь вводит запрос с указанием конкретной модели. Кликнув на каждое преимущество или недостаток товара можно увидеть конкретный пользовательский отзыв, где упоминается эта особенность.

Нейросеть YandexGPT осуществляет анализ отзывов, которые покупатели оставляют в «Яндекс.Маркете» и в разделе «Мои отзывы» в самом поисковике. Алгоритм отбирает наиболее качественные и подробные отзывы, соответствующие многочисленным критериям. После этого нейросеть отмечает особенности товара, которые по мнению пользователей являются важными и о которых заходит речь чаще всего. Для создания списка достоинств и недостатков товара нейросеть использует не менее 10 качественных отзывов. В дальнейшем YandexGPT придёт на смену запущенной в 2021 году технологии создания отзывов в «Яндекс.Маркете».

Напомним, «Яндекс.Маркет» представляет собой сервис для покупок, на котором пользователи могут найти свыше 53 млн товаров, начиная от смартфонов и заканчивая детскими игрушками. Для реализации своих товаров сервис используют около 62 тыс. магазинов-партнёров. Помимо веб-версии сервиса пользователи могут использовать мобильные приложения для Android и iOS для взаимодействия с «Яндекс.Маркетом».

Учёные из лаборатории исследований искусственного интеллекта Tinkoff Research разработали SAC-RND — новый алгоритм для обучения ИИ. На робототехнических симуляторах было достигнуто повышение скорости обучения в 20 раз по сравнению со всеми существующими аналогами при возросшем на 10 % качестве. Оптимизация крайне ресурсоёмкого процесса обучения ИИ ускорит развитие многих сфер, где применяется ИИ.

Источник изображения: Tinkoff

Разработчики утверждают, что SAC-RND может «повысить безопасность беспилотных автомобилей, упростить логистические цепочки, ускорить доставку и работу складов, оптимизировать процессы горения на энергетических объектах и сократить выбросы вредных веществ в окружающую среду. Открытие не только улучшает работу узкоспециализированных роботов, но и приближает нас к созданию универсального робота, способного в одиночку выполнять любые задачи».

Результаты исследования были представлены в конце июня на 40-й Международной конференции по машинному обучению (ICML) в Гонолулу, Гавайи. Эта конференция является одной из трёх крупнейших в мире в сфере машинного обучения и искусственного интеллекта.

Одним из наиболее перспективных видов обучения ИИ является обучение с подкреплением (RL), позволяющее ИИ учиться методом проб и ошибок, адаптироваться в сложных средах и изменять поведение на ходу. Обучение с подкреплением может использоваться во всех сферах: от регулирования пробок на дорогах до рекомендаций в социальных сетях.

При этом ранее считалось, что использование случайных нейросетей (RND) не применимо для офлайн-обучения с подкреплением. В методе RND используются две нейросети — случайная и основная, которая пытается предсказать поведение первой. Свойство нейросети определяются её глубиной — количеством слоёв, из которых она состоит. Основная сеть должна содержать больше слоёв, чем случайная, иначе моделирование и обучение становится нестабильным или даже невозможным.

Использование неправильных размеров сетей привело к ошибочному выводу, что метод RND не умеет дискриминировать данные — отличать действия из датасета от прочих. Исследователи из Tinkoff Research обнаружили, что при использовании эквивалентной глубины сетей, метод RND начинает качественно различать данные. Затем исследователи приступили к оптимизации ввода и научили роботов приходить к эффективным решениям при помощи механизма слияния, основанного на модуляции сигналов и их линейном отображении. До этого при использовании метода RND поступающие сигналы не подвергались дополнительной обработке.

На визуализации ниже в верхнем ряду показаны предыдущие попытки применения метода RND, в нижнем — метод SAC-RND. Стрелки на изображении должны вести робота в одну точку — они указывают направление к правильному действию. Метод Tinkoff Research во всех случаях стабильно приводит робота в нужную точку

Визуализация принятия решения роботами, обученными с помощью разных алгоритмов. Источник изображения: Tinkoff Research

Метод SAC-RND был протестирован на робототехнических симуляторах и показал лучшие результаты при меньшем количестве потребляемых ресурсов и времени. Открытие поможет ускорить исследования в области робототехники и обучения с подкреплением, поскольку оно снижает время получения устойчивого результата в 20 раз и является важным шагом на пути к созданию универсального робота.

Tinkoff Research — российская исследовательская некоммерческая группа. Учёные из Tinkoff Research исследуют наиболее перспективные области ИИ: обработку естественного языка (NLP), компьютерное зрение (CV), обучение с подкреплением (RL) и рекомендательные системы (RecSys). Команда курирует исследовательскую лабораторию «Тинькофф» на базе МФТИ и помогает талантливым студентам совершать научные открытия.

ИИ-стартап Stability AI выпустил новую версию своей флагманской модели преобразования текста в изображение Stable Diffusion XL 1.0 (SDXL 1.0) с открытым исходным кодом, которую он позиционирует как свою «самую продвинутую» модель на сегодняшний день.

Источник изображения: Pixabay

По словам Stability, SDXL 1.0, доступная на GitHub в дополнение к API Stability и потребительским приложениям Clipdrop и DreamStudio, обеспечивает «более яркие» и «точные» цвета и лучшую контрастность, тени и освещение по сравнению с предыдущей версией.

Джо Пенна (Joe Penna), руководитель отдела прикладного машинного обучения Stability AI, сообщил в интервью TechCrunch, что SDXL 1.0, содержащая 3,5 млрд параметров, может выдавать изображения с разрешением 1 мегапиксель «за секунды» с различными соотношениями сторон.

Модель предыдущего поколения Stable Diffusion XL 0.9 также могла создавать изображения с высоким разрешением, но для её запуска требовалось больше вычислительной мощности. Как отметил ресурс SiliconANGLE, открытый исходный код наряду с возможностью работать на относительно простом оборудовании делают SDXL 1.0 гораздо более доступной, чем конкурирующие модели создания изображений.

«SDXL 1.0 — кастомизируемая и готова к тонкой настройке в соответствии с концепциями и стилями, — рассказал Пенна. — Она также проста в использовании, обладает способностью создавать сложные проекты с базовыми запросами на обработку естественного языка».

Кроме того, SDXL 1.0 получила улучшения в области генерации текста. В то время как даже у многих лучших моделей преобразования текста в изображение наблюдаются проблемы с генерацией изображения с разборчивыми логотипами, не говоря уже о каллиграфии или шрифтах, SDXL 1.0 способна на «продвинутое» генерирование текста и обеспечение его разборчивости, говорит Пенна.

SDXL 1.0 имеет функции inpainting, позволяющую восстанавливать недостающие части изображения, outpainting (расширение существующих изображений) и подсказки «изображение-к-изображению», позволяющую после ввода изображения добавлять несколько текстовых подсказок для создания более подробных вариантов этого изображения. Кроме того, модель «понимает» сложные инструкции, состоящие из нескольких частей, которые даются в коротких подсказках, тогда как в предыдущих моделях Stable Diffusion требовались более длинные текстовые подсказки.

Тренировочный набор SDXL 1.0 также включает в себя работы художников, протестовавших против использования компаниями, включая Stability AI, их работ в качестве обучающих данных для генеративных моделей ИИ. Stability AI утверждает, что она защищена от юридической ответственности доктриной добросовестного использования, по крайней мере, в США. Хотя это не помешало Getty Images подать в суд на Stability AI с обвинением в незаконном использовании изображений сервиса для обучения своей генеративной нейросети.

Инженеры «Сбера» выложили в открытый доступ нейросетевую модель ruGPT-3.5, лежащую в основе сервиса GigaChat, который до сих пор проходит стадию закрытого тестирования. Лицензия MIT позволяет использовать материалы проекта в коммерческих целях.

Структура датасета ruGPT-3.5. Источник изображения: habr.com

Важнейшим недостатком открытых больших языковых моделей вроде Meta✴ LlaMA является ограниченная поддержка русского языка — обычно это русский раздел «Википедии» и некоторое количество общедоступных текстов. Это оказывает негативное влияние на понимание моделью языка и качество её ответов. Модель ruGPT-3.5, основанная на архитектуре OpenAI GPT-3, создана в первую очередь для работы в русскоязычной среде, поэтому она более качественно обрабатывает такие запросы.

Обучение модели производилось в два этапа. Первый этап продлился 1,5 месяца — за это время платформа обработала 300 Гбайт данных: книги, энциклопедийные и научные статьи, социальные ресурсы и другие источники. Потребовались ресурсы 512 ускорителей NVIDIA V100. На втором этапе проводилось дообучение на 110 Гбайт данных из датасета The Stack, юридических документов и обновлённых текстов «Википедии» — это заняло три недели и потребовало 200 ускорителей NVIDIA A100.

В результате у ruGPT-3.5 13 млрд параметров при длине контекста 2048 токенов — для сравнения, привели пример разработчики, рассказ А. П. Чехова «Хамелеон» разбивается на 1650 токенов при его длине в 901 слово.

По сообщениям сетевых источников, компания Google работает над созданием ИИ-алгоритма для написания новостных статей. Он разрабатывается под кодовым названием Genesis и уже был продемонстрирован руководству некоторых крупных изданий, таких как The New York Times, The Washington Post и The Wall Street Journal.

Источник изображения: StartupStockPhotos / Pixabay

По данным источников, Genesis может генерировать новостные статьи на основе данных о тех или иных событиях. В компании считают, что алгоритм может стать своеобразным помощником для журналистов. С его помощью можно не только генерировать готовые статьи, но и, например, подобрать оптимальный заголовок или изменить стиль материала.

«В партнёрстве с издателями новостей, особенно с небольшими издательствами, мы находимся на ранней стадии изучения идей, которые потенциально могут привести к созданию ИИ-инструментов для помощи в работе журналистов. Например, инструменты на базе ИИ могут помочь журналистам с выбором заголовка или стилем написания», — рассказал представитель Google. Он также добавил, что цель компании заключается в том, чтобы предоставить журналистам ИИ-инструменты для повышения эффективности их работы. Особо отмечается, что Google не стремится заменить журналистов ИИ-алгоритмами.

На данный момент трудно судить, насколько хорошо Genesis справляется с поставленными задачами. Очевидно, больше информации об этом алгоритме станет известно по мере развития проекта.