LG представила нейросеть Captioning AI, которая создаёт текстовые описания для изображений

Одно из подразделений компании LG представило генеративную систему ИИ Captioning AI, которая может распознавать элементы изображения и генерировать для них описания и ключевые слова — трудно переоценить пользу, которую подобная технология способна оказать, например, при систематизации баз фотоснимков крупных компаний.

Возможно, не все изображения будет легко описать. Источник изображения: Rick Rothenberg/unsplash.com

Представители LG AI Research, занимавшейся разработкой Captioning AI, выступили на мероприятии Computer Vision and Pattern Recognition 2023, крупнейшей в мире конференции, посвящённой «компьютерному зрению» — она проходила в воскресенье в Ванкувере (Канада). Как сообщили в LG, сервис основан на разработанной LG AI Research технологии Zero-shot Image Captioning, позволяющей ИИ «понимать» и описывать объекты или сцены, которые нейросеть оценивает впервые без дополнительных подсказок, на основе своего предыдущего опыта — так же, как и люди.

В компании объяснили, что технология отличается от ИИ-сервисов вроде Midjourney, в которых всё происходит ровно наоборот — пользователи вводят текст или загружают картинку, на основе которых ИИ генерирует собственное творение. Создание «субтитров» к картинкам может показаться довольно лёгким, поскольку концепция не нова. Тем не менее, технология вышла на новый уровень. Например, искусственный интеллект действительно может делать выводы и описывать то, чего он не «видел» никогда раньше — посмотреть на пейзаж или человека и вычислить, о каком именно месте идёт речь. Технология позволяет распознавать на изображении фон, персонажей и даже активность и описывать взаимодействие элементов.

Источник изображения: LG

Captioning AI может генерировать текстовые описания и ключевые слова для 10 тыс. изображений менее чем за два дня, что в теории позволяет повысить эффективность и продуктивность для компаний, которым необходимо справляться с большими массивами изображений. В среднем система может генерировать 5 предложений и 10 ключевых слов за 10 секунд.

Сервис разработан при сотрудничестве с Shutterstock, одной из крупнейших платформ для размещения визуального контента — от изображений до видео. LG AI Research сотрудничала с этой американской компанией ранее и намерена делать это и впредь расширяя сотрудничество и с другими партнёрами. Как сообщили в Shutterstock, технология Caption AI развивается благодаря «раннему доступу» к программе десяти глобальных клиентов.