Данные берутся из публикации Практикум по ИИ-рисованию, часть четвёртая: ComfyUI, или Приручение макаронного монстра

Данные берутся из публикации Практикум по ИИ-рисованию, часть вторая

Японская компания Wacom объявила о создании принципиально нового перьевого контроллера, в котором, по её словам, воплощён 30-летний опыт разработки профессиональных инструментов для компьютерных художников. Wacom VR Pen предназначен прежде всего для рисования в виртуальном пространстве.

Перо объединено со странным на вид держателем эргономичной формы, оснащённым тремя кнопками и кольцом прокрутки. На самом пере тоже предусмотрены две функциональные кнопки. А чтобы изменять силу давления на объёмной модели или виртуальном холсте на кончике стилуса имеется чувствительная к прилагаемому усилию кнопка под указательным пальцем.

Таким образом, сила хвата естественным образом обеспечивает желаемую толщину линии. Компания обещает, что VR Pen гарантирует интуитивное рисование в воздухе и лёгкий доступ к каждой кнопке. Художники могут работать в виртуальном окружении, как если бы они взаимодействовали с настоящим пером.

Сам кончик пера, похоже, не чувствителен к давлению, но благодаря применению запатентованной технологии электромагнитного резонанса новый стилус позволяет работать на профессиональных графических планшетах Wacom. Проще говоря, перо Wacom VR Pen обеспечивает плавный рабочий процесс как в 2D, так и в 3D.

Наиболее важным аспектом нового манипулятора является независимая система высокоточного отслеживания положения пера в пространстве: она совместима с большинством современных шлемов виртуальной реальности.

Когда именно продукт выйдет на рынок и по какой цене, пока не ясно. В настоящее время Wacom взаимодействует с разработчиками, чтобы обеспечить необходимую поддержку VR Pen в программном обеспечении.

К сожалению, приложения для рисования профессионального уровня на Android либо стоят слишком дорого, либо предлагают только несколько основных функций бесплатно. Это не касается графического редактора с открытым исходным кодом Krita, первая открытая бета-версия которого теперь доступна на Android и Chromebook.

Krita представляет собой бесплатный растровый графический редактор с открытым исходным кодом, настольная версия которого содержит более 200 инструментов. Десктопная версия Krita доступна на Windows, Linux и macOS, что делает приложение неплохой альтернативой платным продуктам, таким как Adobe Photoshop и Coral Painter. Теперь же использовать весь набор инструментов графического редактора смогут обладатели Android-планшетов и хромбуков.

Согласно имеющимся данным, бета-версия графического редактора для Android и Chrome OS основана на настольной версии Krita 4.2.9. Приложение имеет тот же пользовательский интерфейс, что и настольная версия, поэтому его пока нельзя использовать на смартфонах. В отличие от приложения Krita, распространяемого через Steam и Windows Store, версия для Android и Chromebook полностью бесплатна.

Уже сейчас бета-версия приложения доступна для скачивания в официальном магазине цифрового контента Play Маркет. При использовании Krita на планшетах с Android и хромбуках стоит учитывать, что приложение представляет собой бета-версию, поэтому в процессе работы могут возникать ошибки.

Компания E Ink Holdings, известный разработчик дисплеев на электронной бумаге, представила свой новый продукт — изделие под названием JustWrite.

Плёнка JustWrite предназначена для рисования, создания рукописных заметок и т. п. Утверждается, что при этом обеспечиваются ощущения, сравнимые с использованием обычной бумаги. Более того, у JustWrite практически отсутствуют задержки.

Для рисования или письма служит специальное перо. Оно может быть выполнено в виде карандаша, ручки, кисточки или, скажем, маркера. Таким образом, могут быть реализованы самые разные сценарии использования.

Новая разработка E Ink обладает гибкостью и износостойкостью. Возможно создание плёнок любой формы, в том числе с вырезами и отверстиями. Ширина JustWrite может достигать 1 метра.

Новинка была продемонстрирована на мероприятии Connected Ink 2018 в Токио (Япония). JustWrite обладает достоинствами традиционной электронной бумаги E Ink: новая плёнка имеет хорошую контрастность и не нуждается в подсветке.

В качестве областей применения JustWrite можно назвать школьные доски нового типа, электронные блокноты для заметок, панели для коллективного творчества и пр. О сроках начала массового производства ничего не сообщается.

Корпорация Microsoft сообщила о разработке системы на основе искусственного интеллекта (ИИ), которая способна формировать изображения по текстовому описанию.

Программный бот использует так называемую технологию GAN — Generative Adversarial Network. Она содержит две модели машинного обучения, одна из которых генерирует изображения по текстовому описанию, а другая отвечает за оценку их достоверности.

Учёные также разработали специальный алгоритм AttnGAN, который позволяет не обрабатывать предложение целиком, а разбивать его на отдельные слова. За счёт этого технология более точно выбирает область для размещения каждой детали изображения.

В качестве примера Microsoft приводит создание изображения птицы. В текстовом описании сказано лишь, что она имеет оперение жёлтого цвета, чёрные крылья и короткий клюв. Результат (см. иллюстрацию) впечатляет.

Любопытно, что система способна дорисовывать объекты, которые подходят к композиции по смыслу. К примеру, на большинстве фотографий птицы изображены сидящими на ветвях деревьев. Технология может добавить этот элемент, даже если он не прописан в задании.

Технология преобразования текста в изображения может применяться для помощи дизайнерам и художникам в создании эскизов. По мнению разработчиков, при возможности использования больших вычислительных мощностей, алгоритм сможет также создавать анимационные фильмы по тексту сценария.

Microsoft добавила программу Paint 3D в Windows 10 в рамках обновления Creators Update в октябре прошлого года. Инструмент должен был низвести трёхмерное моделирование до уровня программ для двухмерного рисования. Бесплатное приложение позволяет создавать, делиться и печатать в 3D практически что угодно. Теперь компания выпустила для Paint 3D два обновления, которые должны ещё больше упростить процесс создания объёмных объектов.

Первое обновление улучшает инструмент «Волшебное выделение», который убирает фон с любого изображения. Вы можете превратить результат в наклейку или использовать его как текстуру для трёхмерного объекта. С помощью функции можно выделить контент прямо на картинке. Это работает даже тогда, когда изображение было отчасти отредактировано. Заблаговременно убирать объекты с холста не нужно.

Второе улучшение пришло в приложение прямиком из оригинальной Paint. Теперь можно рисовать и создавать фигуры с помощью инструментов «Прямая линия» и «Кривая». Это поможет сделать края и изгибы объектов гладкими.

Помимо этого, Paint 3D теперь поддерживает открытый стандарт отправки файлов, который называется GLB. Это обеспечивает более быстрый и эффективный перенос 3D-файлов. Весь контент помещается в один контейнер. Благодаря этому файл занимает меньше места и может быть использован во всех других программах для работы с трёхмерной графикой.

Компания Corel сообщила о выпуске новой версии своего флагманского продукта для редактирования графики CorelDRAW Graphics Suite 2017.

Представленный разработчиком продукт получил новый инструмент LiveSketch, использующий возможности нейронных сетей для анализа и интерпретации нарисованных вручную штрихов, улучшенные узлы, маркеры и векторные превью, ориентированный на сенсорные устройства пользовательский интерфейс, нативную поддержку Surface Studio, Surface Pen и Surface Dial, а также расширенную поддержку перьев и планшетов Wacom. Помимо этого, в CorelDRAW Graphics Suite 2017 появились настраиваемые формы узлов и интерактивные регуляторы, облегчающие работу с заливками, тенями, контурами и эффектами прозрачности, смешения и вытягивания. Не остались без внимания средства импортирования рабочих пространств из предыдущих версий графического пакета. С полным списком нововведений и изменений можно ознакомиться на сайте coreldraw.com.

В состав CorelDRAW Graphics Suite 2017 входят: приложение для работы с векторной графикой и макетирования CorelDRAW, инструмент редактирования изображений PHOTO-PAINT, программа для управления шрифтами Corel Font Manager, утилита преобразования растровых изображений в векторный формат PowerTRACE, система доступа к цифровому контенту CONNECT, приложение для создания веб-страниц Website Creator, утилита для создания снимков экрана CAPTURE и модуль расширения PhotoZoom Pro 4 для экспорта и увеличения цифровых изображений. Кроме того, продукт содержит учебные материалы и коллекцию контента, которая включает 10 000 картинок и изображений, 2000 фотографий в высоком разрешении, 1000 шрифтов OpenType, 350 профессиональных шаблонов и более 1000 заливок, рамок и узоров.

CorelDRAW Graphics Suite 2017 функционирует в среде Windows, имеет многоязычный интерфейс и доступен для приобретения в виде бессрочных лицензий, а также по подписке. Полная версия графического пакета продается по цене 550 долларов США, годовая подписка обойдётся в 210 долларов. Доступны многопользовательские коммерческие и академические лицензии. Для пользователей, желающих ознакомиться с возможностями приложения, предусмотрена бесплатная 30-дневная демонстрационная версия продукта.

В прошлом году Google представила экспериментальное веб-приложение Quick, Draw!, через которое нейронная сеть угадывала, что рисуют пользователи. Теперь компания с помощью созданной людьми базы картинок учит рисовать искусственный интеллект.

Программа называется Sketch-RNN. Исследователи Google Brain Дэвид Ха (David Ha) и Дуглас Эк (Douglas Eck) использовали более полумиллиона зарисовок пользователей. Каждый раз, когда человек что-то рисовал, в базе сохранялось не только конечное изображение, но и данные о порядке и направлении каждого штриха.

В итоге исследователи получили коллекцию из 70 тысяч рисунков в 75 категориях — «кот», «пожарная машина», «сад», «сова», «свинья», «лицо», «русалка» и так далее. Их целью было создание алгоритма, который может «рисовать и обобщать абстрактные понятия так же, как люди».

ИИ не просто копирует линии: особенно сильно это заметно в предпоследнем ряду. Слева нарисован кот с тремя глазами, но машина копирует концепт, а не саму зарисовку. Она знает, что три глаза для кота — многовато. Затем Sketch-RNN научили рисовать объекты, не копируя первоначальный рисунок.

Несмотря на то, что результаты работы искусственного интеллекта кажутся детскими, они, по словам Ха и Эка, являются шедеврами абстракции и сжатия данных. Эти зарисовки «говорят нам о том, как люди представляют и реконструируют образы мира вокруг них».

Sketch-RNN может заканчивать картинки, начатые кем-то другим; комбинировать разные изображения; а также совмещать любое количество рисунков в разных соотношениях и таким образом создавать новые эскизы с несколькими характеристиками.

В будущем такие программы могут использоваться дизайнерами, архитекторами и художниками. Скажем, если человек что-то рисует и понимает, что ничего не выходит, он может заставить ИИ проанализировать работу и предложить что-то похожее. Сами по себе такие картинки вряд ли могут быть полезны, но благодаря им у художника могут возникнуть новые идеи.

Google запустила один из своих самых интересных ИИ-экспериментов: сервис AutoDraw, который в реальном времени анализирует рисунки пользователя и на их основе предлагает аналогичные картинки, созданные профессионалами.

AutoDraw стал ещё одним элементом серии AI Experiments. Новинка использует машинное обучение и технологии распознавания изображений для определения потенциальных объектов. Затем система сопоставляет их с базой аккуратных и простых картинок.

Google позиционирует AutoDraw как «инструмент для рисования для остальных из нас». Компания подразумевает людей, которым рисование не даётся.

«AutoDraw совмещает магию машинного обучения с рисунками талантливых художников, чтобы помочь вам быстро рисовать всякие вещи», — говорится в описании к эксперименту. Технология уже была задействована в другом проекте компании, Quick Draw, который анализирует рисунки пользователей и со временем всё лучше их распознаёт.

Quick Draw предназначается исключительно для развлечения, но AutoDraw действительно может быть полезен тем, кто не умеет рисовать. Например, на то, чтобы изобразить очень аккуратные шарики и торт, уходит всего несколько секунд.

Конечно, новый инструмент не идеален: часто программа делает странные рекомендации. Но в остальных случаях AutoDraw воспринимается как нечто действительно новое и «умное».

Экспериментальный проект отлично работает как с настольными, так и с мобильными браузерами.

Приложение для рисования в режиме виртуальной реальности Tilt Brush от Google стало доступно владельцам шлемов Oculus Rift. Также в него был внесён ряд изменений, благодаря которым процесс создания трёхмерных произведений искусства должен стать максимально увлекательным. Tilt Brush вышло на HTC Vive ещё в апреле прошлого года — с тех пор с помощью него было создано множество впечатляющих работ.

Для того чтобы использовать Tilt Brush через Oculus Rift, придётся подключить к устройству контроллер Oculus Touch стоимостью в $200. Как сообщает сайт Engadget, аксессуар этот невероятно удобен и отзывчив и отлично подходит для всего, что доступно на платформе.

В версию Tilt Brush для Oculus Rift были внесены сразу несколько изменений, необходимых для удобного использования приложения в шлеме. Первое из них позволяет класть палец на кнопку Oculus Touch и просматривать все функции, доступ к которым обеспечивает контроллер. Второе нововведение — возможность поворачивать и изменять размер произведений искусства в режиме реального времени. Третье изменение — это то, что каждый доступный в приложении инструмент теперь имеет соответствующий ему звук, передающийся через встроенные наушники устройства виртуальной реальности.

«Различные кисти создают разные звуковые эффекты, и благодаря наушникам они становятся яркой частью опыта, — написала Google. — Нам очень нравится возможность использовать реактивный режим аудио в наушниках Rift и наблюдать, как штрихи оживают благодаря свету и звуку».

Также недавно Google представила инструментарий Tilt Brush с открытым исходным кодом. Он позволяет художникам через движок Unity добавлять в свои трёхмерные зарисовки анимацию, интерактивные элементы и музыку.

Приложение Google Keep, которое начинало как совершенно обыкновенный сервис для создания заметок, со временем было сильно усовершенствовано: в нём появились расширенный поиск, закладки, оптическое распознавание символов на изображениях и возможности для рисования. Последняя функция была добавлена в версию сервиса для Android более года назад, но теперь она стала доступна и в веб-приложении для Chrome.

9to5Google

Инструменты для рисования в веб-версии Google Keep работают совершенно так же, как и на Android. Начать рисовать можно, либо нажав на кнопку «Новая заметка с рисунком» на панели создания заметок в верхней части приложения, либо зайдя в любую существующую заметку и нажав на элемент «Добавить рисунок» из выпадающего меню.

Откроется пустой лист, который можно расширить на весь экран. Рисовать можно маркером или ручкой — у каждого инструмента по 28 цветов и по шесть размеров пера. Можно также использовать возможности увеличения для более точного рисования и отменять внесённые изменения (а также заново их применять). Среди других возможностей — ластик и инструмент для выделения групп рисунков, которые можно перемещать и, например, уменьшать.

9to5Google

Пока все эти возможности доступны только в приложении из магазина Chrome, в то время как на сайте сервиса они отсутствуют. Особенно полезно нововведение будет для владельцев хромбуков с сенсорными экранами — рисование на них реализовано очень удобно.

Microsoft разрабатывает для сенсорного рабочего пространства Windows Ink ряд интересных функций, и теперь пользователи превью-билда Windows 10 под номером 14951 могут их опробовать. В частности, пользователи последней превью-версии операционной системы для ПК и мобильных устройств теперь могут рисовать и писать через Windows Ink на своих фотографиях. Достаточно просто нажать на кнопку рисования при просмотре картинки в приложении «Фотографии», чтобы вызвать панель рабочего пространства. После этого можно выбрать ручку, карандаш и даже каллиграфическое перо.

Разработчики также создали единый инструмент под названием трафарет, позволяющий быстро рисовать дуги и круги. Более того, в Windows Ink можно сохранять не только финальный продукт, но и сам процесс рисования. Следовательно, делиться с друзьями можно не только разрисованными фотографиями, но и короткими видеороликами.

Помимо новых функций для Windows Ink в последней превью-версии Windows 10 было обновлено приложение «Камера». Были доработаны таймер, ползунок масштабирования и кнопка захвата, стало проще получить доступ к галерее, а также более заметной стала иконка переключения между передней и задней камерами. Пользователи ПК теперь могут нажимать на пробел для захвата изображений.

Также в новом билде инсайдерской версии операционной системы были исправлены некоторые баги. Впрочем, стоит учитывать, что это превью-билд, поэтому возможно возникновения ряда других проблем — как на ПК, так и на мобильных устройствах.

Приложение Microsoft Paint присутствовало в Windows в качестве встроенного с момента выхода Windows 1.0. И хотя в Windows 7 и последующих версиях ведущей операционной системы для ПК программа получала существенные обновления, по сути она оставалась старым-добрым приложением для сохранения скриншотов и минимальной их обработки. В 2013 году компания работала над приложением Fresh Paint, но затем свернула проект.

Любопытно, что рэдмондская корпорация в настоящее время снова трудится над приложением Paint нового поколения. Оно разрабатывается не только с прицелом на Windows 10 и сенсорные экраны, но и в целом принципиально пересмотрено. В Сети появились несколько видео, в том числе любопытный ролик с демонстрацией новых возможностей известной условно бесплатной программы.

В этом видео сообщается, что предварительная версия Paint включает все привычные инструменты, но Microsoft добавила поддержку 3D-объектов — отличный вариант для очков дополненной реальности HoloLens. Пользователи Paint Preview смогут создавать 3D-объекты и аннотировать их. Microsoft предложит пользователям набор маркеров и художественных инструментов для создания объектов, и их раскраски прямо по виртуальной 3D-поверхности.

Все инструменты при этом будут оптимизированы для перьевого и сенсорного ввода, а интерфейс объединит 3D-модели, 2D-рисунки наклейки и целое сообщество, откуда можно загрузить дополнительные 3D-материалы. Не в первый раз появляются сообщения о том, что Microsoft создаёт версию Paint для Windows 10. Скриншоты появлялись ещё в мае, но с тех пор был явно достигнут существенный прогресс. Microsoft, похоже, тестирует ранние версии приложения, а ещё одно видео намекает на скорый публичный запуск:

Любопытно, что появление новых видеороликов Paint совпало с анонсом предстоящего 26 октября специального мероприятия Microsoft в Нью-Йорке, где должны быть представлены новые компьютеры Surface, в том числе ПК-моноблок. Источники The Verge сообщают, что моноблоки будут позиционироваться как инструмент для творческих людей, так что появление удобных приложений для перьевого и сенсорного ввода придётся как нельзя вовремя.

В сентябре 2014 года Google представила игровое приложение Tilt Brush, позволяющее использовать инструменты рисования в виртуальной реальности. По словам разработчиков, оно сочетает глубокий эффект погружения с простотой MS Paint. За прошедшие два года авторы добавили новые внутриигровые инструменты и устроили необычную художественную выставку.

Теперь гораздо больше людей стали обладателями VR-шлемов, и потому настала очередь принципиального улучшения: Google объявила о грядущем многопользовательском режиме. Вполне очевидно предложить нескольким людям собраться в общей цифровой комнате (необязательно находиться рядом), чтобы коллективно разукрасить объёмный холст. Каждый пользователь представлен в виртуальном пространстве висящими в воздухе шлемом и контроллером, которые повторяют движения реального человека. Интересное и простое решение, позволяющее не отвлекаться от цифрового творчества. Можно разукрасить и шлемы друг друга, что добавляет элемент озорства.

В обновлённой Tilt Brush могут появиться и другие новшества, не связанные с многопользовательским режимом, вроде подвижного манекена для нанесения рисунка или возможности создания грубой анимации в стиле зоотропа, прорисовывая кадр за кадром, чтобы при вращении цилиндра получился короткий подвижный рисунок.

Ещё одним новым инструментом станет портальная кисть, использующая камеры HTC Vive, которая позволит посмотреть на реальный мир из VR-окружения через призму визуальных эффектов. Перечисленные режимы могут быть лишь экспериментами и не появиться в Tilt Brush, но, учитывая, что команда работает также над внедрением кистей-эквалайзеров, всё это можно ожидать в грядущем обновлении. Впрочем, дата выхода пока не оглашается.