Нейросети, которые создают оригинальные видео по текстовому описанию, уже существуют. И хотя пока они не в состоянии заменить кинематографистов или мультипликаторов полностью, подвижки в этом направлении уже есть. Disney Research и Rutgers разработали нейросеть, которая может создать грубую раскадровку и видео по текстовому сценарию.

pixabay.com

Как отмечается, система работает с естественным языком, что позволит применять её в ряде областей вроде создания учебных видеороликов. Также эти системы помогут сценаристам визуализировать их идеи. При этом заявлено, что цель — не заменить писателей и художников, а сделать их работу более эффективной и менее утомительной.

Разработчики заявляют, что перевод текста в анимацию является непростой задачей, поскольку данные на входе и выходе не имеют фиксированной структуры. Потому большинство подобных систем не могут обрабатывать сложные предложения. Чтобы обойти ограничения предыдущих подобных программ, разработчики построили модульную нейронную сеть, состоящую из нескольких компонентов. В их число входит модуль обработки естественного языка, модуль разбора сценариев, а также модуль, генерирующий анимацию.

venturebeat.com

Для начала система анализирует текст и переводит сложные предложения в простые. После этого создаётся 3D-анимация. Для работы используется библиотека из 52 анимированных блоков, список которых был расширен до 92 за счёт добавления похожих элементов. Для создания анимации используется игровой движок Unreal Engine, который опирается на предварительно загруженные объекты и модели. Из них система выбирает подходящие элементы и формирует видеоролик.

venturebeat.com

Для обучения системы исследователи составили набор описаний из 996 элементов, взятых из более чем 1000 сценариев с IMDB, SimplyScripts и ScriptORama5. После этого были проведены качественные тесты, в которых 22 участникам довелось оценить 20 анимаций. При этом 68 % сказали, что система создала вполне достойную анимацию на основе входных текстов.

Тем не менее, команда признала, что система не идеальна. Её список действий и объектов не является исчерпывающим, и иногда лексическое упрощение не сопоставляет глаголы с аналогичными анимациями. Исследователи намерены устранить эти недостатки в дальнейшей работе.

Специалисты лаборатории Disney Research, чьим трудам неоднократно посвящались материалы на 3DNews, представили алгоритм для идентификации издаваемого объектом звука. Разработанная система позволяет в случае наличия одной лишь визуализации предмета автоматически подобрать необходимый аудиоряд.

Представленная технология, проще говоря, является некой интерпретацией одной из составляющих «компьютерного зрения», как заявляют сами авторы проекта. Если существующие сегодня программные комплексы способны распознать тип/вид/категорию объекта, попавшего в кадр, то проект Disney Research готов дополнительно снабдить видео звуковой дорожкой.

Необходимую аудиоассоциацию, которая лежит в основе рассматриваемой технологии, обеспечивает условный «искусственный интеллект», который специалисты Disney Research обучали по специальной методике. Для этой цели брался большой архив видеозаписей с центральным объектом, подлежащим распознаванию. При этом на записи присутствовал посторонний фон, который должен был сбить алгоритм с толку.

В последнее время наблюдается настоящий бум беспилотных летательных аппаратов, которые отодвинули на задний план игрушечные радиоуправляемые автомобили. Да и кому понравится игрушка, чье движение ограничено земной поверхностью? Возможно, положение исправит новая роботизированная машина, над которой работает Disney.

Новый робот получил название VertiGo. Он создан совместным предприятием компаний Disney Research и ETH Zurich. Представленный на суд общественности аппарат является прототипом, поэтому его внешний облик пока не отличается изысканностью. Тем не менее, VertiGo умеет делать то, что пока недоступно другим радиоуправляемым игрушечным автомобилям — он уверенно передвигается по стенам.

В чём секрет его способности с лёгкостью преодолевать силы гравитации? Это делается тем же способом, который позволяет дрону зависать в воздухе. Благодаря паре воздушных винтов с изменяемым наклоном оси вращения он будто бы «приклеивается» к стене. Это позволяет VertiGo с лёгкостью передвигаться по вертикальной поверхности, где любой другой автомобиль просто упал бы на землю.

На видео демонстрируется как VertiGo буквально въезжает на стену. Пока не известно, когда можно будет увидеть воплощение прототипа в потребительском продукте, хотя хочется надеяться, что ждать этого момента придётся недолго.

Инженеры из научно-исследовательской лаборатории Disney Research совместно со специалистами Университета Карнеги-Меллон анонсировали оригинальную акустическую насадку — компактный пластиковый аксессуар, предназначенный для управления мобильным телефоном. Устройство получило название «акуструмент» («acoustrument»), а в основе его работы лежит контроль смартфона посредством регулировки высокочастотного звукового сигнала.

www.disneyresearch.com

Специальное ПО для смартфона непрерывно генерирует звук в диапазоне от 16,5 кГц до 22,05 кГц, излучаемый через динамик и улавливаемый встроенным в смартфон микрофоном. Конструкция акуструмента представляет собой U-образную пластиковую трубку, которая вклинивается в передающийся сигнал с динамика на микрофон и вносит в него корректировки в соответствии с произведённым действием. Для аналогии можно привести пример с блокфлейтой, где необходимая высота звука (нота) достигается за счёт того, что музыкант прикрывает пальцем специальные отверстия. Также и с акуструментом: изменения высокочастотного звука, которые станут откликом на ваши нажатия и другие виды физического воздействия с пластиковым аксессуаром, фиксируются микрофоном и распознаются программным обеспечением в качестве сигналов управления, заставляя реагировать устройство уже в цифровом формате.

С помощью устанавливаемых на акуструменте дополнительных приспособлений — миниатюрных колёсиков и регуляторов — можно превратить акустическую насадку в датчик, способный распознавать не просто касания, но и нажатие с определённым усилием. Таким образом, акуструмент станет своеобразным аналогом привычного тачпада. Каждое взаимодействие с ним будет находить отражение на экране смартфона без необходимости предварительно устанавливать подключение по Wi-Fi, Bluetooth или проводным способом. Человек, учитывая заявленный частотный диапазон, практически не услышит (или не услышит вовсе) генерируемые для управления смартфоном сигналы. К тому же сам акуструмент является закрытой акустической системой, что позволяет избежать и лишнего шума от него самого, и ошибок из-за шума внешней среды.

Суть разработки заключается в предоставлении альтернативного и более удобного, по мнению авторов, способа управления мобильными гаджетами за счёт интеграции акустических насадок в различные подставки и чехлы с набором дополнительных «горячих» кнопок, которые обеспечат быстрый доступ к той или иной функции.

mashable.com

Отключения будильника iPhone нажатием на кнопку, интегрированную в док-станцию на основе акуструмента

Как вариант, акуструмент можно превратить в чехол для смартфона, не требующего элементов питания и подключения к телефону, но обладающего возможностью отправлять высокочастотные команды для доступа к ряду опций. За счёт аналоговой конструкции достаточно будет сдавить рукой чехол, чтобы акуструмент вклинился в передачу высокочастотного сигнала и изменил его, а программа могла идентифицировать текущее действие со смартфоном и активировать нужную функцию.

Стоит отметить, что на данный момент о коммерческом применении акуструментов пока речи не идёт. Однако сами авторы проекта видят своё детище не только в качестве контроллера для смартфона, но также не исключают вариант задействования аксессуара в различных гаджетах вплоть до технологичных детских игрушках. Ключевым преимуществом устройства является универсальность и низкая стоимость изготовления.

www.disneyresearch.com

www.disneyresearch.com

И раз уж речь зашла об игрушках, то нельзя не упомянуть, что Disney Research на днях представила ещё одно изобретение — уникальный 3D-принтер, печатающий объёмные мягкие игрушки. В его основе лежит использование в качестве расходного материала до двух видов тканей, контуры трёхмерной фигуры из которых вырезаются при помощи лазера и накладываются друг на друга слоями.

Снимать лишний материал приходится пока что вручную, зато готовые фрагменты автоматически склеиваются 3D-принтером в нужных точках за счёт специального термоклея, позволяя изделию оставаться мягким и гибким.

Правда, несмотря на то, что игрушка хоть и кажется тактильно похожей на изготавливаемый привычным способом аналог, выглядит она не слишком уж привлекательной ни для взрослого, ни тем более для ребёнка.

Вращающийся волчок — одна из наиболее старых и простых на первый взгляд игрушек в истории человечества. Однако это вовсе не означает, что её невозможно развивать. По крайней мере, специалисты Disney Research представили новый алгоритм, который позволяет проектировать стабильно вращающиеся волчки практически любых формы.

Технология автоматически модифицирует внутреннюю часть 3D-объекта так, чтобы полости формировали центр масс, оптимизированный для стабильного вращения. Благодаря этому методу исследователи смогли при помощи 3D-печати создавать устойчивые волчки, например, в форме чайника, асимметрического эллипсоида или даже фигурок танцующих животных.

Аналогичным способом можно печатать на 3D-принтере игрушки йо-йо причудливых форм. На представленном видеоролике исследователи демонстрируют сравнительное поведение при вращении обычных цельных 3D-фигур и фигур с особыми полостями внутри, созданными по новой технологии. Там же можно увидеть принцип оптимизации 3D-объектов.

И хотя идея вращающихся волчков самых разных форм любопытна сама по себе, исследование может использоваться и для более практических целей. Разработчики отмечают, что алгоритм полезен в создании хорошо сбалансированных объектов. Такая технология в перспективе может применяться в производстве более стабильных механических структур, в робототехнике и аниматронике. Но даже если этого не случится, можно почти с уверенностью сказать, что в «Диснейлендах» появится больше забавных вращающихся сувениров.

В Disney работают специалисты, которые отлично разбираются в разного рода «чудесах». Они могут легко превратить обычную тыквы в карету или бумагу в генератор. Причем бумага, способная производить слабый электрически разряд, — не фантазия мультипликаторов, а реальная разработка Disney Research.

Состоит такая бумага из тефлоновой пластины, которая выполняет роль электрета, полиэстера с серебряным покрытием (или простой бумаги с проводящими чернилами) и обычных проводов. Энергии, которую генерирует такая бумага, хватает для того, чтобы питать небольшой светодиодный массив. Также можно создавать простые анимации на электронной бумаге или подключенном компьютере.

В этом нет никакой магии — чистая наука. Применять данную технологию можно в интерактивных книгах или детских игрушках, в том числе и развивающих. Впрочем, пока разработка Disney Research применения в реальных продуктах не нашла. Но учитывая ее дешевизну и простоту, можно ожидать, что появится какой-нибудь предприимчивый бизнесмен, который сможет придумать, где такую бумагу можно использовать.

Исследователи из Disney Research разработали устройство, получившее название AIREAL, которое позволяет создавать тактильную обратную связь с помощью потоков воздуха.

Технологии, позволяющие управлять устройствами с помощью жестов, развиваются стремительно, то, что вчера казалось фантастикой, сегодня уже коммерческий продукт. В скором времени распознавать жесты смогут не только продвинутые телевизоры и игровые приставки, но и самые обычные ноутбуки. Однако в управлении жестами была одна нерешенная проблема, а именно — отсутствие обратной связи.

В Disney Research предложили изящное решение проблемы. Использую устройство, состоящее из отпечатанных на 3D-принтере компонентов, которое также отслеживает движения рук пользователя и создает направленные потоки воздуха, удалось обеспечить обратную связь. В лабораториях Disney Research система показала свою работоспособность, так что не исключено, что в скором времени появится коммерческий продукт.

Разработчики из Disney Research создали аниматронного робота, который довольно живо способен ловить цветные мячики, которые ему бросают люди. Робот следит за летящим мячом глазами, ловит его рукой, кидает в ответ человеку на расстояние в 2,5 метра, умеет жонглировать в паре с человеком. Исследователи даже реализовали реакцию для тех случаев, когда роботу не удаётся словить мячик — он пожимает плечами, опускает голову и так далее.

Для отслеживания мячиков используется внешняя систем камер (ASUS Xtion PRO LIVE), а также алгоритм предсказания того, где и когда шарик окажется. Движения робота в процессе игры иногда действительно напоминает человека. Создан он для парков развлечений, но, наверняка, когда-то более развитые подобные системы появятся и дома — для пряток с детьми или выгуливания собак.

Подобные роботы обычно устанавливаются в парках развлечений так, чтобы исключить в целях безопасности посетителей физическое взаимодействие с ними. Однако бросание и ловля объектов — одно из тех взаимодействий, которое позволяет сохранять нужную по отношению к посетителям дистанцию.

Материалы по теме:

• Honda построила робота с тонким слухом;
• Мозго-компьютерный интерфейс управляет человекоподобным роботом;
• Робот-охранник PatrolBot Mark II обливает непрошенных гостей водой;
• Немецкий робот учится настольному теннису у людей.

Источник:

• popsci.com

Сенсорные дисплеи используются теперь повсеместно, однако их потенциальные возможности еще долго не будут раскрыты полностью. Инженеры исследовательского подразделения Disney Research разработали технологию, благодаря которой сенсорные дисплеи емкостного типа не только распознают координаты точки, которой касается пользователь, но и отличают одного пользователя от другого.

Вместо того, чтобы вносить какие-то кардинальные модификации в устройство тачскрина, инженеры Disney Research исследовали закономерности взаимодействия человеческого тела и сенсорной панели. Они отследили изменения импеданса кончиков пальцев в зависимости от частоты переменного тока, это относительно легко делается при помощи емкостного экрана. Как оказалось, для каждого человека получается собственная уникальная схема, которая зависит от размеров и других характеристик тела, одежды, которая в настоящий момент на человеке, и даже от его обуви.

Ученые испробовали свою идею на трех приложениях: простенькой игре для двух пользователей; элементарной многопользовательской «рисовалке», где каждый выбирает на палитре свой цвет; а также на концептуальном приложении, которое записывает историю действий каждого, кто вносит изменения в документ, чтобы можно было отменять правку только одного пользователя, сохраняя историю второго. При этом разработчики отмечают, что каждый раз перед запуском подобного приложения необходимо производить калибровку, по результатам которой для участников создаются собственные временные профили с персональными характеристиками.

Материалы по теме:

• Disney меняет представление о сенсорных технологиях;
• Disney способна скопировать лицо человека и его эмоции в виде робота;
• Disney сообщила о выпуске собственных Android-смартфонов.

Источник:

• disneyresearch.com