Специалисты Корнеллского колледжа вычислительной техники и информационных наук имени Энн С. Бауэрс представили инструмент программирования на основе распознавания рукописного текста. Мостиком между рукописной и текстовой частью служит алгоритм машинного обучения, который связывает одно с другим и отчасти позволяет программировать на интуитивном уровне. Сделанные от руки графики и диаграммы транслируются в машинный код и встраиваются в программу.

Источник изображения: cornell.edu

«Интерфейс на основе пера, названный Notate, позволяет пользователям вычислительных цифровых блокнотов — таких как блокноты Jupyter, которые базируются в интернете и являются интерактивными — открывать поля для рисования и писать диаграммы от руки в строках традиционного оцифрованного компьютерного кода», — сказано в пресс-релизе университета.

Рукописный и текстовый контексты программирования собирает модель глубокого машинного обучения. В одном из примеров пользователи рисовали схемы квантовых цепей на полях кода блокнота Jupyter, а ИИ связывал рисунки с набранным программным кодом. Связь осуществляется в обоих направлениях: как рукописного текста с набранным кодом, так и в обратном порядке.

«Подобная система отлично подошла бы для науки о данных, в частности, для создания графиков и диаграмм, которые затем взаимодействуют с текстовым кодом, — сказал один из авторов проекта. — Наша работа показывает, что нынешняя инфраструктура программирования фактически сдерживает нас. Люди готовы к таким возможностям, а разработчики интерфейсов для набора кода должны принять это к сведению и поддерживать изображения и графические интерфейсы внутри кода».

С прошлого года одной из точек роста компании E Ink заявлены электронные блокноты с поддержкой рукописного ввода. И всё бы ничего, только электронная «бумага» E Ink отличается низкой скоростью обновления экрана, что также может приводить к задержкам изображения при вводе текста с помощью пера. Сгладить этот недостаток в будущих продуктах партнёров компании поможет новый контроллер E Ink T1000.

По данным источников, первым устройством с контроллером E Ink T1000 станет электронный блокнот для рукописных заметок, набросков и работы с электронными текстами производства китайской компании iFlytek или Migu iFlytek. Утверждается, что благодаря чипу E Ink T1000 задержка перьевого ввода составит всего около 30 мс.

Следует сказать, что визуально задержка отображения ввода пером на экранах устройств с экранами E Ink сильно зависит от модели, прошивки и операционной системы, установленной на электронную книгу или блокнот. Можно рассчитывать, что применение новой схемотехники E Ink снизит вероятность отрицательного опыта при пользовании пером в будущих продуктах с электрофоретическими дисплеями. Особенно это важно с позиций акцента компании на электронные блокноты, значительная часть работы с которыми будет заключаться как раз в работе с пером.

Чип E Ink T1000 представляет собой микросхему синхронизации со стандартным интерфейсом MIPI DSI, но оптимизированную для сигнальной структуры электрофоретических экранов E Ink. Чип руководствуется уникальным алгоритмом, который не зависит от программной оболочки электронного устройства (Android, Windows, Linux и так далее) и в целом упрощает процедуры, необходимые для обработки сигналов от пера.

Хотя эта функция востребована немногими пользователями, всё же модуль Google Handwriting Input для клавиатуры Gboard позволяет набирать текст на мобильных устройствах с помощью рукописного ввода. Это полезно, например, при использовании цифрового пера. К моменту запуска в 2015 году функция работала с 82 языками, а за прошлый год их количество превысило сотню. Продолжая совершенствовать распознавание рукописного текста, наиболее заметного результата Google добилась с помощью машинного обучения.

В первоначальном подходе Google строка разбивалась на отдельные письменные символы, каждый из которых ассоциировался с несколькими вариантами подходящих букв, а затем подбирались наиболее вероятные слова. Теперь же происходит анализ последовательности ключевых точек с учётом временных меток и штрихов между ними, которая затем нормализируется и преобразуется в кубические кривые Безье. Этот процесс декодирования символов предоставляет вводные данные для многослойной рекуррентной нейронной сети (RNN). Экспериментируя с различными типами RNN, разработчики Google остановились на квазирекуррентных нейронных сетях (QRNN). Они обеспечивают лучшие результаты прогнозирования, что становится возможным благодаря чередованию свёрточных и рекуррентных слоёв.

Рекуррентная нейронная сеть создает матрицу, в которой каждый столбец соответствует одной входной кривой, а каждая строка соответствует букве в алфавите. Столбец для конкретной кривой можно рассматривать как распределение вероятностей по всем буквам алфавита (яркость ячейки соответствует степени вероятности). Однако каждая буква может состоять из нескольких кривых. Например, g и o на приведённом изображении состоят из четырёх и трёх кривых соответственно. Распознаватель на основе QRNN преобразует последовательность кривых в последовательность вероятностей символов. В матрице декодера встречаются в основном пробелы и яркие точки для символов «g» и «o», в результате чего выводится текст «go».

Новый подход позволил существенно, на 20–40 %, уменьшить количество ошибок при распознавании рукописного текста. Но для обеспечения удобного пользовательского окружения недостаточно добиться точной работы, её нужно сделать ещё и быстрой. Поэтому разработчики сконвертировали обученные в TensorFlow модели в модели TensorFlow Lite, вчетверо сократив нагрузку, и достигли минимальных задержек в клавиатуре Gboard при исполнении всех задач на самом мобильном устройстве.

Японское подразделение компании Google активно трудится, чтобы сделать ввод иероглифов наиболее простым, удобным и интуитивным. Gboard для Android и iOS непрестанно совершенствует методы ввода с помощью сенсорных дисплеев, но порой физическую клавиатуру не заменить ничем. К счастью, прогресс не стоит на месте, и Google решила усовершенствовать аппаратную клавиатуру.

Японцы пошли дальше простой реализации собственной классической клавиатуры, в которой для быстрой печати нужно запоминать расположение клавиш. Компания изобрела новый метод, позволяющий осуществлять рукописный ввод прямо на физической клавиатуре, поверх обычных клавиш с помощью специального устройства.

Чтобы привычная для пользователя USB-клавиатура получила сенсорные возможности, необходимо просто подключить её к небольшому устройству GBoard. Дополнительный плюс состоит в том, что аксессуар подключается к компьютеру, смартфону или планшету посредством Bluetooth 2.1. После этого пользователь может вводить буквы или японские иероглифы пальцем по клавишам.

С помощью машинного обучения алгоритмы GBoard постоянно улучшаются и подстраиваются под каждую отдельную клавиатуру и пользователя. По словам разработчиков, очень сложно транслировать нажатия кнопок в сенсорный ввод букв, но ИИ творит настоящие чудеса, и результат действительно впечатляет (Google даже утверждает, что отныне на физических клавиатурах нет нужды подписывать буквы):

Принцип рукописного набора японских иероглифов на обычной клавиатуре можно опробовать с помощью упрощённого программного алгоритма, доступного на официальном сайте (необходимо включить английскую раскладку). Компания отмечает, что в будущем планирует развивать технологию, добавляя поддержку сенсорного рукописного ввода в кнопочные телефоны, счёты и даже кукурузные початки — возможности почти безграничны.

Японская компания NEXX анонсировала любопытную новинку: сенсорную панель Boogie Board Write2Go, предназначенную для рукописного ввода текста и простых рисунков; она явно нацелена на применение в офисных приложениях. Стоит она примерно $115, что сопоставимо с моделями планшетов Wacom начального уровня, но суть Write2Go — в лёгкости интеграции в существующую программную экосистему, в то время как продукты Wacom предназначены, главным образом, для использования в графических приложениях и системах CAD/CAM.

Устройство, оснащённое пятидюймовой сенсорной панелью, можно использовать для рукописного ввода буквально везде: от Facebook*, Word и Excel до практически любых программ обмена сообщениями, вроде Skype, QQ, WhatsApp, Viber, а также офисных приложений OneNote. Скорее, трудно будет назвать приложение, с которым Write2Go несовместим. Ну и традиционно имеется функция записи привычных многим «жёлтых клейких бумажек» с возможностью напоминания в нужное время.

Эти «бумажки» могут быть любых цветов, их можно сортировать по категориям и импортировать в календари Google и Outlook. Ещё одна сфера использования устройства: панель для подписи важных электронных документов. Функция распознавания письменности, которой наделено устройство, работает не только с японским языком, как можно было бы предположить, но и с английским и обоими главными диалектами китайского, причём работает она в реальном времени, а система способна обучаться на ошибках. Габариты устройства 136 × 125 × 16,7 миллиметров, вес 100 граммов.

* Внесена в перечень общественных объединений и религиозных организаций, в отношении которых судом принято вступившее в законную силу решение о ликвидации или запрете деятельности по основаниям, предусмотренным Федеральным законом от 25.07.2002 № 114-ФЗ «О противодействии экстремистской деятельности».

Управление США по патентам и торговым маркам выдало компании Apple патент №8,922,530 от 30 декабря 2014 года на «Коммуникационный стилус» (Communicating stylus).

Речь идёт об «умной» электронной ручке, позволяющей преобразовывать сделанные, скажем, на бумаге рисунки и надписи в цифровой вид. Разумеется, подобные устройства уже существуют — достаточно вспомнить ручку Livescribe. Новая разработка, по задумке «яблочной» компании, будет отличаться от существующих продуктов конструкцией.

В частности, для отслеживания положения ручки в пространстве и её перемещений предлагается задействовать несколько высокоточных акселерометров. Пользователи смогут писать на бумаге или презентационных досках.

Активация гаджета может осуществляться несколькими способами: по сигналу от интегрированных датчиков, при прикосновении к рабочей поверхности, при снятии с док-станции и посредством кнопки включения.

Интегрированный адаптер беспроводной связи позволит передавать оцифрованную графическую информацию на одно или несколько компьютерных устройств. Кроме того, ручка получит встроенную память для накопления информации с целью последующей синхронизации. Это позволит экономить заряд аккумулятора.

Устройство может быть оснащено различными наконечниками — для рисования чернилами или грифелем. Кроме того, могут присутствовать дополнительные датчики, расширяющие функциональность.

О сроках практической реализации запатентованной разработки ничего не сообщается.

В прошлом месяце Microsoft впервые обратила внимание на платформу Android Wear, представив специальную версию приложения OneNote для умных часов на платформе Google. Теперь компания решила продолжить поддержку этой относительно новой мобильной платформы, представив новую достаточно интересную мобильную клавиатуру.

Пока продукт, называемый в Microsoft «аналоговой клавиатурой», находится в стадии прототипа — он позволяет вводить текст при помощи рукописного ввода букв на экране наручных часов. Клавиатура совместима только с Samsung Gear Live (квадратный экран, 320×320) и Moto 360 (круглый дисплей, 320×290) — другие устройства не поддерживаются. Стоит отметить, что пользователь может рисовать помимо английских букв также специальные символы и цифры.

Идея клавиатуры на наручных часах малопривлекательна. Несмотря на то, что некоторые компании вроде Minuum и пытаются сделать их удобными, голосовой ввод всё же гораздо проще в работе. Не зря Google не выпустила собственной программной клавиатуры для платформы Android Wear.

Кстати, распознавание рукописных символов на экране наручных часов — не новинка. Ещё в 1984 году Casio продавала часы-калькулятор AT-550 с ёмкостным сенсорным дисплеем и поддержкой распознавания рукописных цифр и математических символов. Затем эта технология на долгое время ушла с рынка (часы-калькуляторы просто вышли из моды), но теперь, спустя 30 лет, специалисты Microsoft решили пересмотреть идею на новом витке развития носимой электроники.

Тем не менее, иногда программная клавиатура, пусть и на совсем мелком экране, может пригодиться: в конце концов, есть ситуации, когда отдавать голосовые команды своим наручным часам весьма неудобно. Чтобы написать короткий ответ на SMS или отдать команду поиска, клавиатура от Microsoft Research может быть весьма полезной. Альфа-версия приложения уже доступна для скачивания и установки, но владельцам Moto 360 следует внимательно следовать инструкции — отсутствие порта USB усложняет процесс установки.

Франсуа Бофорт (François Beaufort), один из разработчиков компании Google, опубликовал запись в ленте своего аккаунта социальной сети Google+ о начале тестирования новой возможности в составе операционной системы Chrome OS — распознавания рукописного ввода.

Функция носит экспериментальный характер и на текущий момент доступна лишь в сборке Chrome OS для разработчиков (Dev Channel). Для её активации необходимо перейти в раздел настроек специальных возможностей и поставить галочку напротив соответствующего пункта, после чего кнопка с включением рукописного ввода появится в экранной клавиатуре. Следует отметить, что работоспособность рукописного ввода обеспечивается интерфейсом программирования (API) Google Input Tools, поэтому для её использования потребуется активное интернет-подключение.

Напомним, функция распознавания рукописного ввода позволяет вводить текст без необходимости его набора на клавиатуре и поддерживает тачпады, а также устройства с сенсорными экранами. Учитывая отсутствие на рынке подобных устройств под управлением Chrome OS, можно предположить, что внедрение в ОС функций, заточенных именно под применение в паре с сенсорными дисплеями — один из признаков скорого появления планшета с Chrome OS на борту.

8 августа японская корпорация Sharp начнёт продажи электронного блокнота WG-N20. Новинка придёт на смену модели WG-N10, которая, как утверждается, оказалась настолько успешной, что было принято решение о её дальнейшем развитии.

Устройство WG-N20 оснащено экономичным монохромным ЖК-дисплеем с диагональю 6 дюймов. Разрешение составляет 600х800 пикселей (SVGA). При помощи входящего в комплект поставки пера можно делать рукописные заметки или рисовать. Встроенной памяти хватит для хранения 2 000 страниц (против 1 000 у оригинальной версии). В качестве фона можно выбрать пустой или разлинованный определённым образом лист.

Аккумуляторная батарея на одной подзарядке обеспечивает до 60 часов использования. Для подключения к компьютеру предусмотрен порт microUSB. Устройство весит 210 г, его размеры — 111x155x9,9 мм.

Приобрести электронный блокнот WG-N20 можно будет по ориентировочной цене в 150 долларов.

Функция Google Handwrite была запущена в прошлом году и позволила пользователям осуществлять поиск информации в Google Search, просто нарисовав слово на сенсорном экране смартфона или планшета. Рукописный ввод поискового запроса оказался довольно популярным среди жителей азиатских стран, тем не менее, некоторые из них жаловались на то, что система не всегда правильно распознает иероглифы.

По словам разработчиков, обновленная версия Google Handwrite получила ряд улучшений и теперь лучше распознает символы. Также в нее была интегрирована функция корректировки, позволяющая пользователю в случае ошибки указать на символ, который он хотел написать. Так, например, если человек нарисовал на экране букву «Z», а система распознала ее как цифру «2», пользователь может выбрать правильный вариант в выпадающем меню.

Помимо прочего, компания Google решила проблему с написанием символов на смартфонах с небольшими экранами. Теперь система сможет распознать букву даже в том случае, если в процессе написания она будет соприкасаться с другой. Наконец, если прежде жители азиатских стран могли вводить только по одному иероглифу за раз, то теперь Google Handwrite сможет обрабатывать сразу несколько символов одновременно.

Чтобы активировать функцию Google Handwrite, напомним, достаточно зайти со смартфона или планшетного компьютера на сайт google.com, а затем включить рукописный ввод в меню настроек. После перезагрузки страницы в нижнем правом углу появится значок со строчной буквой «g».

Материалы по теме:

• Google приветствует запуск дешёвых планшетов от ASUS и Acer;
• Господство Google угрожает конфиденциальности и свободному выбору;
• Google внедрит в Chrome инструмент безопасности, аналогичный Windows UAC.

Источник:

• slashgear.com