Специалисты Корнеллского колледжа вычислительной техники и информационных наук имени Энн С. Бауэрс представили инструмент программирования на основе распознавания рукописного текста. Мостиком между рукописной и текстовой частью служит алгоритм машинного обучения, который связывает одно с другим и отчасти позволяет программировать на интуитивном уровне. Сделанные от руки графики и диаграммы транслируются в машинный код и встраиваются в программу.

Источник изображения: cornell.edu

«Интерфейс на основе пера, названный Notate, позволяет пользователям вычислительных цифровых блокнотов — таких как блокноты Jupyter, которые базируются в интернете и являются интерактивными — открывать поля для рисования и писать диаграммы от руки в строках традиционного оцифрованного компьютерного кода», — сказано в пресс-релизе университета.

Рукописный и текстовый контексты программирования собирает модель глубокого машинного обучения. В одном из примеров пользователи рисовали схемы квантовых цепей на полях кода блокнота Jupyter, а ИИ связывал рисунки с набранным программным кодом. Связь осуществляется в обоих направлениях: как рукописного текста с набранным кодом, так и в обратном порядке.

«Подобная система отлично подошла бы для науки о данных, в частности, для создания графиков и диаграмм, которые затем взаимодействуют с текстовым кодом, — сказал один из авторов проекта. — Наша работа показывает, что нынешняя инфраструктура программирования фактически сдерживает нас. Люди готовы к таким возможностям, а разработчики интерфейсов для набора кода должны принять это к сведению и поддерживать изображения и графические интерфейсы внутри кода».

Согласно недавно опубликованной патентной заявке, Apple исследует возможность создания клавиатуры для MacBook со съёмной клавишей, которая может использоваться в качестве точного манипулятора, своеобразной замены компьютерной мыши.

macrumors.com

В патентной заявке описывается стандартная клавиатура MacBook с ножничным механизмом нажатия клавиш и одной легкосъёмной кнопкой. Она будет содержать датчик положения, благодаря чему сможет использоваться в качестве указательного устройства. Apple описывает свою разработку как «удобное, портативное и высокоточное устройство ввода для компьютерных систем».

В документации поясняется, что для некоторых задач, таких как графический дизайн, компьютерное моделирование и редактирование больших сложных документов, подобная портативная мышь подходит лучше, чем тачпад. Всё же, ношение вместе с ноутбуком отдельной мыши может быть обременительным, а новое изобретение Apple решит эту проблему.

macrumors.com

Компания описала ряд вариантов установки и отделения кнопки-мыши от клавиатуры, включая выдвижной и защёлкивающийся механизмы. Сама клавиша будет содержать крошечную батарею и сможет подзаряжаться, будучи подключённой к клавиатуре.

Патент не может служить доказательством того, что Apple выпустит подобное устройство в ближайшее время. Тем не менее, он указывает на сферы, представляющие интерес для компании.

Одной из самых молодых компаний, основанных Илоном Маском (Elon Musk), остаётся Neuralink, которая разрабатывает методы взаимодействия между человеческим мозгом и компьютерными системами управления, включая мозговые импланты. На этой неделе Neuralink сообщила, что третий раунд привлечения капитала позволил ей получить от инвесторов ещё $205 млн на развитие.

Источник изображения: Vy Capital

Среди немногочисленных, но активно появляющихся конкурентов это крупнейшее привлечение капитала, как поясняет Bloomberg. Сама Neuralink в рамках предыдущего раунда привлекла $51 млн пару лет назад. Среди реальных успехов молодой компании — вживление имплантов в мозг свиньи и макаки. Последняя смогла силой мысли управлять виртуальной ракеткой в компьютерной игре, напоминающей пинг-понг. В перспективе Neuralink намеревается начать испытания своих имплантов на людях, нуждающихся в реабилитации после травм позвоночника или других нарушений моторных функций. Кроме того, Маск убеждён, что при помощи создаваемого компанией интерфейса даже пострадавшие от паралича люди смогут взаимодействовать со смартфоном и компьютером быстрее людей без подобных проблем со здоровьем.

Первое серийное изделие компании уже получило наименование N1 Link. Разработчики надеются, что этот имплант с 1024 каналами для передачи информации можно будет интегрировать в черепную коробку человека и подзаряжать беспроводным способом. Недавний раунд привлечения инвестиций возглавил базирующийся в ОАЭ венчурный фонд Vy Capital, компанию ему составили Google Ventures, DFJ Growth, Valor Equity Partners, Craft Ventures, Founders Fund и Gigafund, а также ряд индивидуальных инвесторов. Neuralink направит полученные средства на подготовку к коммерциализации своего первого продукта и разработку последующих.

Компания Elgato, являющаяся подразделением Corsair, анонсировала новый аксессуар для стримеров и видеоблогеров: устройство получило название Stream Deck MK.2.

Здесь и ниже изображения Elgato

Гаджет представляет собой специальный контроллер для быстрого выполнения тех или иных действий. Устройство выполнено в виде панели, во фронтальной части которой расположены 15 кнопок в виде матрицы 5 × 3.

Каждая кнопка снабжена миниатюрным дисплеем, изображение на котором изменяется в зависимости от ассоциированной команды или текущего статуса. На этих мини-экранах также может воспроизводиться анимация.

Устройство позволяет быстро запускать нужные приложения, изменять освещение, включать или отключать микрофон, переключать камеры, регулировать уровень громкости и пр.

Доступны плагины для работы с более чем 100 приложениями. Среди них — lgato 4K Capture Utility, Wave Link, Control Center. OBS, Twitch, Twitter, XSplit, YouTube, Spotify. iCue, Philips Hue, LIFX, IFTTT. Zoom, PowerPoint, Keynote, Apple Mail и другие.

Новинка имеет размеры 118 × 84 × 25 мм и весит 145 г. Специальная подставка позволяет располагать панель под удобным углом. Для подключения к компьютеру служит интерфейс USB 2.0. Цена — 150 долларов США.

Китайская компания Xiaomi готовит к выпуску новую беспроводную мышь. Информация о манипуляторе с кодовым обозначением XASB01ME появилась на сайте организации Bluetooth SIG.

Reuters

Известно, что новинка несёт на борту оптический сенсор с разрешающей способностью 4000 DPI (точек на дюйм). Кроме того, упомянуто четырёхнаправленное колесо прокрутки.

На коммерческий рынок мышь выйдет под названием Mi Smart Mouse. Её главной особенностью станет функция голосового ввода. Очевидно, пользователи смогут таким способом вводить текст и отдавать команды.

Говорится о поддержке беспроводной связи Bluetooth 5.0. Наблюдатели также полагают, что устройство сможет обмениваться данными через соединение Wi-Fi. Питание обеспечит аккумуляторная батарея.

Прочая информация о характеристиках манипулятора пока отсутствует. Сертификация Bluetooth SIG означает, что официальная презентация новинки может состояться в ближайшее время.

С прошлого года одной из точек роста компании E Ink заявлены электронные блокноты с поддержкой рукописного ввода. И всё бы ничего, только электронная «бумага» E Ink отличается низкой скоростью обновления экрана, что также может приводить к задержкам изображения при вводе текста с помощью пера. Сгладить этот недостаток в будущих продуктах партнёров компании поможет новый контроллер E Ink T1000.

По данным источников, первым устройством с контроллером E Ink T1000 станет электронный блокнот для рукописных заметок, набросков и работы с электронными текстами производства китайской компании iFlytek или Migu iFlytek. Утверждается, что благодаря чипу E Ink T1000 задержка перьевого ввода составит всего около 30 мс.

Следует сказать, что визуально задержка отображения ввода пером на экранах устройств с экранами E Ink сильно зависит от модели, прошивки и операционной системы, установленной на электронную книгу или блокнот. Можно рассчитывать, что применение новой схемотехники E Ink снизит вероятность отрицательного опыта при пользовании пером в будущих продуктах с электрофоретическими дисплеями. Особенно это важно с позиций акцента компании на электронные блокноты, значительная часть работы с которыми будет заключаться как раз в работе с пером.

Чип E Ink T1000 представляет собой микросхему синхронизации со стандартным интерфейсом MIPI DSI, но оптимизированную для сигнальной структуры электрофоретических экранов E Ink. Чип руководствуется уникальным алгоритмом, который не зависит от программной оболочки электронного устройства (Android, Windows, Linux и так далее) и в целом упрощает процедуры, необходимые для обработки сигналов от пера.

Компания «Яндекс» объявила о запуске новых функций для своего почтового приложения, которые станут доступна всем пользователям устройств, работающих на базе iOS. Функция голосового ввода текста сообщений с сегодняшнего дня может использоваться обладателями продукции Apple. Это означает, что пользователи смогут набирать текст сообщений не вручную, а просто произнося предложения. Приложение осуществляет распознавание речи и переводит её в текст, после чего лишь остаётся указать адресата и отправить послание.

Функция окажется полезной во многих ситуациях, когда заняты руки или неудобно осуществлять ввод текста по каким-то другим причинам. Кроме того, при необходимости к сообщению может быть прикреплена запись голоса, на случай, если в процессе распознавания речи были допущены ошибки. Ещё «Яндекс.Почта» для iOS получает функцию озвучивания входящих сообщений, которая позволяет приложению читать вслух тему и текст письма.

Реализация новых возможностей стала возможна благодаря комплексу Yandex SpeechKit, который объединил в себе технологии распознавания, семантического анализа, синтеза речи и голосовой активации. Комплекс технологий Yandex SpeechKit помимо почтового приложения используется в других сервисах компании, в том числе в поисковике, браузере, картографическом сервисе, навигаторе и др. Кроме того, он может использоваться сторонними компаниями для решения собственных задач.

На данный момент новые функции доступны только части пользователей приложения «Яндекс.Почта» для iOS. Массовое распространение функций займёт некоторое время. Ожидается, что в течение двух недель голосовой набор и озвучивание текста станут доступны всем пользователям приложения.

На сайте Corsair появилась страница с описанием любопытной новинки — контроллера Stream Deck XL, который должен заинтересовать стримеров и видеоблогеров.

Устройство представляет собой специальную панель с 32 кнопками в виде матрицы 8 × 4. Каждая из клавиш снабжена встроенным цветным мини-дисплеем.

Кнопки позволяют быстро активировать выполнение тех или иных функций. Это может быть, скажем, изменение освещения, переключение камеры, регулировка уровня громкости, отключение микрофона и пр.

Сопутствующее программное обеспечение позволяет настраивать панель, присваивая кнопкам те или иные функции. На мини-дисплеях могут отображаться обычные или анимированные пиктограммы.

Поддерживается система «умных» профилей (Smart Profiles). Функции клавиш могут автоматически изменяться в зависимости от используемого в текущий момент приложения.

Для подключения к компьютеру служит проводной интерфейс USB 3.0. Габариты составляют 182 × 112 × 34 мм, вес — 410 граммов.

Приобрести контроллер Stream Deck XL можно по ориентировочной цене 250 долларов США.

Хотя эта функция востребована немногими пользователями, всё же модуль Google Handwriting Input для клавиатуры Gboard позволяет набирать текст на мобильных устройствах с помощью рукописного ввода. Это полезно, например, при использовании цифрового пера. К моменту запуска в 2015 году функция работала с 82 языками, а за прошлый год их количество превысило сотню. Продолжая совершенствовать распознавание рукописного текста, наиболее заметного результата Google добилась с помощью машинного обучения.

В первоначальном подходе Google строка разбивалась на отдельные письменные символы, каждый из которых ассоциировался с несколькими вариантами подходящих букв, а затем подбирались наиболее вероятные слова. Теперь же происходит анализ последовательности ключевых точек с учётом временных меток и штрихов между ними, которая затем нормализируется и преобразуется в кубические кривые Безье. Этот процесс декодирования символов предоставляет вводные данные для многослойной рекуррентной нейронной сети (RNN). Экспериментируя с различными типами RNN, разработчики Google остановились на квазирекуррентных нейронных сетях (QRNN). Они обеспечивают лучшие результаты прогнозирования, что становится возможным благодаря чередованию свёрточных и рекуррентных слоёв.

Рекуррентная нейронная сеть создает матрицу, в которой каждый столбец соответствует одной входной кривой, а каждая строка соответствует букве в алфавите. Столбец для конкретной кривой можно рассматривать как распределение вероятностей по всем буквам алфавита (яркость ячейки соответствует степени вероятности). Однако каждая буква может состоять из нескольких кривых. Например, g и o на приведённом изображении состоят из четырёх и трёх кривых соответственно. Распознаватель на основе QRNN преобразует последовательность кривых в последовательность вероятностей символов. В матрице декодера встречаются в основном пробелы и яркие точки для символов «g» и «o», в результате чего выводится текст «go».

Новый подход позволил существенно, на 20–40 %, уменьшить количество ошибок при распознавании рукописного текста. Но для обеспечения удобного пользовательского окружения недостаточно добиться точной работы, её нужно сделать ещё и быстрой. Поэтому разработчики сконвертировали обученные в TensorFlow модели в модели TensorFlow Lite, вчетверо сократив нагрузку, и достигли минимальных задержек в клавиатуре Gboard при исполнении всех задач на самом мобильном устройстве.

Компания Cherry анонсировала низкопрофильную полноразмерную клавиатуру KC 6000 Slim, которая станет доступна для заказа уже в мае.

Отмечается, что толщина новинки не превышает 15 мм. Внутри корпуса располагается металлическая пластина, благодаря чему обеспечиваются хорошие эксплуатационные характеристики.

В устройстве используются фирменные переключатели SX с ножничной механикой, заявленный срок службы которых превышает 10 млн нажатий. Для подключения к компьютеру служит проводной интерфейс USB; длина кабеля составляет 1,8 метра.

Модель KC 6000 Slim наделана стандартным блоком цифровых кнопок в правой части. Кроме того, имеются дополнительные клавиши для регулировки уровня громкости, приглушения звука, запуска браузера и калькулятора, а также блокировки кнопки Windows.

Новинка будет предлагаться в двух вариантах исполнения: в полностью чёрном цвете и в корпусе серебристого цвета с белыми клавишами. Габариты составляют 440 × 130 × 15 мм, вес — приблизительно 660 граммов.

Приобрести клавиатуру Cherry KC 6000 Slim можно будет по ориентировочной цене 50 долларов США.

Компания Sharkoon представила клавиатуру PureWriter RGB, которая, как утверждается, подходит и для игр, и для набора объёмных текстов.

Новинка относится к механическому типу. Sharkoon предложит модификации с переключателями Kailh Blue и Red, рассчитанными как минимум на 50 млн срабатываний.

Клавиатура наделена RGB-подсветкой с поддержкой 16,8 млн цветовых оттенков. Реализованы различные эффекты; пользователи смогут настраивать до четырёх профилей.

Новинка использует для подключения к компьютеру проводной USB-интерфейс; кабель длиной 1,5 метра снабжён позолоченным коннектором. В комплект поставки также входит короткий 50-сантиметровый кабель.

Функции Anti-Ghosting и N-Key Rollover отвечают за распознавание большого количества одновременно нажатых кнопок. Заявленная частота опроса равна 1000 Гц.

Клавиатура может похвастаться безрамочным исполнением. Габариты составляют 436 × 127 × 35 мм, вес — приблизительно 640 граммов.

Разработчик отмечает, что новинка подходит на все случаи жизни. Клавиатуру можно использовать с настольными ПК и ноутбуками. Относительно небольшие размеры упрощают транспортировку. О цене не сообщается.

Японское подразделение компании Google активно трудится, чтобы сделать ввод иероглифов наиболее простым, удобным и интуитивным. Gboard для Android и iOS непрестанно совершенствует методы ввода с помощью сенсорных дисплеев, но порой физическую клавиатуру не заменить ничем. К счастью, прогресс не стоит на месте, и Google решила усовершенствовать аппаратную клавиатуру.

Японцы пошли дальше простой реализации собственной классической клавиатуры, в которой для быстрой печати нужно запоминать расположение клавиш. Компания изобрела новый метод, позволяющий осуществлять рукописный ввод прямо на физической клавиатуре, поверх обычных клавиш с помощью специального устройства.

Чтобы привычная для пользователя USB-клавиатура получила сенсорные возможности, необходимо просто подключить её к небольшому устройству GBoard. Дополнительный плюс состоит в том, что аксессуар подключается к компьютеру, смартфону или планшету посредством Bluetooth 2.1. После этого пользователь может вводить буквы или японские иероглифы пальцем по клавишам.

С помощью машинного обучения алгоритмы GBoard постоянно улучшаются и подстраиваются под каждую отдельную клавиатуру и пользователя. По словам разработчиков, очень сложно транслировать нажатия кнопок в сенсорный ввод букв, но ИИ творит настоящие чудеса, и результат действительно впечатляет (Google даже утверждает, что отныне на физических клавиатурах нет нужды подписывать буквы):

Принцип рукописного набора японских иероглифов на обычной клавиатуре можно опробовать с помощью упрощённого программного алгоритма, доступного на официальном сайте (необходимо включить английскую раскладку). Компания отмечает, что в будущем планирует развивать технологию, добавляя поддержку сенсорного рукописного ввода в кнопочные телефоны, счёты и даже кукурузные початки — возможности почти безграничны.

Третьей и завершившей презентацию в Шанхае новинкой от Xiaomi оказалась компактная колонка Mi AI Mini. Данное устройство способно не только воспроизводить аудиокомпозиции, но и служить в качестве хаба для голосового управления компонентами «умного» дома от Xiaomi. Кроме того, Mi AI Mini способна:

• вжиться в роль будильника для напоминания о важном событии;
• стать новостным диктором, чтобы оповестить в устной форме о происходящем в мире;
• взяться за чтение книг;
• конвертировать единицы измерений по требованию пользователя;
• просчитывать длительность поездки до заданного пункта назначения с последующим голосовым уведомлением о результате.

«Фишкой» Xiaomi Mi AI Mini станет декламирование аудиокниг и материала, ориентированного на детскую аудиторию, потоковое вещание которых стало возможным благодаря партнёрскому соглашению китайской компании с 27 провайдерами цифрового контента.

В Xiaomi Mi AI Mini установлен 1,5-дюймовый излучатель мощностью всего 2 Вт, так что использовать колонку для организации музыкального сопровождения на вечеринках вряд ли удастся. При этом разработчики мини-акустики решили отказаться от идеи портативности и спроектировали устройство без аккумуляторной батареи, поэтому Mi AI Mini требуется постоянное подключение к источнику питания через кабель «Micro-USB↔USB».

На белоснежном (единственный доступный цвет) корпусе акустической системы расположились кнопки для регулирования уровня громкости, включения/отключения микрофона, а также контроля процесса воспроизведения музыки. Светодиод по центру уведомляет о пребывании динамика в рабочем режиме. Для чёткого распознавания голосовых команд колонка получила четыре встроенных микрофона, расположившихся на верхней грани с органами управления.

Динамик может синхронизироваться со сторонней электроникой по Bluetooth и выходить в Интернет по Wi-Fi. Xiaomi Mi AI Mini совместим со смартфонами/планшетами под управлением Android 4.4+ и iOS 8.0+. В Китае компактная версия акустики от Xiaomi, готовой стать вашим верным слушателем и даже собеседником, будет предлагаться по цене $27. Старт продаж запланирован на 3 апреля 2018 года.

Биометрическая идентификация становится повсеместно распространённым способом защиты персональных данных по нескольким причинам. Прежде всего, распознавание по отпечатку пальца — это простой и одновременно надёжный способ ограничения доступа к информации. Сами же дактилоскопические сканеры перестали быть дорогостоящей опцией и получили повсеместное распространение. Считывать отпечаток пальца научились смартфоны, планшеты, такой особенностью могут похвастаться смарт-замки, «USB-флешки», а теперь и компьютерные мышки. Компания Xiaomi как раз готовится к выпуску необычного устройства ввода, оснащённого дактилоскопическим модулем.

Краудфандинговая площадка Xiaomi приступила к сбору средств на компьютерную мышь, выпуском которой займётся суббренд MIJIA. Классического вида офисный «грызун» вряд ли вызовет интерес у геймерской аудитории, учитывая весьма скромную функциональность новинки. А вот организации, обеспокоенные конфиденциальностью хранящейся у их сотрудников документации, по-достоинству оценят совместное детище Xiaomi и MIJIA. Единственной отличительной чертой рассматриваемого устройства от множества офисных компьютерных мышек, представленных на рынке, стал расположившийся чуть выше колёсика прокрутки дактилоскопический сканер.

Приложив палец к его поверхности пользователь сможет быстро и непринуждённо разблокировать доступ к файлам на своём компьютере. Кроме того, биометрическая идентификация станет удобным способом подтверждения личности при совершении онлайн-платежей и прочих банковских операциях, а также обеспечит быстрый доступ к корпоративной электронной почте и учётным записям на веб-ресурсах.

Мышь получила высокочувствительный оптический датчик с адаптивной регулировкой разрешения сенсора, максимальное значение которого составляет 1600 dpi. По заявлению разработчиков левая и правая клавиши рассчитаны на 5 млн кликов, так что сомневаться в надёжности манипулятора не приходится. Устройство поставляется с сертификатом безопасности Microsoft и поддерживает функцию Windows Hello.

Мышь с дактилоскопическим сканером от Xiaomi/MIJIA будет доступной в трёх цветах. Её стоимость на китайском рынке составит около $31, а запуск продаж намечен на 15 апреля 2018 года.

В продажу поступила оригинальная клавиатура AZIO Retro Classic BT, подходящая для использования с компьютерами под управлением операционных систем Windows и macOS.

Главная особенность устройства — исполнение в ретро-стиле. Клавиатура стилизована под старинную пишущую машинку: она наделена круглыми и овальными клавишами с окантовкой.

В модели Retro Classic BT применены механические переключатели AZIO Typelit Mechanical Switch (Kailh). При этом предусмотрены несколько вариантов исполнения клавиатуры.

Для подключения к компьютеру служит беспроводное соединение Bluetooth. Питание обеспечивает аккумуляторная батарея ёмкостью 6000 мА·ч. Утверждается, что на одной подзарядке новинка может функционировать более года с выключенной подсветкой и один–два месяца со включенной (в зависимости от интенсивности подсветки).

Подзарядка осуществляется через порт USB Type-C. Так что использовать клавиатуру можно и в проводном режиме. Габариты составляют 455 × 147 × 40 мм, вес — 1587 граммов.

Правда, за оригинальность исполнения и поддержку Bluetooth придётся довольно много заплатить: клавиатура предлагается по цене 220 долларов США.