Новая система, разработанная для вычислений тензорной алгебры, может обеспечить возрастание скорости в 100 раз по сравнению с программными пакетами, использовавшимися до этого. Учёные из Массачусетского технологического института (Massachusetts Institute of Technology) создали новую программу, которая автоматически генерирует код, оптимизированный для разреженных данных. Этот процесс ведёт к ускорению обработки больших массивов информации.

cloudnewsdaily.com

Для анализа больших данных необходим целый комплекс процессов. Представим, что коммерческий сетевой ресурс, например, Amazon, пожелает сопоставить каждого своего клиента с каждым представленным товаром, поставив «1», если товар был куплен, и «0» в противном случае. Результатом будет невероятно огромная таблица данных, в основном состоящая из нулей. Это то, что называется разреженными данными. Когда такие данные обрабатываются, алгоритм анализа вынужден постоянно складывать нули и умножать их. Это очевидная трата ресурсов: и времени, и мощности компьютера.

Последнее исследование MIT строится вокруг нового программного продукта, автоматически создающего код, оптимизированный под разреженные данные. Систему, которая это делает, назвали Taco по аббревиатуре для компилятора тензорной алгебры (tensor algebra compiler). Тензор — это многомерный аналог матрицы, а данные, которые необходимо обработать, обычно хранятся в матрицах. Эффективностью метод обязан математическим операциям, проводимым на тензорах, они работают быстрее, чем аналогичные операции с матрицами, если каждой последовательности тензорных операций выделено собственное «ядро» (шаблон расчёта).

Чтобы реализовать эту технологию, необходимо было признать важность анализа больших данных. При запуске Taco программист указывает размер тензора — полного или разреженного — и расположение файла с данными, которые необходимо обработать. В работе Taco использует эффективный механизм индексирования, чтобы хранить только ненулевые значения разреженных тензоров. Для сравнения, массив информации с Amazon с нулевыми значениями будет содержать примерно 107 экзабайт, но с системой сжатия Taco он займёт всего 13 гигабайт, которые можно обработать весьма быстро.

Эта разработка интересна многим бизнесам и университетам. Анализ больших данных позволяет исследователям и коммерческим специалистам быть информированными об интересующих их процессах лучше и быстрее принимать эффективные решения, отбрасывая ненужные или неиспользуемые данные. Применяя сложные технологии анализа, такие как анализ текста, машинное обучение, сбор данных, построение прогнозов, обработку статистики, будет возможно фокусироваться на новых, ранее незамеченных источниках данных, и грамотнее расходовать свои ресурсы.

Холдинг Mail.ru Group совместно с бюро кредитных историй (БКИ) «Эквифакс» создал модель оценки кредитных рисков для российских банков, разработанную с использованием методов машинного обучения Mail.ru Group и базы данных БКИ. Это первый результат работы над бизнес-направлением «большие данные» (Big Data), которое холдинг запустил в январе.

twitter.com

Как рассказали ресурсу «Коммерсантъ» в Mail.ru Group, специалисты двух компаний произвели анализ рынка розничного кредитования, определив сегменты с высоким риском, которых избегают основные игроки. Например, есть люди, которым по каким-то формальным причинам (несоответствие параметрам банка, кредитная история и т. д.) не был выдан кредит. И хотя это не говорит напрямую об отрицательных факторах для кредитования, банки стараются минимизировать выдачу кредита в этом сегменте. «Наша модель позволяет среди них выявлять качественных заемщиков», — говорит представитель холдинга.

По расчетам Mail.ru Group, использование сервиса даст банкам «десятикратную экономию на рисках». У холдинга уже есть клиенты, пользующиеся новым сервисом, но их имена и стоимость услуги не раскрываются.

В среднем у банков «плохих» заемщиков — 10–15 %, говорит Сергей Скрипников из Фонда развития интернет-инициатив (его портфельный проект Scorista использует 7 тыс. параметров для скоринга высокорисковых заемщиков в микрофинансовых организациях). По его мнению, если продукт Mail.ru Group позволит снизить эти цифры хотя бы на несколько процентов, банки заинтересуются сотрудничеством с холдингом.

Немецкий производитель программного обеспечения SAP и подразделение Яндекса Yandex data factory (YDF), занимающееся аналитикой больших массивов данных, совместно займутся разработкой облачных сервисов предсказательной аналитики.

Партнёры хотят предложить сервис, который бы позволял компаниям делать персональные предложения своим клиентам, прогнозировать их уход и давать рекомендации по удержанию клиентов. Планируется, что система будет работать на платформе SAP HANA. При этом стоимость своего проекта стороны не раскрывают, но, по подсчётам экспертов, он может оказаться весьма затратным.

SAP и YDF обещают снизить затраты на приобретение новых и удержание старых клиентов на 10 %. Представитель SAP Татьяна Зверева уточнила, что затраты компании на старт совместной программы составят несколько сотен тысяч евро. YDF о размере своих инвестиций умалчивает.

Разрабатываемый сервис нацелен прежде всего на компании потребительского рынка — ретейл, интернет-торговля, банки и телекоммуникации. Такой бизнес накопил достаточно данных о действиях клиентов, без чего невозможно пользоваться аналитикой YDF. Яндекс расcчитывает, что партнёрство с SAP обеспечит решениям YDF необходимую интеграцию со средствами автоматизации бизнеса (ERP, CRM и т. д.), что, в свою очередь, позволит предлагать клиентам предсказательную аналитику без дополнительных затрат.

По данным Transparency Market Research, в 2012 г. мировой рынок предсказательной аналитики оценивался в $2,1 млрд, а к 2019 г. он может вырасти до $6,5 млрд, прибавляя в среднем по 17,8 % в год.

Компании Audi, BMW и Daimler сообщили о намерении использовать большие данные (Big Data) для улучшения работы картографического сервиса Here, который в прошлую пятницу официально перешёл в собственность немецких автопроизводителей.

wsj.com

Как передаёт агентство Reuters, в настоящее время навигация Here использует более 80 тыс. статичных и динамичных источников информации (автомобили, мобильные устройства, дорожная инфраструктура, аналитические и локационные сервисы). С их помощью можно ускорить разработку нового поколения цифровых карт для беспилотного управления автомобилями, говорится в совместном заявлении Audi, BMW и Daimler.

«Теперь в рамках дальнейшего развития наших планов по использованию карт, обновляющихся в реальном времени, компания Here будет рассматривать возможность использования анонимных данных, поступающих от автомобилей Audi, BMW и Daimler. В ближайшие месяцы по данному вопросу пройдут переговоры с несколькими участниками отрасли», — сообщают автогиганты без уточнения имён потенциальных партнёров.

techcrunch.com

Они также не рассказали, какую именно информацию будет собирать Here, и как сервис намерен её задействовать. Председатель совета директоров Daimler Дитер Цетше (Dieter Zetsche) лишь отметил, что высокоточные цифровые карты являются важнейшей составляющей будущего мобильной отрасли.  

Департамент информационных технологий и Департамент здравоохранения города Москвы создадут исследовательскую лабораторию, которая займется анализом массивов данных, накопленных благодаря информатизации столичной системы здравоохранения. Правительство Москвы станет первой госструктурой в России, которая поставит эту работу на поток.

По словам куратора нового направления, заместителя руководителя Департамента информационных технологий Владимира Макарова, если в предыдущие годы основной целью была базовая автоматизация ключевых бизнес-процессов в здравоохранении, то сейчас акцент смещается на повышение эффективности работы системы за счет анализа накопленной информации и выявления закономерностей, которые раньше обнаружить было невозможно. Наработки лаборатории помогут прогнозировать всплески заболеваемости, сравнивать эффективность различных способов лечения, определять группы риска, персонализировать медицину, выявлять узкие места в системе здравоохранения. Эффект от этой работы позволит быстро окупить расходы на создание и обслуживание лаборатории, уверены в ведомстве.

Сотрудников новой лаборатории отберут на открытом конкурсе, который продлится до 11 мая. Соискателям — молодым специалистам с техническим и экономическим образованием, обладающим аналитическими способностями — необходимо оставить свое резюме на странице проекта lab.emias.info. В случае успешного прохождения первого этапа, специалистов ждет очное тестирование и собеседование. За 50 рабочих мест уже сейчас соревнуются 250 соискателей. Объявления о конкурсном отборе распространялись в ведущих технических вузах Москвы и в популярных сообществах, посвященных анализу «больших данных».

Для аналитиков, которые пройдут все этапы конкурса, будет организовано дополнительное обучение и мастер-классы авторитетных исследователей в области «больших данных». Управлять аналитиками, которых разделят на две соревнующиеся между собой команды, будут опытные менторы. В случае успеха наработки лаборатории распространят и на другие отрасли.

Данные берутся из публикации Первые шаги к 5G по версии Nokia. Репортаж

Корпорация Microsoft работает над технологией, которая позволит предугадывать образование автомобильных пробок за час до их появления. Об это сообщает портал VentureBeat.

Pete Saloutos/Blend Images/Corbis

Совместное исследование Microsoft и одного из ведущих бразильских университетов должно позволить водителям узнавать о возникновении пробок заранее. В качестве материалов исследования выступает большой массив данных, содержащий разнообразную информацию о передвижении транспорта за различные периоды времени. Сюда входят не только официальные отчёты, записи камер слежения, но даже информация из социальных сетей.

Анализ данных исследователи проводят при помощи технологий Big Data, которые должны позволить предсказать возникновение пробок заранее. В Microsoft утверждают, что корректный прогноз можно сделать за 15–60 минут до возникновения проблем на дороге.

Автомобильные пробки — очередная проблема, которую человечество пробует решить, используя технологии Big Data. Анализ огромных массивов данных из различных источников активно стал использоваться в медицине, финансовом секторе и науке.

На рынке существует большое количество сервисов, предупреждающих пользователя о существующих пробках. Многие компании, включая Google, пытаются найти решение, позволяющее предсказывать пробки, пока что эти усилия не увенчались успехом. В Microsoft уверены, что они ближе всех подошли к решению проблемы.

Imaginechina/Corbis

Представители софтверного гиганта утверждают, что компания провела тестирование новой технологии в нескольких мегаполисах и добилась точности предсказаний в 80 %. Ожидается, что в ближайшее время Microsoft сможет поднять эту цифру до 90 %.

Лидер российского финансового рынка Сбербанк объявил о покупке контрольного пакета акций компании RuTarget, разработчика рекламной платформы Segmento. Об этом сообщается в пресс-релизе на сайте Сбербанка.

Reuters

Компания RuTarget привлекла финансирование со стороны крупнейшего в России банка. Главный актив компании — рекламная платформа Segmento, работающая на базе искусственного интеллекта и технологии Big Data. Она позволит Сбербанку получить доступ к самому большому объёму данных о поведении покупателей на российском рынке.

Сегодня Segmento обрабатывает огромный объём данных. С помощью её технологий было проведено более 500 рекламных кампаний. Партнёрами Segmento являются крупнейшие мировые компании. В 2014 году с помощью платформы было сделано покупок на сумму более 900 млн руб.

«Ключевым предметом в сделке были уникальные технологии, которые мы приобрели. В Группе Сбербанк появится компания, которая имеет потенциал стать национальным лидером на быстрорастущем рынке таргетированной интернет-рекламы», — отметил первый заместитель Председателя Правления Сбербанка России Лев Хасис.

Коммерсант

Сбербанк является одним из крупнейших игроков на рынке интернет-рекламы в России. Бюджет продвижения услуг банка в Интернете составляет 245 млн руб. Наблюдатели отмечают, что приобретение Segmento позволит Сбербанку более эффективно продвигать свои услуги.

Точная сумма сделки не сообщается. По данным РБК, Сбербанк оценил платформу примерно в $8 млн.