Новости Software

Новое программное обеспечение увеличивает скорость анализа больших данных в 100 раз

Новая система, разработанная для вычислений тензорной алгебры, может обеспечить возрастание скорости в 100 раз по сравнению с программными пакетами, использовавшимися до этого. Учёные из Массачусетского технологического института (Massachusetts Institute of Technology) создали новую программу, которая автоматически генерирует код, оптимизированный для разреженных данных. Этот процесс ведёт к ускорению обработки больших массивов информации.

cloudnewsdaily.com

cloudnewsdaily.com

Для анализа больших данных необходим целый комплекс процессов. Представим, что коммерческий сетевой ресурс, например, Amazon, пожелает сопоставить каждого своего клиента с каждым представленным товаром, поставив «1», если товар был куплен, и «0» в противном случае. Результатом будет невероятно огромная таблица данных, в основном состоящая из нулей. Это то, что называется разреженными данными. Когда такие данные обрабатываются, алгоритм анализа вынужден постоянно складывать нули и умножать их. Это очевидная трата ресурсов: и времени, и мощности компьютера.

Последнее исследование MIT строится вокруг нового программного продукта, автоматически создающего код, оптимизированный под разреженные данные. Систему, которая это делает, назвали Taco по аббревиатуре для компилятора тензорной алгебры (tensor algebra compiler). Тензор — это многомерный аналог матрицы, а данные, которые необходимо обработать, обычно хранятся в матрицах. Эффективностью метод обязан математическим операциям, проводимым на тензорах, они работают быстрее, чем аналогичные операции с матрицами, если каждой последовательности тензорных операций выделено собственное «ядро» (шаблон расчёта).

Чтобы реализовать эту технологию, необходимо было признать важность анализа больших данных. При запуске Taco программист указывает размер тензора — полного или разреженного — и расположение файла с данными, которые необходимо обработать. В работе Taco использует эффективный механизм индексирования, чтобы хранить только ненулевые значения разреженных тензоров. Для сравнения, массив информации с Amazon с нулевыми значениями будет содержать примерно 107 экзабайт, но с системой сжатия Taco он займёт всего 13 гигабайт, которые можно обработать весьма быстро.

Эта разработка интересна многим бизнесам и университетам. Анализ больших данных позволяет исследователям и коммерческим специалистам быть информированными об интересующих их процессах лучше и быстрее принимать эффективные решения, отбрасывая ненужные или неиспользуемые данные. Применяя сложные технологии анализа, такие как анализ текста, машинное обучение, сбор данных, построение прогнозов, обработку статистики, будет возможно фокусироваться на новых, ранее незамеченных источниках данных, и грамотнее расходовать свои ресурсы.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме
Прежде чем оставить комментарий, пожалуйста, ознакомьтесь с правилами комментирования. Оставляя комментарий, вы подтверждаете ваше согласие с данными правилами и осознаете возможную ответственность за их нарушение.
Все комментарии премодерируются.
Комментарии загружаются...
window-new
Soft
Hard
Тренды 🔥
SK hynix представит в феврале память HBM3 с пропускной способностью до 896 Гбайт/с и новые скоростные чипы GDDR6 17 мин.
Xiaomi проведёт презентацию 26 января — ожидает глобальный запуск серии Redmi Note 11 2 ч.
Apple стала крупнейшим поставщиком смартфонов в четвёртом квартале 2021 года 4 ч.
«Яндекс» запустит доставку с помощью роботов-курьеров в Сеуле в 2022 году 5 ч.
NVIDIA расширит штат исследовательского центра в Израиле — компания усилит разработку серверных CPU 5 ч.
NVIDIA создаст в Израиле подразделение для разработки серверных CPU 6 ч.
Стартап Zeva начал испытательные полёты одноместной летающей тарелки Zero 6 ч.
Продажи смартфонов в Китае в 2021 году выросли на 15,9 % — достигнуть допандемийного уровня пока не удалось 8 ч.
Из-за дефицита чипов Toyota выпустит на миллион автомобилей меньше, чем планировала в этом финансовом году 8 ч.
Учёные нашли некоторое сходство образования метана на Марсе с земными процессами 8 ч.