Сегодня 01 июля 2025
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Википедия» выпустила набор данных для обучения ИИ, чтобы боты не перегружали её серверы скрейпингом

Фонд Wikimedia (некоммерческая организация, управляющая «Википедией») предложил компаниям вместо веб-скрейпинга контента «Википедии» с помощью ботов, который истощает её ресурсы и перегружает серверы трафиком, воспользоваться набором данных, специально оптимизированным для обучения ИИ-моделей.

 Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Wikimedia объявил о заключении партнёрского соглашения с Kaggle, ведущей платформой для специалистов в области Data Science и машинного обучения, принадлежащей Google. В рамках соглашения на ней будет опубликована бета-версия набора данных «структурированного контента “Википедии” на английском и французском языках».

Согласно Wikimedia, набор данных, размещённый Kaggle, был «разработан с учётом рабочих процессов машинного обучения», что упрощает разработчикам ИИ доступ к машиночитаемым данным статей для моделирования, тонкой настройки, сравнительного анализа, выравнивания и анализа. Содержимое набора данных имеет открытую лицензию. По состоянию на 15 апреля набор включает в себя обзоры исследований, краткие описания, ссылки на изображения, данные инфобоксов и разделы статей — за исключением ссылок или неписьменных элементов, таких как аудиофайлы.

Как сообщает Wikimedia, «хорошо структурированные JSON-представления контента “Википедии”», доступные пользователям Kaggle, должны быть более привлекательной альтернативой «скрейпингу или анализу сырого текста статей».

На данный момент у Wikimedia есть соглашения об обмене контентом с Google и Internet Archive, но партнёрство с Kaggle позволит сделать данные более доступными для небольших компаний и независимых специалистов в сфере Data Science. «Являясь площадкой, к которой сообщество машинного обучения обращается за инструментами и тестами, Kaggle будет рада стать хостом для данных фонда Wikimedia», — сообщила Бренда Флинн (Brenda Flynn), руководитель по коммуникациям в Kaggle.

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Microsoft испытала ИИ-доктора MAI-DxO, который ставит диагнозы в 4 раза точнее врачей 6 мин.
The Blood of Dawnwalker, Code Vein 2 и многие другие: анонсирована игровая презентация Bandai Namco Summer Showcase 2025 2 ч.
Комиссионный хаос: Apple изменила правила App Store для ЕС так, что теперь их никто не понимает 2 ч.
«Это был ошибочный выбор»: авторы The Alters подтвердили, что в игру попал ИИ-контент, и объяснили, как так получилось 2 ч.
AMD выпустила драйвер с поддержкой FSR 4 для Monster Hunter Wilds и GTA V Enhanced 3 ч.
Календарь релизов — 1–6 июля: Mecha Break, Dying Light Retouched и девятый сезон Diablo IV 4 ч.
Avanpost: в корпоративном сегменте по-прежнему большей частью полагаются на обычные пароли и LDAP 4 ч.
Надёжный инсайдер раскрыл, когда ждать анонс и релиз следующей Ghost Recon 4 ч.
Миллионы наушников можно превратить в подслушивающие устройства из-за уязвимости в чипе Bluetooth 5 ч.
«Революционные» технологии, истоки проекта и поддержка после релиза: новые подробности ролевого MMO-шутера The Cube во вселенной Atomic Heart 7 ч.
Новая статья: Обзор Core Ultra 7 265K: гадкий утёнок 21 мин.
В России вышло игровое кресло Filum FL-CH-G-070 с надёжной конструкцией и эргономичной посадкой 32 мин.
ИИ создаст спрос на передовые чипы: выпуск 7-нм и более тонких полупроводников вырастет на 69 % к 2028 году 2 ч.
Google подключит серверы к термоядерному реактору Commonwealth Fusion Systems 2 ч.
В деревню, в глушь, на север: московский регион страдает от дефицита мощностей ЦОД, но скоро операторы могут уйти в провинцию 2 ч.
Смартфоны Google Pixel 10 Pro и Pixel 10 Pro XL полностью рассекречены задолго до анонса 3 ч.
DJI выпустила грузовой дрон FlyCart 100 с грузоподъёмностью до 80 кг и передовыми системами безопасности 4 ч.
Дубай стал на шаг ближе к запуску аэротакси — Joby Aviation доставила первый серийный электролёт в ОАЭ 6 ч.
Китай через пять лет станет крупнейшим поставщиком чипов в мире с долей рынка в 30 %, несмотря на санкции 7 ч.
SpaceX запустила британский спутник для производства полупроводников прямо на орбите Земли 8 ч.