Сегодня 16 ноября 2026
18+
MWC 2018 2018 Computex IFA 2018
реклама
Новости Software

«Википедия» выпустила набор данных для обучения ИИ, чтобы боты не перегружали её серверы скрейпингом

Фонд Wikimedia (некоммерческая организация, управляющая «Википедией») предложил компаниям вместо веб-скрейпинга контента «Википедии» с помощью ботов, который истощает её ресурсы и перегружает серверы трафиком, воспользоваться набором данных, специально оптимизированным для обучения ИИ-моделей.

 Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Источник изображения: Oberon Copeland @veryinformed.com/unsplash.com

Wikimedia объявил о заключении партнёрского соглашения с Kaggle, ведущей платформой для специалистов в области Data Science и машинного обучения, принадлежащей Google. В рамках соглашения на ней будет опубликована бета-версия набора данных «структурированного контента “Википедии” на английском и французском языках».

Согласно Wikimedia, набор данных, размещённый Kaggle, был «разработан с учётом рабочих процессов машинного обучения», что упрощает разработчикам ИИ доступ к машиночитаемым данным статей для моделирования, тонкой настройки, сравнительного анализа, выравнивания и анализа. Содержимое набора данных имеет открытую лицензию. По состоянию на 15 апреля набор включает в себя обзоры исследований, краткие описания, ссылки на изображения, данные инфобоксов и разделы статей — за исключением ссылок или неписьменных элементов, таких как аудиофайлы.

Как сообщает Wikimedia, «хорошо структурированные JSON-представления контента “Википедии”», доступные пользователям Kaggle, должны быть более привлекательной альтернативой «скрейпингу или анализу сырого текста статей».

На данный момент у Wikimedia есть соглашения об обмене контентом с Google и Internet Archive, но партнёрство с Kaggle позволит сделать данные более доступными для небольших компаний и независимых специалистов в сфере Data Science. «Являясь площадкой, к которой сообщество машинного обучения обращается за инструментами и тестами, Kaggle будет рада стать хостом для данных фонда Wikimedia», — сообщила Бренда Флинн (Brenda Flynn), руководитель по коммуникациям в Kaggle.

Было интересно? Скажите об этом Google, чтобы чаще получать ссылки на наши новости про искусственный интеллект

Источник:

Если вы заметили ошибку — выделите ее мышью и нажмите CTRL+ENTER.
Материалы по теме

window-new
Soft
Hard
Тренды 🔥
Амбициозная стратегия от разработчика-одиночки отправит вести грандиозные космические и наземные битвы — геймплейный трейлер Horu 2 ч.
Microsoft 364: на устранение сбоя облачных сервисов компании ушло больше суток 15 ч.
Facebook заглядывал в галереи смартфонов без разрешения — Meta получила штраф на €805 млн 20 ч.
Крупнейшее обновление LoL в истории: Riot Games показала тизер League of Legends: New Dawn, запланированной на 2027 год 23 ч.
Китайская Bilibili Gaming cтала чемпионом World Championship 2026 по League of Legends, прервав многолетнее доминирование корейских команд 24 ч.
Биткоин за неделю подешевел на 15 % — ниже $65 000 за монету 15-11 00:44
Новая статья: Phantom Blade Zero — танцы с клинками. Рецензия 15-11 00:07
То же мясо, но сочнее: брутальный платформер Super Meat Boy получит ремастер с улучшенной графикой и новыми секретами 14-11 20:07
Октябрьские сбои «Яндекса» привели к проверкам компании в Казахстане 14-11 18:38
Microsoft устранила глобальный сбой сервисов — виноватой оказалась ошибка при апгрейде сети 14-11 15:29
РТК-ЦОД выполнил миграцию ИТ-систем «Комуса» в гибридную среду без остановки бизнес-процессов 2 ч.
CXL-карта Penguin Solutions позволит установить DDR4 в современные ИИ-серверы 2 ч.
Biostar выпустила плату BIPTL-IHT для периферийных ИИ-устройств на базе Intel Panther Lake-H 3 ч.
Новая статья: Обзор SSD-накопителя Samsung 990: четыре бита и много вопросов 12 ч.
+571 % к выручке за год, капзатраты $40–$45 млрд и безубыточность к концу 2027-го: Nebius отчиталась за III квартал 12 ч.
Apple готовит конкурента Meta Ray-Ban: очки с Siri AI будут тоньше и получат наилучшее качество звука 13 ч.
Мозговой имплант вернул голоса пациентам с БАС — одна из них даже смогла снова петь 20 ч.
Европейский стартап OwlO Cloud анонсировал создание орбитального ИИ ЦОД 14-11 22:47
Silicon Motion представила контроллер для корпоративных SSD с интерфейсом PCIe 6.0 14-11 22:24
Innodisk представила PCIe 5.0 SSD и модули DDR5 для серверов 14-11 22:16