MWC 2018
2018
Computex
IFA 2018
Разработчики систем искусственного интеллекта стали закупать через посредников миллионы подержанных книг, чтобы формировать из них массивы высококачественных данных для обучения своих ИИ-моделей, чтобы избежать отрицательной реакции общественности.
Источник изображения: Susan Q Yin / unsplash.com
Для обучения ИИ нужны огромные объёмы данных, но не любых, а высокого качества. Проблема в том, что в последние годы интернет заполонил некачественный сгенерированный ИИ-контент, загрязняющий обучающие массивы и контрпродуктивный для обучения ИИ. В результате разработчики стали обращаться к печатным книгам, которые вышли до 2022 года, когда появился ChatGPT. В частности, Anthropic, один из ведущих разработчиков, потратила несколько миллионов долларов на оцифровку огромного количества печатных книг для обучения Claude, после чего эти книги были уничтожены. Они закупались у Better World Books. Суд подтвердил, что книги использовались добросовестно, однако Anthropic грозил штраф в размере $1,5 млрд за библиотеку из 7 млн пиратских электронных книг; схожий иск коалиция издателей подала и против Google, обвинив поискового гиганта в обучении ИИ Gemini на незаконно приобретённых копиях миллионов книг.
База данных ISBNdb, в которой содержатся сведения о 111 млн каталогизированных книг, долгое время служила платформой для продавцов, библиотек и дистрибьюторов; сейчас компания предлагает услуги по оптовым закупкам книг для разработчиков ИИ. Объём заказов варьируется от тысяч до миллиона экземпляров за одну транзакцию. О росте продаж сообщают и другие компании, и предприниматели. Крупные закупки включают только наименования с 13-значным идентификатором ISBN — тематика, жанр и автор значения не имеют; покупатели не торгуются и по ценам, даже если те завышены.
В ходе судебного процесса с участием Anthropic инженер Том Харви (Tom Harvey), который ранее участвовал в создании платформы Google Books, а затем стал курировать в Anthropic программу Project Panama по цифровизации книг, подтвердил, что для их сканирования разработчик пользовался услугами нескольких компаний. Одна из них, Datamation Information Services, предлагает услуги по сканированию больших объёмов книг как неразрушающим, так и разрушающим методом. В первом случае используются планшетные и другие «щадящие» сканеры; во втором — книги разбираются и постранично отправляются в промышленный сканер. Это эффективнее и дешевле, но в результате уничтожаются миллионы книг. Логично, что разработчики ИИ чаще выбирают второй вариант.
Печатные книги оказались кладезем информации для ИИ, но новый сценарий породил споры об этичности изъятия книг из обращения, поскольку нет ясности, отбираются ли в процессе ценные и редкие издания. Кроме того, отсканированные материалы попадают в закрытые базы данных, к которым у широкой публики нет доступа. ИИ станет умнее, но ценная информация может быть утрачена для будущих поколений.
Источник:
