Стёртые временем письмена прочитает «Эней» — ИИ от Google DeepMind для восстановления древних текстов и их истории

Команда Google DeepMind представила новую генеративную модель — «Эней» (Aeneas). Это невероятный по возможностям инструмент для историков и археологов. Обученный на сотнях тысяч латинских текстов, «Эней» не просто восстановит утраченные фрагменты обнаруженных надписей — он расскажет их историю и происхождение, а также примерную датировку.

Источник изображения: DeepMind

Граждане римской империи умели и любили писать. Это нашло отражение даже в сериале «Рим» HBO, где граффити на стенах сооружений древнего Рима было нормой. Кое-что из подобных надписей дошло до современности, хотя и в сильно повреждённом виде. Также остаются нерасшифрованными множество обрывков текстов на памятниках, папирусах и других осколках прошлой цивилизации. Чтобы восстановить, датировать и вплести в контекст обнаруженные фрагменты, историкам приходится годами корпеть над каждым из них, опираясь исключительно на свой опыт и помощь коллег. ИИ «Эней» в корне изменит подход к этой работе.

Подчеркнём, «Эней» — это не только восстановление сильно фрагментированных текстов. Модель помогает даже определить географическое происхождение повреждённой надписи — она с высокой точностью укажет на одну из 62 провинций древнеримской империи, где эта надпись была сделана. Кроме датирования надписи важным будет контекст, который ИИ разъяснит в понятной форме, что со временем наверняка найдёт своё выражение в исторических чат-ботах для любителей истории и обычных граждан.

В общем случае «Эней» — это мультимодальная генеративная нейронная сеть, которая обрабатывает как текст, так и изображения надписей. Для обучения модели был создан обширный набор данных — Latin Epigraphic Dataset (LED), включающий более 176 000 латинских надписей из подборки наиболее полных научных источников. Для обработки текстового ввода модель использует трансформерный декодер, а также специализированные сети для восстановления утраченных символов и датировки текстов.

Географическое определение происхождения надписей осуществляется с учётом как текста, так и визуальной информации. «Эней» способен за секунды находить текстовые и контекстные параллели среди тысяч надписей, что значительно ускоряет работу историков.

Проверка модели на практике показала, что «Эней» восстанавливает повреждённые надписи с точностью 73 %, если промежутки не превышают десяти потерянных символов. Этот показатель снижается до 58 % только в том случае, если длина восстановления неизвестна, что само по себе невероятно сложная задача. Благодаря использованию визуальных данных модель может отнести одну из древнеримских надписей к 62 провинциям с точностью 72 %. Для датировки «Эней» помещает текст с интервалом в 13 лет от предоставленных историками дат.

К ключевым возможностям модели можно отнести поиск параллелей, что выражается в анализе огромного корпуса латинских надписей, что позволяет выявлять тексты с похожими формулировками, синтаксисом, стандартизированными формулами или происхождением (это помогает историкам помещать надписи в более широкий исторический контекст); одновременный анализ текстовой и визуальной информации и их комбинацию; восстановление пробелов неизвестной длины, что делает его уникальным инструментом для работы с сильно повреждёнными артефактами.

Наконец, модель «Эней» может работать с любыми другими письменами и носителями, достаточно обучить её новым языкам. Разработчик обещает свободно распространять «Энея», который основан на открытом коде. В доказательство этого компания разместила ссылки на все необходимые файлы и базы, включая обучающие материалы.

Отметим, «Эней» был разработан в сотрудничестве с Университетом Ноттингема (University of Nottingham), а также с исследователями из университетов Уорика (Universities of Warwick), Оксфорда (Oxford) и Афинского университета экономики и бизнеса (Athens University of Economics and Business).

Тестирование модели проводилось с участием 23 историков, которые анализировали датированные надписи с использованием «Энея» и без него. Результаты показали, что в 90 % случаев модель способствовала появлению новых идей для исследований и повышала точность определения происхождения и датировки текстов. Например, «Эней» уточнил датировку текста «Res Gestae Divi Augusti», приписываемого римскому императору Августу, предложив два вероятных диапазона, о которых спорят историки. Причём ИИ сделал это количественно, что демонстрирует наглядность научного поиска.

Безусловно, «Эней» не заменяет историков, а выступает как инструмент, интегрирующийся в их рабочий процесс, предоставляя гипотезы и параллели для дальнейшего анализа. Модель демонстрирует потенциал для расширения на другие древние языки, такие как греческий или египетские иероглифы, что может обогатить глобальную историографию. Интерактивная версия «Энея» доступна бесплатно на сайте predictingthepast.com, а код и набор данных открыты для исследователей, что способствует дальнейшему совершенствованию модели.