MWC 2018
2018
Computex
IFA 2018
Компания ByteDance больше известна своей социальной сетью TikTok, но она не забывает и о разработке ИИ-моделей, причём опираясь на собственные ресурсы, а не прибегая к дистилляции чужих разработок, чем нередко грешат конкуренты. По данным Financial Times, сейчас специалисты ByteDance заняты разработкой ИИ-моделей с 10 трлн параметров, что позволяет ей приблизиться к показателям передовых моделей той же Anthropic.
Источник изображения: ByteDance
Источник поясняет, что хотя американский стартап Anthropic не раскрывает данные такого рода, его передовой модели Mythos 5 приписывается наличие 8 трлн параметров, а более умеренной Fable 5 — около 5 трлн. Хотя эта характеристика определяет количество данных, которые модель может хранить в памяти, в чистом виде она не говорит о качестве и быстродействии самой модели. Качество входных данных, на которых происходит обучение модели, а также методы этого обучения имеют в этой сфере существенное значение. Для сравнения, китайская Kimi 3 компании Moonshot обладает чуть менее чем 3 трлн параметров, а ведь именно её до последних пор считали одной из самых больших в КНР.
Как поясняют источники, сейчас ByteDance занимается предварительным обучением этой модели, на это обычно уходит от трёх до шести месяцев, и только после окончательной настройки она может быть выпущена в оборот. В штате компании разработкой ИИ-моделей занимается большая команда специалистов, в которую входят около 2000 сотрудников как в Китае, так и за его пределами. Инженеры, исследователи, специалисты по маркировке данных и переводчики — все они работают над созданием качественной ИИ-модели для ByteDance. Основатель компании Чжан Иминь (Zhang Yiming) не устаёт повторять сотрудникам компании, что отставание в краткосрочной перспективе не так важно с учётом долгосрочных планов по созданию собственной ИИ-модели. ByteDance надеется с помощью своей ИИ-модели не только бросить вызов лучшим западным разработкам, но и превзойти их.
Источник:
