В Стэнфорде создали аналог ChatGPT всего за $600

Ученные Стэнфордского университета разработали модель искусственного интеллекта Alpaca AI, которая во многих задачах работает аналогично ChatGPT. Отличие состоит в том, что построили её на основе платформы с открытым исходным кодом, а обучение обошлось менее чем в $600. Иными словами, современные продвинутые системы ИИ можно легко воспроизвести, причём с довольно скромными затратами.

Источник изображения: Gerd Altmann / pixabay.com

Всего полгода назад за эволюцией больших языковых моделей следили разве что учёные и энтузиасты, но с запуском ChatGPT стало очевидным: машины могут общаться так же, как люди. Они за считаные секунды пишут тексты из множества предметных областей, зачастую демонстрируя очень высокий уровень. Последующий выход GPT-4 показал, что и развиваются они с головокружительной скоростью, обещая в скором времени коренным образом преобразовать всё человечество. Собственные аналоги уже есть у Google, Apple, Meta✴, Baidu и Amazon — ИИ-системы скоро наводнят рынок, появившись в поисковых системах, автомобилях и даже смарт-часах.

Как выяснилось, чтобы построить аналог ChatGPT, не нужно ресурсов технологического гиганта — достаточно определённой базы знаний и бюджета в $600. Это на деле подтвердили учёные Стэнфордского университета, взяв за основу разработанную Meta✴ открытую языковую модель LLaMA 7B — самую доступную из линейки LlaMA. Будучи обученной на триллионе примеров, она обладает ограниченными возможностями и в большинстве задач значительно отстаёт от ChatGPT. Основные материальные затраты и главное конкурентное преимущество моделей OpenAI GPT заключаются в огромном количестве времени и человеческих ресурсов, которые разработчик вложил в обучение модели: одно дело прочитать несколько миллиардов книг и совсем другое — усвоить большое число пар вопросов и ответов, готовящих ИИ к предстоящей работе.

Источник изображения: github.com/tatsu-lab

Запустив модель LLaMA 7B, учёные Стэнфорда дали GPT образец из созданных человеком пар вопросов-ответов и предписали ей генерировать по этому образцу новые данные, выдавая по 20 пар за итерацию. Автоматизировав задачу через открытые OpenAI средства OpenAI, они за короткое время получили в распоряжение 52 000 образцов диалога, подходящих для обучения LlaMA, что обошлось учёным менее чем в $500. Далее последовал этап тонкой настройки LlaMA — для этого потребовались ресурсы восьми компьютеров с 80-Гбайт ускорителями NVIDIA A100 на три часа. В облачной инфраструктуре эта услуга обошлась менее чем в $100. По окончании обучения исследователи протестировали свою модель, которой дали имя Alpaca, и сравнили её с ChatGPT в таких задачах как написание электронной почты, публикаций для соцсетей и помощь в работе. Alpaca успешно справилась с 90 тестами, а ChatGPT преодолел лишь 89.

Авторы проекта отметили, что, вероятно, могли бы достичь того же результата с меньшими материальными затратами, если бы поставили цель оптимизировать процесс. При наличии доступа к GPT-4 и более мощным моделям LlaMA, которые можно взять за основу, любой подготовленный специалист смог бы повторить опыт и даже достичь более весомых результатов, не останавливаясь на 52 000 пар вопросов и ответов, тем более, что свой набор учёные Стэнфорда опубликовали на Github. Они также предупредили, что пока не занимались важнейшим из вопросов для современных ИИ — не провели дополнительной тонкой настройки, чтобы обеспечить безопасную и этичную работу модели, поэтому тех, кто будет использовать их наработки, попросили сообщать о выявленных сбоях.

Повторить опыт стэнфордских учёных теоретически может любой желающий при наличии технической подготовки и суммы в $600, однако остаются некоторые препятствия. Лицензия OpenAI не разрешает использовать данные её моделей для разработки конкурирующих систем, а Meta✴ пока разрешила академическим исследователям пользоваться только некоммерческими лицензиями — виной всему утечка LlaMA на имиджборд 4chan через неделю после анонса. С другой стороны, ещё одна сторонняя группа разработчиков нашла способ запустить Alpaca AI на одноплатных компьютерах Raspberry Pi с возможностью масштабирования до более продвинутых LlaMA-13B, 30B и 65B и не прибегать в услугам облачных провайдеров на этапе тонкой настройки — достаточно ресурсов всего одной бытовой, пусть и чрезвычайно мощной видеокарты NVIDIA GeForce RTX 4090 на пять часов.