MWC 2018
2018
Computex
IFA 2018
Разработчики Apple и Университета штата Огайо создали новую диффузионную модель Few-Step Discrete Flow-Matching (FS-DFM), которая может писать тексты в 128 раз быстрее аналогов, сообщил ресурс 9to5mac.com со ссылкой на исследование «FS-DFM: быстрая и точная генерация длинных текстов с помощью моделей языка диффузии с малым количеством шагов».
Источник изображения: Jackson Sophat/unsplash.com
Согласно исследованию, FS-DFM способна записывать полные текстовые фрагменты всего за восемь быстрых шагов уточнения. Для получения аналогичного результата по записи текстового фрагмента другим моделям диффузии требуется более тысячи шагов.
Для этого исследователи используют трёхэтапный подход: сначала модель обучается обрабатывать различные виды итераций уточнения. Затем они используют направляющую модель «учителя», которая помогает ей делать более крупные и точные обновления на каждой итерации, не выходя за рамки заданного текста. И наконец, они выполняют корректировку работы каждой итерации с тем, чтобы конечный результат был достигнут за меньшее количество шагов при более стабильной работе модели.
По сравнению с более крупными моделями диффузии, FS-DFM показала хорошие результаты по двум важным метрикам: перплексии и энтропии. Показатель перплексии отражает качество текста в языковых моделях. Чем он ниже, тем точнее и естественнее звучит текст. Энтропия отражает, насколько уверенно модель выбирает каждое слово. Если энтропия слишком низкая, текст может стать повторяющимся или предсказуемым, но если она слишком высокая, он может выглядеть бессвязным со случайным набором слов.
По сравнению с моделями диффузии Dream с 7 млрд параметров и LLaDA с 8 млрд параметров варианты FS-DFM с 1,7 и 1,3, а также 0,17 млрд параметров стабильно обеспечивали меньшую перплексию и более стабильную энтропию на протяжении всего количества итераций.
Разработчики сообщили, что «планируют опубликовать код и контрольные точки модели для облегчения воспроизводимости и дальнейших исследований».
Источник:
