MWC 2018
2018
Computex
IFA 2018
Исследователи предложили новый способ повышения эффективности ИИ-моделей без традиционного дообучения или повторного обучения. Этот подход под названием «Программирование в пространстве весов» (Weight-space programming), заключающийся в редактирования весов модели — числовых параметров, определяющих её поведение, в перспективе может ускорить разработку нейросетей, хотя и не во всех случаях.
Источник изображения: Zach M/unsplash.com
Специалисты Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) использовали языковую модель GPT-6 Astra от OpenAI для улучшения математических навыков компактной модели с открытым исходным кодом Qwen путём редактирования её весов. Им удалось повысить результат модели Qwen3.5-0.8B в бенчмарке MATH-500 с 7,9 до 48,1 %, изменив лишь около 0,016 % от общего числа её весов и достигнув успеха главным образом за счёт устранения повторяющихся логических рассуждений.
«Это как генная инженерия для нейронных сетей. Даже круче, чем дистилляция!», — описывает технологию ИИ-исследователь Юйчэн Цзинь (Yuchen Jin).
Если исследователям удастся сделать этот метод достаточно надёжным, разработчики получат инструмент, который позволит корректировать работу нейросетей и повышать их производительность без необходимости в традиционных методах (дообучении или повторном обучении). Целевое редактирование весов потенциально может сократить время и вычислительные ресурсы, требуемые для внесения определённых улучшений в моделях, хотя этот метод всё ещё находится на стадии экспериментов, и точные показатели экономии пока не установлены. С его помощью модели смогут модифицировать другие модели — или, со временем, даже самих себя.
В этих экспериментах ИИ-модель анализировала целевую нейросеть, изучала её поведение и самостоятельно определяла, какие именно веса нужно изменить, — при этом стандартный процесс обучения на основе градиентов не использовался.
Следует отметить, что пока не доказано, что прямое редактирование весов стабильно превосходит традиционное обучение по скорости, стоимости или эффективности. К тому же новый подход нельзя назвать универсальным. В случае с моделью Gemma 3 270M, у которой не наблюдалось серьёзной проблемы с повторами, характерной для Qwen, правки Astra не дали улучшения её математических способностей.
Ещё один эксперимент показал, что без предоставления дополнительных данных (например, о механизмах внимания) модель не смогла надёжно различать разные типы поведения.
Мнения участников ИИ-сообщества по поводу новой методики разделились. Если одни видят в ней инструмент для быстрого обслуживания моделей и экономии ресурсов, то другие выражают опасения, что она может ещё больше ускорить развитие ИИ, приближая человечество к краху из-за рисков, связанных с неконтролируемым процессом.
«Пусть это будет просто шумиха. Ведь если это правда, то прогресс может ускориться колоссально — а это очень плохие новости, приближающие нас к глобальной катастрофе. До чего же безрассудное направление исследований», — заявил Максим Фурн (Maxime Fournes), генеральный директор организации Pause AI, выступающей за приостановку разработки передовых ИИ-систем до тех пор, пока их безопасность не будет доказана, а контроль над ними — демократизирован.
Источник:
