Ученые Yandex’а, НИУ ВШЭ, MIT, KAUST и ISTA сделали прорыв в оптимизации огромных языковых моделей

Ученые Yandex’а вместе с НИУ ВШЭ, MIT, KAUST и ISTA сделали прорыв в оптимизации огромных языковых моделей (LLM). Спецы разработали способ резвого сжатия LLM без утраты свойства. Благодаря этому для работы с языковыми моделями не потребуются дорогие серверы и массивные GPU – довольно телефона либо ноутбука.

Способ дозволяет стремительно тестировать и внедрять новейшие решения на базе нейросетей, сберегать время и средства на разработку. LLM стают доступнее для маленьких компаний, некоммерческих лабораторий и институтов, личных разрабов и исследователей. Драгоценное оборудование больше не будет нужно.

Ранее для пуска языковой модели на телефоне либо ноутбуке требовалось провести ее квантизацию на дорогостоящем сервере, что занимало от нескольких часов до несколько недель. Сейчас квантизацию можно выполнить прямо на телефоне либо ноутбуке за считанные минутки, – говорится в сообщении Yandex’а.

Новейший способ квантизации именуется HIGGS (от англ. Hadamard Incoherence with Gaussian MSE-optimal GridS). Он дозволяет сжимать нейросети без использования доп данных и без вычислительно сложной оптимизации характеристик. Это в особенности полезно в ситуациях, когда недостаточно пригодных данных для дообучения модели. Способ обеспечивает баланс меж качеством, размером модели и сложностью квантизации, что дозволяет применять модели на самых различных устройствах.

В Yandex’е используют новейший способ для прототипирования – сотворения рабочих версий товаров и резвой проверки мыслях: сжатые модели проходят тестирование резвее, чем их начальные версии.

В разработке способа участвовали ученые из Лаборатории исследовательских работ искусственного ума Yandex Research, НИУ ВШЭ, Массачусетского технологического института (MIT), Австрийского института науки и технологий (ISTA) и Научно-технологического института имени короля Абдаллы (KAUST).

Способ HIGGS уже доступен разрабам и исследователям на Hugging Face и GitHub.

Напомним, в прошедшем году Yandex разработал решение, которое дозволит бизнесу уменьшить расходы на внедрение нейросетей до восьми раз.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *