Yandex разработал решение, которое дозволит бизнесу уменьшить расходы на внедрение нейросетей до восьми раз

Команда Yandex Research вкупе с IST Austria и KAUST разработала и опубликовала в вольном доступе новейшие способы сжатия огромных языковых моделей. Эти способы посодействуют бизнесу уменьшить издержки на вычислительные ресурсы до восьми раз. Решение полезно корпорациям, стартапам и исследователям, работающим с нейросетями на своем оборудовании.

Для обеспечения высококачественных и стремительных ответов от огромных языковых моделей обычно требуется огромное количество дорогостоящих массивных графических микропроцессоров. Решение, предложенное Yandex’ом, помогает уменьшить модель в пару раз и уменьшить число нужных для работы микропроцессоров, обеспечить пуск модели на устройствах с наименьшей вычислительной мощностью.

Решение включает 2 инструмента. 1-ый инструмент понижает размер нейросети до восьми раз. 2-ой – исправляет ошибки, возникающие при сжатии большенный языковой модели.

Эффективность способов сжатия нейросетей оценивали на фаворитных моделях с открытым начальным кодом: Llama 2, Llama 3, Mistral и остальных. Способ Yandex’а сохраняет в среднем 95% свойства ответов нейросети, тогда как остальные пользующиеся популярностью инструменты сохраняют для тех же моделей от 59% до 90% свойства.

Новейшие способы сжатия нейросетей доступны для внедрения – код размещен на GitHub. Также исследователи Yandex Research выложили обучающие материалы, которые посодействуют разрабам дообучить уменьшенные нейросети под свои сценарии.

Напомним, ранее Т-Банк открыл разрабам доступ к собственной языковой модели T-lite.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *