Yandex выложил в опенсорс библиотеку для убыстрения обучения нейросетей

Yandex выложил в открытый доступ свою библиотеку YaFSDP. Она до 25% ускоряет обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) огромных языковых моделей с открытым начальным кодом. Библиотеку YaFSDP могут употреблять создатели, компании и исследователи по всему миру.

YaFSDP рассчитана на огромные языковые модели, но подступает и для остальных нейросетей. К примеру, ее можно употреблять, чтоб убыстрить обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) нейросетей, созданных для генерации изображений. Библиотека поможет уменьшить расходы на оборудование для обучения моделей, уменьшить расходы ресурсов графических микропроцессоров.

Одна из сложностей в обучении огромных языковых моделей – это недостающая загрузка каналов коммуникации меж графическими микропроцессорами. YaFSDP это решает. Библиотека улучшает внедрение ресурсов GPU на всех шагах обучения: pre-training (предварительное), supervised fine-tuning (с учителем), alignment (сглаживание модели). Благодаря этому YaFSDP использует ровно столько графической памяти, сколько необходимо для обучения, при всем этом коммуникацию меж GPU ничто не замедляет, – говорится в сообщении Yandex’а.

Yandex протестировал библиотеку на посторониих нейросетях с открытым начальным кодом. YaFSDP дает убыстрение до 25% зависимо от архитектуры и характеристик нейросети.

Начальный код YaFSDP уже есть на GitHub.

Напомним, ранее Yandex представил новейшую версию машинного перевода, обученную при помощи YandexGPT.