Yandex повысил эффективность обучения нейросетей – экономия достигнула 4,8 миллиардов рублей в год

Yandex значительно повысил эффективность действий обучения огромных языковых моделей (LLM) – без понижения свойства и масштабов разработок. За счет глубочайшей оптимизации инфраструктуры компании удалось уменьшить операционные расходы: годичная экономия добивается 4,8 миллиардов рублей (в среднем 400 млн рублей за месяц).

Главным технологическим решением стала собственная разработка Yandex’а – библиотека YCCL (Yet Another Collective Communication Library).

С ее помощью удалось в 2 раза убыстрить обмен данными меж графическими микропроцессорами при обучении нейросетей, уменьшить размер передаваемой при всем этом инфы и перенести управление с графических на центральные микропроцессоры. Библиотека YCCL масштабируется на большие кластеры, а ее аналоги есть только у ведущих глобальных компаний и китайских IT‑гигантов.

Доп улучшения отдал переход Yandex’а на FP8 – формат с пониженной точностью вычислений, который дозволяет резвее учить нейросети и растрачивать на это меньше ресурсов.

Применение FP8 ускорило обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) моделей на 30% и уменьшило коммуникации – обмен данными – в 2 раза.

Yandex также провел исследования, которые проявили, что повышение батча (размера передаваемых данных) не приводит к замедлению обучения. Компания прирастила батч до 16-32 млн токенов, что позволило учить модели в режиме с наименьшим простоем ресурсов графических микропроцессоров.

Посреди остальных улучшений: Yandex повысил стабильность IT-инфраструктуры, уменьшив число аппаратных проблем и сократив расходы на перезапуск обучения моделей, также улучшал код и усовершенствовал строительные решения для обучения ИИ.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *