Yandex повысил эффективность обучения нейросетей – экономия достигнула 4,8 миллиардов рублей в год
Yandex значительно повысил эффективность действий обучения огромных языковых моделей (LLM) – без понижения свойства и масштабов разработок. За счет глубочайшей оптимизации инфраструктуры компании удалось уменьшить операционные расходы: годичная экономия добивается 4,8 миллиардов рублей (в среднем 400 млн рублей за месяц).
Главным технологическим решением стала собственная разработка Yandex’а – библиотека YCCL (Yet Another Collective Communication Library).
С ее помощью удалось в 2 раза убыстрить обмен данными меж графическими микропроцессорами при обучении нейросетей, уменьшить размер передаваемой при всем этом инфы и перенести управление с графических на центральные микропроцессоры. Библиотека YCCL масштабируется на большие кластеры, а ее аналоги есть только у ведущих глобальных компаний и китайских IT‑гигантов.
Доп улучшения отдал переход Yandex’а на FP8 – формат с пониженной точностью вычислений, который дозволяет резвее учить нейросети и растрачивать на это меньше ресурсов.
Применение FP8 ускорило обучение (педагогический процесс, в результате которого учащиеся под руководством учителя овладевают знаниями, умениями и навыками) моделей на 30% и уменьшило коммуникации – обмен данными – в 2 раза.
Yandex также провел исследования, которые проявили, что повышение батча (размера передаваемых данных) не приводит к замедлению обучения. Компания прирастила батч до 16-32 млн токенов, что позволило учить модели в режиме с наименьшим простоем ресурсов графических микропроцессоров.
Посреди остальных улучшений: Yandex повысил стабильность IT-инфраструктуры, уменьшив число аппаратных проблем и сократив расходы на перезапуск обучения моделей, также улучшал код и усовершенствовал строительные решения для обучения ИИ.