Оптимизация обучения и инференса моделей для генерации видео на множестве GPU / Мария Ковалева

Генерация видео — это творческая и интересная, но одновременно сложная задача, требующая большого количества ресурсов. ‎ ‎Расскажу, как в команде Kandinsky обучают большие трансформеры для генерации видео: какие техники используют для эффективной утилизации кластера из огромного количества GPU. Обсудим DDP, FSDP, activation checkpointing, tensor & sequence parallel и другие алгоритмы. ‎‎ На практической части мастер-класса покажу, как ускорить инференс и генерацию видео, распараллелив трансформер через библиотеку pytorch с помощью алгоритма tensor parallel.