Как зафайнтюнить вашу любимую диффузионную модель / Мастер-класс

Это мастер-класс на Practical ML Conf. Его провели: Лев Новицкий, ведущий специалист по исследованию данных Kandinsky Research в Sber AI, и Вера Соболева, младший научный сотрудник Института искусственного интеллекта AIRI. Современные диффузионные модели позволяют генерировать качественные и разнообразные изображения по текстовому описанию. Но что делать, если мы хотим создать не случайную картинку, а конкретный объект, например вазу, которую после продадим на маркетплейсе? Это задача персонализированной генерации: нужно в предобученную модель внедрить знания о конкретном объекте по нескольким фотографиям, чтобы показывать его в новых сценах. На мастер-классе разобрали основы диффузии и базовые методы персонализации диффузионных моделей, а ещё попробовали обучить некоторые из них на примерах.