Курс "Специалист по искусственному интеллекту". Урок 10. L1/L2-регуляризация, пайплайны и метод PCA

Десятый урок курса «Специалист по искусственному интеллекту». Подробно разбираем методы борьбы со сложностью моделей: регуляризацию L1 (Lasso) и L2 (Ridge), масштабирование данных (StandardScaler, MinMaxScaler), автоматизацию процессов через Pipeline и алгоритм снижения размерности PCA. Сегодня мы переходим к профессиональным методам оптимизации процесса обучения. Мы разберем, как уберечь модель от переобучения, когда веса коэффициентов начинают бесконтрольно расти, заставляя алгоритм подстраиваться под случайный шум в данных. В этой лекции мы подробно обсудим: – Проблему переобучения сложных моделей: почему веса (w) становятся аномально большими. – Философский принцип Бритвы Оккама и концепцию «спокойных» моделей с малыми коэффициентами. – Регуляризацию как инструмент оптимизации: намеренное штрафование модели за сложность (Loss + Penalty). – L1-регуляризацию (Lasso Regression): математическую формулу штрафа по сумме модулей весов и эффект автоматического обнуления незначимых признаков (Feature Selection). – L2-регуляризацию (Ridge Regression): формулу штрафа по сумме квадратов весов, сглаживание коэффициентов и борьбу с мультиколлинеарностью. – Сравнительный анализ применимости: когда выбирать Lasso (L1), а когда Ridge (L2). – Масштабирование признаков (Scaling): разницу между стандартизацией (StandardScaler) и нормализацией (MinMaxScaler). – Почему итерационные методы градиентного спуска критически чувствительны к масштабу признаков. – Пайплайны (Pipeline в...