Bias-variance tradeoff в анализе данных и реальной жизни. Максим Николаев, Школа анализа данных

Лекция «Bias-variance tradeoff. Почему мы любим спрашивать совета у профессионалов» на Дне открытых дверей Школы анализа данных в Санкт-Петербурге, 22 апреля 2023 года. Лектор: Максим Николаев, координатор партнерского направления Яндекса «Науки о данных» на факультете МКН СПбГУ, преподаватель статистики и ML. С переобучением и недообучением модели сталкивается всякий, кто интересуется анализом данных и машинным обучением. В этой лекции мы разберемся, как описать эти явления в терминах смещения и дисперсии предсказания, узнаем, как связаны эти понятия со способностью модели выучивать обучающую выборку, а также увидим, как улучшить качество предсказания, умело ограничивая выразительность модели. Кроме этого мы обсудим, почему мы сами являемся частью модели, которую обучаем, и как контролировать наше переобучение.