Как тестировать DS-код (Алексей Могильников) / LeanDS3

«Как тестировать DS-код» Алексей Могильников, DS lead Когда DS-команда выкатила в модель в прод и начала измерять качество её работы возникают проблемы, которые трудно предвидеть на этапе разработки: На новых данных модель показывает заметно худшее качество, чем на валидационной выборке. Модель выдает ошибки на нормальных примерах, которые не встречались в тренировочной выборке. Модель работает неожиданно медленно. А еще бывает, что глубина проявления этих проблем зависит от конкретного члена команды, который готовил модель. Чтобы минимизировать шанс возникновения этих проблем, необходимо тестировать код, который готовит фичи и вызывает обученную модель. В этом докладе будет рассказано какие подходы к автоматизированному тестированию существуют и как они могут нам помочь.