Введение в регуляризацию 0:07 Регуляризация — это набор методов, которые упрощают структуру модели и предотвращают переобучение. Для линейной регрессии переобучение может возникнуть из-за линейной зависимости признаков.
Проблема линейной зависимости 1:04 Линейная зависимость означает, что существует вектор весов бета, при умножении на который любой вектор признаков даёт ноль. Это приводит к существованию бесконечного количества наборов весов, дающих одинаковые ответы.
Последствия линейной зависимости 2:01 Модели с разными весами, но одинаковыми предсказаниями, могут иметь большие веса, что ухудшает стабильность модели. Методы без регуляризации могут привести к модели с весами порядка миллиардов, что делает её бесполезной для реальных данных.
Введение регуляризации 3:01 Для решения проблемы больших весов в алгоритмы добавляется знание о том, что веса не должны быть большими. В случае минимизации эмпирического риска и градиентного спуска к функции потерь добавляются квадраты весов, умноженные на константу бета.
Роль константы бета 3:58 Константа бета позволяет балансировать между уменьшением весов и увеличением потерь. С каждым шагом веса уменьшаются, что делает модель более стабильной.
