Шум и GAM: обобщённые аддитивные модели | Вебинар Александра Манаенкова | karpov.courses

YOUTUBE · 27.11.2025 05:42

Ключевые темы и таймкоды

Введение в обобщенные аддитивные модели

0:05

Видео начинается с представления автора, Саши, и его объяснения, что вебинар будет посвящен обобщенным аддитивным моделям (ОАМ).
Он объясняет, что ОАМ являются следующим эволюционным звеном после обобщенных линейных моделей (ОЛМ) и что они будут разбираться в этом вебинаре.

Полиномы и их использование в ОАМ

6:54

Саша объясняет, что полиномы являются источником шуток в школе, но в контексте ОАМ они называются полиномами.
Он объясняет, что полиномы могут быть использованы для описания сложных взаимосвязей, но они могут быть слишком сложными и негибкими для некоторых случаев.
Он также обсуждает, что полиномы часто не используются в реальной работе, и что они могут быть заменены на производные функции.

Гибкие лекала и сплайны

13:46

Видео обсуждает использование гибких лекал и сплайнов для описания нелинейных взаимосвязей.
Гибкие лекала - это частный случай сплайнов, которые могут быть использованы для описания сложных кривых и взаимосвязей.

Физические аналогии и примеры использования

17:42

Видео приводит примеры использования гибких лекал для описания зависимостей между временем и количеством посетителей, а также для интерполяции данных.
Сплайны могут быть использованы для решения проблем с интерполяцией данных, а также для решения проблем с циклическими предикторами.

Обобщенные аддитивные модели

21:38

Видео объясняет, что обобщенные аддитивные модели (GAM) - это обобщение линейных регрессий, где вместо обычных полиномов используются гладкие функции, такие как сплайны.
GAM могут быть использованы для сравнения групп, дисперсионного анализа и других статистических методов.

Обзор пакета GAMME

28:30

Видео обсуждает пакет GAMME, который позволяет строить аддитивные модели с использованием сплайнов.
В пакете есть четыре функции для работы с предикторами: с, f, f, и t.
Функция с позволяет обрабатывать предиктор как сплайн, а функция f - как категориальный предиктор.

Пример использования пакета GAMME

34:20

В качестве примера используется набор данных о заработках рабочих из средней атлантической области США.
В результате анализа данных обнаруживается, что взаимосвязь между предикторами выглядит как облако саранчи.
Для визуализации данных используется функция mape.

Построение модели с использованием GAMME

39:10

Модель строится с использованием функции GAM, которая принимает независимые переменные и зависимую переменную.
В результате получается таблица с показателями качества модели и предупреждениями о возможных проблемах с расчетом.

Визуализация аддитивных моделей

44:04

В видео обсуждается визуализация эффектов каждого предиктора в аддитивной модели с использованием метода "Дженни Рид и Грид".
Этот метод позволяет отображать зависимость каждого предиктора от зависимой переменной.

Интерпретация результатов

49:56

Визуализация показывает, что уровень интереса к науке и уровень образования имеют отрицательную корреляцию.
Это может быть связано с тем, что уровень образования может быть связан с уровнем дохода, что может влиять на интерес к науке.

Регуляризация и логистическая регрессия

55:48

В видео обсуждаются различные способы регуляризации и использования логистической регрессии для обобщенных аддитивных моделей.
В данном случае, модель предсказывает класс работы, который относится к данному рабочему.

Логистическая регрессия с факторным предиктором

1:00:35

В видео объясняется, как использовать логистическую регрессию с факторным предиктором для анализа данных.
Показано, как преобразовать категориальные данные в числовые и как использовать функцию логистической регрессии для построения модели.

Ограничения на взаимосвязь предиктора и зависимой переменной

1:11:12

В видео обсуждаются различные ограничения на взаимосвязь предиктора и зависимой переменной, включая монотонность, выпуклость и вогнутость.
Показано, как эти ограничения влияют на модель и как они могут помочь в интерпретации результатов.

Обсуждение моделей и их использования

1:16:05

В видео обсуждается модель, которая не является хорошей, но дает полезные инсайты.
Модель показывает, что переменная "r" имеет взаимосвязь с другими переменными, хотя изначально она не была значимой.

Сегментированная регрессия и метод МарС

1:18:59

Сегментированная регрессия используется для определения мест перегиба взаимосвязи между предикторами и зависимой переменной.
Метод МарС (модифицированные аддитивные модели) является непараметрическим методом, который автоматически отбирает переменные и использует шарнирную функцию для определения узлов.

Вопросы и ответы

1:22:52

Автор отвечает на вопросы о том, зачем нужны позитивные модели и почему они могут быть полезными.
Он также упоминает о существовании других моделей, таких как случайные леса, нейронные сети и машины опорных векторов, которые могут быть использованы в определенных случаях.