СПбГУ -- 2022.11.01 -- Информационные критерии сравнения моделей

YOUTUBE · 01.12.2025 08:57

Ключевые темы и таймкоды

Введение в байесовский информационный критерий

0:11

В видео обсуждается выбор моделей на основе байесовского информационного критерия, который сравнивает модели друг с другом на основе значения знаменателя теоремы Байеса.
Обсуждается, как этот критерий может быть аппроксимирован, и откуда берутся его параметры.

Лапласовская аппроксимация

3:44

В видео объясняется, как использовать лапласовскую аппроксимацию для оценки правдоподобия модели при условии.
Аппроксимация основана на приближении плотности вероятностей гауссианом в окрестности локального максимума.

Применение байесовского информационного критерия

5:34

В видео приводится пример применения байесовского информационного критерия для сравнения моделей.
Обсуждаются различные информационные критерии, включая информационный критерий Акаики.
В видео также обсуждаются матрицы вторых производных и их роль в оценке параметров моделей.

Обсуждение информационных критериев

10:00

В видео обсуждается использование информационных критериев для выбора гипер-параметров и подбора силы регуляризации.
Обсуждается использование логарифма правдоподобия в точке максимального правдоподобия для определения информационных критериев.

Интегралы и гауссианы

15:00

Рассматривается интеграл, который можно представить как ожидание по гауссиану с центром и ковариацией.
Обсуждается, что этот интеграл равен нулю, если среднее гауссиана равно нулю.

Приближенное равенство

20:27

В видео приводится приближенное равенство для информационных критериев, которое учитывает логарифм правдоподобия в точке максимального правдоподобия, логарифм правдоподобия в окрестности этой точки и логарифм определителя ковариации.
Обсуждается, что это приближенное равенство будет более точным, если число точек эн будет достаточно большим.

Байесовский информационный критерий

22:21

В видео обсуждается байесовский информационный критерий, который используется для выбора между моделями на основе их правдоподобия.
Формула байесовского информационного критерия: -2ln(p(x|m)) + ln(p(m)) + const, где p(x|m) - логарифм правдоподобия, p(m) - логарифм вероятности модели, и const - константа.

Вероятностный выбор моделей

26:10

Обсуждается другой взгляд на вероятностный выбор моделей, основанный на попытке оценить качество аппроксимации данных с помощью параметрической модели.
Формула для вероятностного выбора моделей: -2ln(p(x|m)) + ln(p(m)) + const, где p(x|m) - логарифм правдоподобия, p(m) - логарифм вероятности модели, и const - константа.
Цель - оценить смещение оценки максимального правдоподобия.

Обсуждение информационных критериев

35:05

В видео обсуждаются информационные критерии, которые используются для оценки параметров в статистических моделях.
Обсуждаются результаты, которые получаются при использовании максимального правдоподобия и других информационных критериев.

Обсуждение матриц информации Фишера

40:37

В видео объясняется, что матрицы информации Фишера являются важными объектами в статистике и машинном обучении.
Обсуждаются различные результаты, которые получаются при использовании матриц информации Фишера.

Оценка смещения

49:12

В видео обсуждается задача оценки смещения, то есть разницы между истинным распределением и распределением, полученным с помощью максимального правдоподобия.
Обсуждается использование информационных критериев для оценки смещения.

Оценка смещения

52:13

Автор объясняет, что оценивает разницу между логарифмами правдоподобия при условии тета-ноль и тета-мл.
Он разбивает эту разницу на три части: логарифм правдоподобия при условии тета-ноль, ожидание по датасету от логарифма правдоподобия при условии тета-ноль, и ожидание по датасету от логарифма правдоподобия при условии тета-мл.

Оценка бэ-1 и бэ-2

1:00:34

Автор объясняет, как оценивает бэ-1 и бэ-2, используя ожидание по датасету и логарифмы правдоподобия.
Он объясняет, что бэ-1 - это ожидание по датасету от логарифма правдоподобия при условии тета-ноль минус ожидание по датасету от логарифма правдоподобия при условии тета-мл.
Бэ-2 - это ожидание по датасету от логарифма правдоподобия при условии тета-ноль минус ожидание по датасету от логарифма правдоподобия при условии тета-мл.

Оценка бэ-3

1:05:03

Автор объясняет, как оценивает бэ-3, используя аппроксимацию Тейлора и матрицу вторых производных.
Он также объясняет, что бэ-3 - это ожидание по датасету от логарифма правдоподобия при условии тета-ноль минус ожидание по датасету от логарифма правдоподобия при условии тета-мл.

Оценка параметров

1:08:45

В видео обсуждается оценка параметров в линейной модели, где матрица ковариации вектора корня из Z равна нулю.
Для оценки параметров используется информационный критерий, который учитывает асимптотическое приближение матрицы ковариации.

Информационный критерий

1:18:04

Вводится информационный критерий, который основан на логарифме правдоподобия и вторых производных.
Для его применения используются оценки параметров, полученные из выборки данных.
В итоге получается формула информационного критерия, которая называется информационным критерием Такиучи.

Информационный критерий Акаике

1:22:49

В видео обсуждается информационный критерий Акаике, который был представлен на симпозиуме по потере информации в Армении в 1970-х годах.
Критерий Акаике важен для статистики и обработки экспериментов.

Пример полиномиальной регрессии

1:26:34

В примере рассматривается полиномиальная регрессия с использованием информационного критерия Акаике.
Показано, что в не слишком плохом предположении формула информационного критерия упрощается.

Сравнение информационных критериев

1:31:16

В видео сравниваются информационные критерии Акаике и Байеса.
Показано, что оба критерия достигают минимума в пятой степени полинома.
Критерии начинают возрастать по мере роста степени полинома, так как он начинает хуже описывать точки.