Лекция. Постановка задачи языкового моделирования. Метрики качества

YOUTUBE · 01.12.2025 09:40

Ключевые темы и таймкоды

Введение в языковое моделирование

0:06
  • Обсуждение постановки задачи языкового моделирования.
  • План лекции: базовая интуиция, применение в реальном мире, формальная постановка задачи, перплексия.

Пример работы языковой модели

0:27
  • Языковая модель предсказывает вероятность следующего слова по контексту.
  • Пример: «студенты открыли свои» — контекст, модель выдаёт вероятности для «книжки», «тетрадки», «ноутбука».

Тест Тьюринга

1:19
  • Тест Тьюринга оценивает способность машины имитировать интеллект и сознание.
  • Задача машины — обмануть человека, чтобы он не смог определить, перед ним компьютер или человек.
  • Языковое моделирование может помочь пройти тест Тьюринга.

Применение языковых моделей в реальном мире

2:40
  • Примеры использования: подсказки в клавиатурах смартфонов, чат-боты.
  • Пример чат-бота: предсказание следующего слова в виде диалога.

Формальная постановка задачи

3:39
  • Необходимость фиксированного словаря для работы модели.
  • Формально языковая модель — это вероятность распределения слова при условии предыдущих слов.

Расчёт вероятности текста

4:32
  • Вероятность текста рассчитывается как произведение вероятностей каждого слова при условии предыдущих.
  • На практике используется логарифм вероятности для удобства вычислений.

Пример расчёта вероятности

6:03
  • Пример расчёта вероятности текста «студенты открыли свои книги».
  • Расчёт логарифма вероятности текста: -4.8.

Перплексия

6:37
  • Перплексия — метрика для оценки качества языковых моделей.
  • Формула перплексии: корень пятой степени из 1 / произведение условных вероятностей.
  • Чем ниже перплексия, тем лучше модель.

Важность языкового моделирования

9:25
  • Языковые модели используются в системах машинного обучения: автодополнение текста, исправление грамматических ошибок, машинный перевод, распознавание речи, диалоговые системы.
  • Языковые модели являются бенчмарком для оценки прогресса в обработке естественного языка.

Заключение

10:01
  • Подведение итогов: определение языковых моделей, их применение, формальная постановка задачи, оценка качества с помощью перплексии.
  • Анонс следующего видео: решение задачи языкового моделирования с помощью энграмм.