Защита докторской диссертации Массачусетского технологического института: Методы обеспечения интерпретируемости и прозрачности моделей черного ящика

YOUTUBE · 29.11.2025 05:18

Ключевые темы и таймкоды

Вступление и представление Юна

0:00

Юн получил степень бакалавра в университете Дьюка в 2017 году и присоединился к отделу ecs в лаборатории.
Юн представил свою первую авторскую работу по изучению и управлению взаимодействиями сложных объектов на конференции RSS в 2016 году.

Исследования Юна и его вклад в диссертацию

3:13

Юн провел новаторскую работу по разработке новых методов оценки правильности объяснений и прозрачности понимания модели человеком.
Юн расширил интеллектуальную широту и глубину работы в лаборатории, став автором одной из первых работ по nacl.

Обзор совместимости и прозрачности моделей

5:36

Юн обсуждает функциональную совместимость моделей и их использование для объяснения прогнозов.
Он предлагает новый способ определения объяснений моделей, основанный на двойственности между определениями и концепциями оценки.

Оценка модельных объяснений и прозрачность

9:33

Юн обсуждает оценку модельных объяснений, используя прокси-метрики и кривую каппы полноты.
Он также рассматривает проблему определения входных данных, которые мы хотим объяснить, и предлагает перспективу прозрачности.

Двойственность между определением и оценкой

12:41

В видео обсуждается двойственность между определением и оценкой в контексте машинного обучения.
Обсуждаются различные показатели, используемые для оценки качества объяснения, такие как градиент и полнота.

Оценка корректности объяснений

19:34

Обсуждается проблема корректности объяснений, когда они не имеют смысла или не соответствуют основным принципам машинного обучения.
Предлагается использовать обоснованность модели для оценки корректности объяснений.

Оценка эффективности методов объяснения

24:18

Эксперименты показывают, что некоторые методы объяснения могут работать хуже, чем другие, даже если они предназначены для обнаружения определенных функций.
Рекомендуется проверять эффективность методов объяснения в контролируемой среде перед использованием их для изучения моделей.

Локальные объяснения и их оценка

26:52

Видео обсуждает локальные объяснения, которые генерируются или вычисляются для использования человеком для понимания модели на более высоком уровне.
Обсуждается проблема понятности и предлагается структура краткого объяснения для иллюстрации этого аспекта.

Прозрачность на примере

36:09

Видео объясняет прозрачность на примере, используя круги с семью запутанными примерами.
Обсуждаются примеры, которые вызывают путаницу в классификаторе цифр и ошибки с высокой степенью достоверности.
Предлагается использовать генератор изображений, вероятностный поведенческий фильтр и карты значимости для анализа этих примеров.

Объяснение моделей машинного обучения

41:43

В видео обсуждаются методы объяснения моделей машинного обучения, которые используются для повышения надежности и справедливости систем.
Упоминаются проблемы конфиденциальности и прозрачности, связанные с обучением моделей на основе данных из Интернета.

Благодарности

42:50

Автор благодарит своих консультантов, комитет, коллег и семью за поддержку и помощь в работе над диссертацией.

Вопросы и ответы

45:12

Автор отвечает на вопросы о методах объяснения моделей, двойственности и компромиссах между простотой и полнотой объяснений.
Обсуждаются важность целостной оценки качества объяснений и необходимость привлечения всех заинтересованных сторон для разработки более всеобъемлющей структуры оценки.