«Мультимодальный эксперимент в когнитивных исследованиях языка» М. И. Киосе

Мультимодальный эксперимент в когнитивных исследованиях языка

0:00

Мария Киоса представляет доклад о мультимодальном эксперименте в когнитивных исследованиях языка.
Она рассказывает о своей работе в двух организациях: МГЛУ и Институте языкознания РАН.

Важность изучения мультимодальности

3:28

Мария обсуждает важность изучения мультимодальности для когнитивных исследований языка.
Она объясняет, что мультимодальность позволяет изучать процесс конструирования знаний об объектах и событиях.

Методы исследования мультимодальности

9:22

Мария обсуждает два метода исследования мультимодальности: мультимодальный эксперимент и анализ мультимодального поведения.
Она приводит примеры использования этих методов для изучения восприятия и мультимодального поведения.

Конструирование пространства и коммуникаций

13:33

В видео обсуждается использование слова "вот" для конструирования пространства и коммуникаций.
В первом случае, слово используется для описания пространства вне коммуникаций, во втором - для описания ощущения и оценки пространства в настоящий момент.

Методика косвенных измерений

15:27

Методика анализа основана на сравнении изменений в конструированном знании и использовании разных коммуникативных модальностей.
Это позволяет ранжировать значимость информации и определить, как языковая информация влияет на поведение человека.

Эксперимент с конструированием разных типов событий

18:12

В эксперименте участники должны были извлечь информацию из текстовых фрагментов и изложить ее.
Результаты показали, что максимальная продолжительность фиксации связана с присутствием определенных характеристик конструирования событий, таких как конкретные объекты, динамика действия, глаголы восприятия и субъективация.

Эксперимент с конструированием информации разной степени выделенности

25:03

В этом эксперименте участники должны были оценить степень выделенности и фокусирования в гетеросемиотических образцах, включающих текст и изображение.
Результаты показали, что языковое конструирование играет важную роль в достижении разных степеней выделенности и фокусирования информации.

Анализ языкового фокусирования

25:53

В эксперименте использовались комиксы, стихотворение и рассказ с иллюстрациями для анализа языкового фокусирования.
Были отобраны 100 образцов, которые были пронотированы по параметрам фокусирования.
В качестве стимулов использовались пять образцов, которые были размечены по зонам интереса.
В анализе использовались 15 участников, которые проходили тест на индекс вербальности.
В результате анализа было выявлено, что размер зрачка реагирует на шесть параметров графика орфографического фокусирования и один параметр лексического фокусирования.
Продолжительность фиксации согласуется с двумя параметрами графика орфографического фокусирования.

Анализ мультимодального поведения

36:48

В исследовании участвовали студенты-лингвисты, которые решали коммуникативную метаязыковую задачу - пояснить различия между близкими синонимами.
В ходе анализа было обнаружено, что участники часто поясняли что-то, отталкиваясь от слова или объекта.
Метод анализа - анализ мультимодального поведения (речь и жест).
В результате анализа было выявлено, что языковое оформление слов и объектов может быть согласованным с жестовым поведением.

Методологическое решение

38:18

В исследовании используется концепция конструирования референтов, основанная на когнитивной семантике и новосиологии.
Конструирование референта может происходить двумя путями: от слова и от объекта.

Эксперимент и анализ

40:18

В эксперименте участвовали 19 студентов в возрасте 18-23 лет.
Анализировались средства нечеткой референции: заместители и аппроксиматоры.
Использовалась кодовая разметка для анализа жестов и речи.
Приведены примеры конструирования слова и объекта в речи участников эксперимента.

Конструирование референтов

42:08

Участники используют различные тактики для конструирования референтов, включая представление звуковых и графических характеристик, лексико-семантических и фразео-семантических характеристик, функциональных характеристик и прагматических аспектов.
Референты могут быть представлены в аспекте меронимических отношений, типа, класса, функционала.

Жесты и заместители

44:56

Заместители и апроксиматоры используются для конструирования референтов, но с разными тактиками.
Заместители чаще используются для конструирования объектов, а апроксиматоры - для слов.
Репрезентирующие жесты чаще используются с заместителями, а прагматические жесты - с апроксиматорами.

Конструирование пространства

49:28

Участники используют указательные местоимения и частицы для конструирования пространства в коммуникации и вне коммуникации.
Конструирование пространства коммуникации и вне коммуникации может быть проанализировано с помощью системы координат или фреймов.

Анализ использования жестов и слов

52:33

В докладе обсуждается использование жестов и слов для конструирования пространства в коммуникации и вне коммуникации.
Гипотезы о том, что указательные жесты будут использоваться для отсылки к более отдаленным объектам, не подтвердились.
Вместо этого, различия были обнаружены в использовании репрезентирующих жестов.

Результаты экспериментов

1:01:32

В ходе четырех экспериментов было установлено, что слово "вот" чаще используется для конструирования пространства вне коммуникации, чем "там".
Это может быть связано с дискурсивной мерсивностью говорящих и кластеризацией с другими указательными средствами.

Заключение

1:03:22

Анализ использования жестов и слов позволяет ранжировать значимость языковой информации об объектах и событиях при конструировании знания.
Также устанавливается паттерны согласования разных коммуникативных модальностей.

Обсуждение эксперимента

1:04:40

В эксперименте использовались стационарные трекеры для отслеживания глазодвигательного поведения участников.
В качестве зон интереса рассматривались отдельные слова, а не отдельные слова.
В некоторых экспериментах использовались очки с трекерами, но в данном случае они не использовались.

Вопросы и ответы

1:10:13

Вопрос о степени вербализации и вербальности студентов.
Ответ: использовался тест с трупа для определения степени вербальности.
Вопрос о универсальности жестов и их связи с лингвистическими единицами и понятийными единицами.
Ответ: сложно говорить об универсальности, так как факторы вариативности сильно определяют варьирование.
Вопрос о языковых средствах, используемых в эксперименте.
Ответ: дискурсивы, которые рассматриваются как языковые единицы, но также выполняют когнитивную функцию в дискурсе.

Обсуждение кейсов

1:16:46

Обсуждение кейсов, связанных с референтом слова и объекта, а также с лингвистами и их особенностями конструирования референда.
Упоминание о том, что в эксперименте участвовали лингвисты, и их особенности конструирования слова интересны для изучения.

Вопросы и ответы

1:20:06

Обсуждение доступности материалов кейсов, их поиска и этических вопросов.
Упоминание о том, что анализ третьего и четвертого кейсов был связан с экспозитивным дискурсом и его особенностями.
Обсуждение возможных различий в анализе дискурса в зависимости от его типа.

«Мультимодальный эксперимент в когнитивных исследованиях языка» М. И. Киосе

Ключевые темы и таймкоды

Мультимодальный эксперимент в когнитивных исследованиях языка

Важность изучения мультимодальности

Методы исследования мультимодальности

Конструирование пространства и коммуникаций

Методика косвенных измерений

Эксперимент с конструированием разных типов событий

Эксперимент с конструированием информации разной степени выделенности

Анализ языкового фокусирования

Анализ мультимодального поведения

Методологическое решение

Эксперимент и анализ

Конструирование референтов

Жесты и заместители

Конструирование пространства

Анализ использования жестов и слов

Результаты экспериментов

Заключение

Обсуждение эксперимента

Вопросы и ответы

Обсуждение кейсов

Вопросы и ответы