Перевести страницу на:  
Please select your language to translate the article


You can just close the window to don't translate
Библиотека
ваш профиль

Вернуться к содержанию

Программные системы и вычислительные методы
Правильная ссылка на статью:

Ай-трекинговое исследование влияния композиции на восприятие кинокадра

Боревич Екатерина Владиславовна

ORCID: 0000-0001-6263-3901

ассистент высшей школы дизайна и архитектуры, Санкт-Петербургский политехнический университет Петра Великого

195251, Россия, Санкт-Петербург область, г. Санкт-Петербург, ул. Политехническая, 29

Borevich Ekaterina Vladislavovna

Assistant of the Higher School of Design and Architecture, Peter the Great St. Petersburg Polytechnic University

195251, Russia, Sankt-Peterburg oblast', g. Saint Petersburg, ul. Politekhnicheskaya, 29

plasma5210@mail.ru
Другие публикации этого автора
 

 

DOI:

10.7256/2454-0714.2023.1.39634

EDN:

IWYBNX

Дата направления статьи в редакцию:

18-01-2023


Дата публикации:

04-04-2023


Аннотация: Представленные исследования направлены на изучение элементов, влияющих на визуальное восприятие кинокадра с целью выработки методических рекомендаций для гармонизации кадра в процессе кинопроизводства. Объект исследования – кинокадр. Предмет исследования – технологии обработки кинокадра. Цель данной работы – получить экспериментальные данные шаблона рассматривания кинокадра и выявить статистические закономерности для подтверждения или опровержения сформулированной гипотезы. Задача – провести экспериментальное исследование влияния композиции на параметры шаблона рассматривания кинокадра. Исследуется влияние фактор взаимного отношения площадей центров интереса к фону на параметры шаблона рассматривания стимульного материала. В результате проделанной работы разработана методика проведения экспериментальных исследований восприятия визуальной информации человеком с применением программно-аппаратного комплекса ай-трекинга. Полученные результаты показывают, что при условии, когда объекты занимают незначительную площадь кадра, наблюдателю требуется больше времени, чтобы рассмотреть этот кадр. Также как и в случае, когда объекты занимают большую часть кадра (более 40%). В первом случае, ввиду небольших размеров объектов, наблюдателю становится труднее отыскать объекты в пространстве кадра. Во втором случае, требуется время, для идентификации объектов, так как они, в виду больших размеров, тяготеют к тому, чтобы быть восприняты как фон.


Ключевые слова:

Композиция, Визуальная привлекательность, Кинокадр, Ай-трекер, Цветовое решение, Эксперимент, Статистический анализ данных, Гештальтпсихология, Зрительная система человека, Кинематограф

Abstract: The research is aimed at studying the elements that affect the visual perception of the film frame in order to develop methodological recommendations for the process harmonization of the film frame. The object of research is a film frame. The subject of the research is the technology of film frame processing. The purpose of this work is to obtain experimental data of the film frame viewing pattern and to identify statistical patterns to confirm or refute the formulated hypothesis. The goal of the study is to conduct an experimental study of the influence of composition on the parameters of the film frame viewing pattern. The influence of the factor of the mutual ratio of the areas of the centers of interest to the background on the parameters of the template for viewing the stimulus material is investigated. As a result, the methodology has been developed for conducting experimental studies of human perception of visual information using an eye-tracking software and hardware complex. When analyzing data on the influence of the objects size factor. The results obtained show that under the condition that objects occupy a small area of the frame, the observer needs more time to consider this frame. As well as in the case when objects occupy most of the frame (more than 40%). In the first case, due to the small size of the objects, it becomes more difficult for the observer to find objects in the frame space. In the second case, it takes time to identify objects, since they tend to be perceived as a background due to their large size.


Keywords:

Composition, Visual appeal, Film frame, Eye-tracker, Color scheme, Experiment, Statistical analysis of data, Gestalt psychology, Human visual system, Cinematograph

Введение

Кинематограф, как явление куль­туры с достаточно специфическими особенностями, сформировался, пройдя много этапов своего развития. Прогресс кино шел не только в техническом плане, который состоял в развитии и совершенствовании средств съемки и монтажа фильма, но и в художественном. Элемент творчества не сразу вошел в режиссуру фильма, для этого потребовалось продолжительное время становления кинематографа как предмета искусства. В настоящее время, можно говорить о наличии в кинематографе своего, уникального художественного языка повествования, который имеет свой синтаксис [1].

Восприятие художественного произведения, и кинокадра в том числе, тесно связано с физиологией восприятия визуальной информации человеком. Законы построения кадра в кинематографе, аналогичны произведениям живописи и стремятся к такому отражению действительности, которое способствовало бы более глубокому погружению зрителя в происходящее действие на экране. Важную роль в процессе погружения зрителя в атмосферу фильма играет правильно и качественно спроектированный кинокадр, являющийся минимальной структурной единицей кинофильма.

Существует несколько альтернативных подходов к шаблону восприятия информации. Один из них рассматривает этот процесс как интеграцию путем пространственного сопоставления информации путём суммирования информации от последовательных фиксаций [2]. Альтернативный подход предполагает, что информация из последовательных фиксаций агрегируется не путем объединения «снимков» фиксаций, а путем интеграции более сложных визуальных атрибутов на средних и высоких уровнях анализа [3].

Представленные исследования направлены на изучение элементов, влияющих на визуальное восприятие кинокадра с целью выработки методических рекомендаций для гармонизации кадра в процессе кинопроизводства.

Объект исследования – кинокадр. Предмет исследования – технологии обработки кинокадра.

1. Теоретическая модель

В настоящее время не существует общепринятой единицы измерения визуальной привлекательности кинокадра, что не позволяет сравнивать кадры между собой сравнением их параметров. Для оценки качества выполненной работы используется достаточно субъективный экспертный анализ.

Под Визуальной привлекательностью кинокадра, понимаем свойство кинокадра, направленное на привлечение и удержание внимания зрителя, в результате совокупного воздействия его элементов (рис.1). Композиционное построение кадра состоит из трех основных элементов. Пер­вый – это композиция. Второй элемент кинокадра – это наличие движения. И третий – это цветовое решение [4].

На визуаль­ную привлекательность кинокадра влияет «информативность» и композиционное построение. В свою очередь «информативность» кадра определяется замыслом режиссера, а реализация замысла происходит с помощью композиционного построения, состоящего из трех составляющих – композиции, динамики и цветового решения (рис.1). В результате экспериментального исследования было выявлено, что «информативность» кадра влияет на шаблон рассматривания кинокадра [5]. Под шаблоном рассматривания понимается набор количественных параметров глазодвигательной активности, получаемый с помощью программно-аппаратного комплекса eye-tracker при рассматривании испытуемым стимульного материала [6]. Композиционное построение кадра, как его неотъемлемая составляющая, тоже влияет на шаблон рассматривания. Анализируя параметры шаблона рассматривания методами математической статистики, можно сравнивать визуальную привлекательность кадров, используемых в качестве стимульного материала в проводимом эксперименте.

Рис. 1. Схема проектирования кадра. Элементы кадра, влияющие на визуальную привлекательность

В рамках настоящего исследования был проведен ряд экспериментов, целью которых было исследование значимости влияния цветового решения [7,8], «информативности» и стилизации [9] кинокадра на восприятие его зрителем. Работа зрительной системы по распознаванию образа происходит в три этапа (рис.2). Первый этап – это механическое сканирование изображения глазом. Он происходит бессознательно и заключается в беглом «ощупывании» изображения глазом. Второй этап – это распознавание увиденного образа – подключается работа головного мозга. Третий этап – это эмоциональный отклик зрителя. Человек составляет собственное впечатление от увиденного. В результате экспериментального исследования было установлено, что требуемое для сканирования изображения время – величина постоянная, а время распознавания стимула зависит от содержания.

Рис.2. Схема работы зрительной системы человека по распознаванию образа

Цель данной работы – получить экспериментальные данные шаблона рассматривания кинокадра и выявить статистические закономерности для подтверждения или опровержения сформулированной гипотезы.

Постановка задачи исследования. Провести экспериментальное исследование влияния композиции на параметры шаблона рассматривания кинокадра.

2. Стимульный материал

Для составления визуального ряда, стимульного материала, выбраны кадры из фильмов. Содержимое кадров отвечало ряду требований, таких как: эмоциональная нейтральность и наличие минимальной смысловой нагрузки, однако предметность должна сохраняться. Кроме того, кадры были выбраны таким образом, чтобы изображение имело два центра интереса, имеющих разные взаимные отношения площадей. В итоге была создана база из 120 соответствующих поставленным условиям кадров (рис.3).

Рис. 3. Пример стимульного материала

Целью настоящего эксперимента являлось исследование влияния фактора композиции на воспри­ятие кинокадра. В описываемом эксперименте было уделено внимание композиционному построению кадра – взаимному соотношению площадей центров интереса к фону. Стимульный материал эксперимента подобран так, чтобы взаимное отношение площадей центров интереса к фону можно было разделить на три группы. В результате были получены изображения, которые однозначно можно разделить на три группы (рис.4): объекты занимают менее 25% площади кадра, от 25 до 40% и группа, в которой объекты занимают более 40% площади кадра. Вычислялось процентное соотношение суммы площадей объектов (центров интереса) к фону.

А) б) в)

Рис.4. Стимульный материал с процентным соотношением площади, занимаемой центрами интереса, к фону А) Менее 25%; б) от 25 до 40%; в) более 40%

Следующий фактор — это расстояние между объектами (центрами интереса). Стимулы разделены на две группы: в первой группе объекты располагаются в кадре так близко, что тяготеют быть воспринятыми как один гештальт (рис.5а). Во второй группе стимулов объекты расположены на расстоянии большем, чем сам объект, что позволяет их воспринимать как отдельные сущности(рис.5б). Поле зрения определяется как «количество градусов угла зрения при стабильной фиксации глаза [10]. При увеличении расстояния между объектами увеличивается задействованная область поля зрения у испытуемого, что требует от него осуществлять более значительные перемещения взгляда по пространству кадра для идентификации объектов.

А) б)

Рис. 5. Стимульный материал с расстоянием между объектами (центрами интереса): А) меньшем, б) большем; чем большее из двух измерений объекта

3. Постановка эксперимента

В настоящее время активно развиваются исследования, использующие технологию фиксирующую глазодвигательную активность [11]. Исследователи представляют новейшие технологии отслеживания взгляда и оценки взгляда. Вслед за недавними технологическими достижениями и появлением доступных ай-трекеров растет интерес к широко распространенным технологиям, ориентированным на внимание системы и интерфейсы, которые могут произвести революцию в общепринятом человеческо-технологическом взаимодействии [12].

Для проведения текущего эксперимента использовался аппаратный комплекс, фиксирующий глазодвигательную активность – программно-аппаратный комплекс ай-трекинга SMI RED 250 (рис. 6). Для каждого испытуемого настраивалось кресло и подставка для фиксации головы. Также производилась калибровка ай-трекера индивидуально с помощью встроенной в комплекс функции.

Рис. 6. Экспериментальная установка с ай-трекером: компьютерный монитор, ай-трекер и подголовник

В настоящем эксперименте испытуемым было предложено решить задачу по идентификации демонстрировавшихся им на первом этапе стимулов, среди множества других. В эксперименте фиксировалось изменение шаблона рассматривания кадра в зависимости от двух факторов: площадь главных объектов в кадре и расстояние между объектами.Результаты эксперимента по влиянию цветового решения описаны в статье[4].

Эксперимент состоял из двух этапов. На первом этапе испытуемому предъявлялись 10 стимулов. Необходимо было запомнить изображения. Время для запоминания не ограничивалось. Через временной промежуток времени (30 мин.) испытуемому предъявлялись 50 стимулов, которые включали все кадры из первой части эксперимента и случайно выбранные из базы 40 стимулов. На втором этапе испытуемому предлагалось решает задачу по распознавания стимула. Каждому участнику эксперимента предлагается выбрать из 50 кадров те стимулы, которые он уже видел ранее. Порядок демонстрации материала на обоих этапах последовательный и случайный. Продолжительность рассматривания стимула испытуемым на этапе распознавания испытуемый также устанавливал самостоятельно.

4. Результаты

В эксперименте участвовало 44 человека от 18 до 25 лет из студентов Санкт-Петербургского политехнического университета Петра Великого. Статистическая обработка результатов эксперимента производилась посредством дисперсионного анализа ANOVA [13]. Анализировались следующие параметры шаблона рассматривания: время наблюдения стимула, средняя длительность фиксаций при наблюдении одного стимула, среднее количество фиксаций при наблюдении одного стимула, среднее время саккад и среднее количество саккад при наблюдении одного стимула. Задачей анализа было выявить влияние факторов размера объектов и их удаленности друг от друга. Значение критерия значимости p-value для принятия гипотезы было выбрано 0,05. Значения p-value, полученные в результате выполнения вычислительной процедуры представлены, в таблице 1: фактор Square – процентное отношение суммы площадей объектов к фону; фактор dist – расстояние между объектами.

Таблица 1. Значения критерия значимости p-value для исследуемых факторов

фактор

p-value

square

0.042829

dist

0.040432

График плотности распределения времени рассматривания стимула в зависимости от фактора размера представлен на рисунке 7.

Рис. 7. График плотности распределения времени рассматривания стимула в зависимости от фактора размера объектов

По оси ординат расположены значения параметра длительности рассматривания стимула в миллисекундах. Представлены значения для стимулов, разделённых на три группы по фактору взаимного отношения площадей: менее 25% - размеры объектов незначительные по сравнению с площадью кадра, такие объекты сложнее разглядеть, потому что они теряются на большом пространстве фона; 25-40% - для рассматривания этой группы стимулов испытуемым потребовалось наименьшее количество времени, из чего можно сделать вывод, что эта группа стимулов оказалась наиболее удобной для рассматривания; более 40% - размеры объектов настолько значительны, что тяготеют быть воспринятыми как фон, поэтому для их идентификации требуется больше времени.

Экспериментальные данные показали, что фактор удалённости объектов друг от друга влияет на восприятие кинокадра (рис. 8).

Рис.8. График плотности распределения времени рассматривания стимула в зависимости от фактора расстояния между объектами: 1 – расстояние между объектами меньше; 2 – расстояние между объектами больше, чем объект

По оси ординат расположены значения параметра длительности рассматривания стимула в миллисекундах. Представлены значения для стимулов, разделённых на две группы по фактору расстояния между объектами: 1 – расстояние между объектами меньше, чем объект; 2 – расстояние между объектами больше, чем объект, поэтому испытуемым требовалось больше времени для рассматривания большей площади кадра.

По результатам статистического анализа можно утверждать, что параметры шаблона рассматривания имеют статистически значимую зависимость от факторов размера и удаленности объектов друг от друга в кадре.

5. Выводы

При анализе данных о влиянии фактора размера объектов, полученные результаты показывают, что при условии, когда объекты занимают незначительную площадь кадра, наблюдателю требуется больше времени, чтобы рассмотреть этот кадр. Также как и в случае, когда объекты занимают большую часть кадра (более 40%). Можно предположить, что, в первом случае, ввиду небольших размеров объектов, наблюдателю становится труднее отыскать объекты в пространстве кадра, а во втором случае, требуется время, для идентификации объектов, так как они, в виду больших размеров, тяготеют к тому, чтобы быть восприняты как фон.

Если рассматривать фактор удалённости объектов друг от друга, то стоит отметить, что при большем расстоянии между объектами испытуемому приходится переводить взгляд по площади кадра, что заставляет его дольше рассматривать кадр.

Композиция влияет на шаблон рассматривания кадра человеком. Когда два объекта расположены на большем расстоянии друг от друга в кадре, то зритель рассматривает дольше такой кадр.

В результате проделанной работы разработана методика проведения экспериментальных исследований восприятия визуальной информации человеком с применением программно-аппаратного комплекса ай-трекинга.

Разработанная методика была апробирована на 44 испытуемых из числа студентов Санкт-Петербургского политехнического университета Петра Великого и показала свою состоятельность.

Кинокадр – это условный интерфейс передачи визуальной информации [14]. Разработанная методика может быть использована при проведении исследований по восприятию визуальной информации в графических интерфейсах систем удаленного управления динамическими объектами.

Библиография
1. Лотман Ю.М. Семиотика кино и проблемы киноэстетики // Лотман Ю.М. Об искусстве (СПб., 1998)
2. Jonides J., Irwin D.E., Yantis S. Integrating visual information from successive fixations // Science. 1982. V.215.P. 192-194.
3. Burr D., Morrone M.C. Eye movements: building a stable world from glance to glance //Curr Biol. 2005. V.15. №20.P. 839-840.
4. Mescheryakov S.V., Yanchus V.E., Borevich E.V. Experimental Research of Digital Color Correction Models and Their Impact on Visual Fixation of Video Frames // Humanities and Science University Journal. 2017. V. 27. P. 15-24.
5. Borevich E.V., Yanchus V.E., Mescheryakov S.V. Computer Eye-Tracking Model to Investigate Influence of the Viewer's Perception of the Graphic Information // GraphiCon 2021: труды 31-й Междунар. конф. по компьютерной графике и машинному зрению. P. 720-728
6. Орлов П.А., Лаптев В.В., Иванов В.М. К вопросу об использовании ай-трекинг систем // Научно-технические ведомости СПбГПУ. 2014. Т. 5 (205). С. 84–94.
7. Янчус В.Э., Боревич Е.В. Исследование значения цветового решения в процессе гармонизации кинокадра // Научно-технический вестник СПбГПУ. 2016. Т. 4. С. 53–68.
8. Borevich E.V., Mescheryakov S.V., Yanchus V.E. Statistical Model of Computing Experiment on Digital Color Correction //DCCN.2019.P.140-150.
9. Янчус В.Э., Боревич Е.В., Авдеева А.А. — Применение технологии ай-трекинга в вопросах исследования восприятия графической информации // Программные системы и вычислительные методы. – 2021. – № 1. DOI: 10.7256/2454-0714.2021.1.33378
10. Страсбургер, Ганс; Пёппель, Эрнст (2002). Поле зрения. В G. Adelman & BH Smith (Eds): Encyclopedia of Neuroscience; 3-е издание на компакт-диске. Elsevier Science BV, Амстердам, Нью-Йорк.
11. Norman D.A., Draper S.W. User Centered System Design. Erlbaum: London, 1986. 526 p.
12. Majaranta P., Bulling A. Eye Tracking and Eye-Based Human-Computer Interaction // Advances in Physiological ComputingHuman-Computer Interaction Series, 2014. P. 39-59.
13. Гланц, С. Медико-биологическая статистика / Стентон Гланц; Пер. с англ. д.ф.-м.н. Ю.А. Данилова под ред. Н.Е. Бузикашвили и Д.В. Самойлова. – М.: Практика, 1999. – 459 с.
14. Железняков В. Н. Цвет и контраст. Технология и творческий выбор: Учебное пособие. — М.: ВГИК, 2001. — 286 с.
References
1. Lotman Yu.M. Semiotics of cinema and problems of cinema aesthetics // Lotman Yu.M. On Art (St. Petersburg, 1998)
2. Jonides J., Irwin D.E., Yantis S. Integrating visual information from successive fixations // Science. 1982.V.215.P. 192-194.
3. Burr D., Morrone M.C. Eye movements: building a stable world from glance to glance // Curr Biol. 2005. V.15. No. 20.P. 839-840.
4. Mescheryakov S.V., Yanchus V.E., Borevich E.V. Experimental Research of Digital Color Correction Models and Their Impact on Visual Fixation of Video Frames // Humanities and Science University Journal. 2017. V. 27. P. 15-24.
5. Borevich E.V., Yanchus V.E., Mescheryakov S.V. Computer Eye-Tracking Model to Investigate Influence of the Viewer's Perception of the Graphic Information // GraphiCon 2021: Proceedings of the 31st Int. conf. in computer graphics and machine vision. P. 720-728
6. Orlov P.A., Laptev V.V., Ivanov V.M. On the issue of using eye-tracking systems. St. Petersburg State Polytechnical University Journal. 2014. V. 5 (205). pp. 84–94.
7. Yanchus V.E., Borevich E.V. Investigation of the meaning of the color scheme in the process of harmonization of the film frame // Scientific and technical bulletin of St. Petersburg State Polytechnical University. 2016. V. 4. S. 53–68.
8. Borevich E.V., Mescheryakov S.V., Yanchus V.E. Statistical Model of Computing Experiment on Digital Color Correction //DCCN.2019.P.140-150.
9. Yanchus V.E., Borevich E.V., Avdeeva A.A. — Application of eye-tracking technology in the study of the perception of graphic information // Program systems and computational methods. – 2021. – No. 1. DOI: 10.7256/2454-0714.2021.1.33378
10. Strasburger, Hans; Poeppel, Ernst (2002). Line of sight. In G. Adelman & BH Smith (Eds): Encyclopedia of Neuroscience; 3rd edition on CD. Elsevier Science BV, Amsterdam, New York.
11. Norman D.A., Draper S.W. User Centered System Design. Erlbaum: London, 1986. 526 p.
12. Majaranta P., Bulling A. Eye Tracking and Eye-Based Human-Computer Interaction // Advances in Physiological ComputingHuman-Computer Interaction Series, 2014. P. 39-59.
13. Glantz, S. Medical and biological statistics / Stenton Glantz; Per. from English. d.p.m.s. Yu.A. Danilov, ed. NOT. Buzikashvili and D.V. Samoilov. – M.: Practice, 1999. – 459 p.
14. Zheleznyakov VN Color and contrast. Technology and Creative Choice: A Study Guide. — M.: VGIK, 2001. — 286 p

Результаты процедуры рецензирования статьи

В связи с политикой двойного слепого рецензирования личность рецензента не раскрывается.
Со списком рецензентов издательства можно ознакомиться здесь.

Рецензируемая статья посвящена актуальной задаче анализа визуального восприятия сцен в зависимости от структуры кинокадра. Авторы обосновывают практическую значимость данного исследования, выбор метода исследования, анализируют элементы кадра, определяющие его визуальную привлекательность. Авторы провели исследование с участием 44 добровольцев, приводят иллюстрации эксперимента, подробно описывают стимульный материал что является важным критерием в экспериментах с ай-трекером, выполнили статистический анализ полученных данных. Авторы делят все стимулы на 2 группы, четко обосновывая критерий разделения. Планирование экспериментальной части выполнено корректно, качество изображений достаточное, оцениваемые объекты имеют различную форму.
Недостатком статьи является достаточное краткое упоминание аналогичных экспериментов других авторов, минимальное количество численных оценок.
Собственное исследование Авторами выполнено корректно, приводится обоснование выбора аппарата, планирование эксперимента, имеются иллюстрации использования аппаратного комплекса с соблюдением конфиденциальности данных, выполнен анализ зависимости времени рассматривания стимула от размера и расстояния между объектами.
Стиль изложения соответствует научной статье, корректно используется профессиональная терминология, стилистические не выявлены. Имеются иллюстрации с подрисуночными подписями, данные представлены в высоком качестве.
Структура статьи отвечает требованиям к научной публикации.
Библиография содержит 14 источников, в отечественных и зарубежных рецензируемых изданиях, из них 3 за последние 5 лет. Ссылки по тексту имеются. Оформлена в соответствии с требованиями Журнала, однако в некоторых позициях встречаются опечатки.
Замечания.
Статья содержит единичные орфографические ошибки.
Рис. 2 содержит пояснительный текст в теле изображения, однако выбор шрифта с учетом алгоритмов сжатия не позволяет ожидать высокого качества при публикации в Журнале. Необходимо использовать больший кегль.
Желательно в разделе Стимульный материал пояснить, почему при разделении кадров на 3 группы были выбраны пороги 25% и 40%.
В описании эксперимента желательно отметить характеристики комплекса, отвечающие за пространственное разрешение или иные технические характеристики оборудования (например, чувствительность). Отсутствуют данные о размерах изображений (в пикселях), формате данных (что позволит косвенно оценить глубину цветопередачи). Желательно отметить, что измеряемой величиной было время, необходимое для визуального восприятия и идентификации зрительного стимула.
Графические зависимости времени рассматривания объекта от его размера и расстояния имеют минимальное количество точек. Вероятно результаты расчетов для расстояния лучше представить в табличной форме или дополнить. Большим количество градаций (по оси Х).
Необходимо в тексте более конкретно сформулировать результаты обработки экспериментальных данных, представленных на рис. 7-8.
Необходимо внести некоторые технические правки в выходные данные использованных источников (см. требования Журнала и ГОСТ).
Статья рекомендуется к публикации с небольшими техническими правками, в повторном рецензировании не нуждается.