Применение тематического моделирования для оптимизации процесса поиска релевантных исторических документов (на примере биржевой прессы начала XX в.)

Галушко Илья Николаевич магистр, кафедра исторической информатики, исторический факультет, Московский государственный университет имени М.В. Ломоносова (МГУ) 119234, Россия, г. Москва, ул. Ломоносовский Проспект, 27, корп.4 Galushko Ilia Nikolaevich Graduate Student, Historical Information Science Department, History Faculty, Lomonosov Moscow State University 119234, Russia, g. Moscow, ul. Lomonosovskii Prospekt, 27, korp.4 i.galushko15@gmail.com Другие публикации этого автора

Ключевой задачей представленной статьи является апробация методики анализа информационного потенциала коллекции исторических источников с помощью тематического моделирования. Некоторые современные коллекции оцифрованных исторических материалов насчитывают десятки тысяч документов (как, например, «Электронная библиотека исторических документов», созданная Российским историческим обществом (РИО), содержит 294 тысячи распознанных исторических документов ^[1] – и на уровне отдельного исследователя охват всего доступного наследия представляется затруднительным. Вслед за рядом исследователей ^[2] мы предполагаем, что тематическое моделирование может стать удобным инструментом предварительной оценки содержания коллекции исторических документов; инструментом отбора только тех документов, в которых присутствует информация, релевантная поставленным исследовательским задачам.

Наше исследование, для которого и была разработана описываемая в статье методика, посвящено изучению доходности ценных бумаг на Санкт-Петербургской фондовой бирже в начале XX в. с позиции поведенческих финансов. Нас интересовали принципы инвестиционной оценки публичных компаний – как определялись приемлемые или недостаточные уровни капитализации; как определялись ценные бумаги, представляющие хороший выбор для помещения капиталов, насколько широко данные методики (если они существовали) применялись в практике биржевой торговли. В качестве одного из основных источников была выбрана газета «Биржевые ведомости», в ежедневных выпусках которой велась биржевая колонка, где печатался комментарий хроникера, в котором описывался настрой участников торгов и нередко приводился подробный анализ текущей ситуации в экономике Российской империи. В колонках «Биржевых ведомостей» часто встречаются аналитические заметки о доходности ценных бумаг: под какой процент размещается очередная эмиссия государственных долговых бумаг; на каком уровне относительно номинала торгуются эти бумаги; соответствует ли предлагаемый процент актуальной статистике денежного рынка и как объяснить курсовую динамику последних дней. Для исследования было решено собрать коллекцию таких заметок, чтобы на ее основе выделить устойчивые аналитические паттерны, характерные для биржевой прессы в вопросах, касающихся доходности ценных бумаг. Мы воспользовались материалами оцифрованного комплекта «Биржевых ведомостей» с сайта Российской национальной библиотеки (447 номеров за 1905 и 1913 года, утренние и вечерние выпуски). В рамках общего исследования доходности ценных бумаг на фондовом рынке Российской империи нас интересовал ограниченный набор проблем, связанных с поведенческими и институциональными аспектами функционирования фондового рынка Российской империи. Содержание «Биржевых ведомостей», напротив, разнообразно. И, если не считать колонку биржевого хроникера, то встречаются номера, полностью лишенные нужной нам информации. Содержание таких номеров заполнено военными новостями, театральными и литературными обзорами, экономическими рассуждениями небиржевого характера и другими подобными статьями широкого профиля (см. рис. 1 и 2). И в этом контексте логично обратиться к возможностям тематического моделирования в качестве прикладного инструмента для автоматического поиска тех номеров (страниц) из нашей коллекции оцифрованных газетных материалов, которые содержат информацию, касающуюся особенностей функционирования рынка ценных бумаг.

Рисунок 1. Пример организации страницы номера «Биржевых ведомостей».

Рисунок 2. Пример искомого текста. Колонка «Счастливица». Рассказ о том, как некая женщина нашла в магазине сверток с акциями, которые потерял банкир Борисов (Выпуск № 13621 от 28 июня (11 июля)).

* * *

Тематическое моделирование — это метод машинного обучения без учителя, применяемый для определения основных тем коллекции документов (или тем предложений одного документа, который рассматривается в таком случае как совокупность предложений) на основе выделения топиков (про разницу понятий «тема» и «топик» см. Приложение 1). Как правило, топик представляет собой взвешенный по вероятности список слов, которые вместе выражают общее содержание предполагаемой темы ^[2]. Чем выше коэффициент слова, тем большее значение модель придает этому слову при формировании топика. Так, в Таблице 2 представлен пример двух топиков, определенных нашей моделью для третьей страницы выпуска «Биржевых ведомостей» от 29 апреля 1913 г. (№13521):

Таблица 1. Примеры двух определенных моделью топиков, представленных набором ключевых слов и их вероятностями (см. Приложение 2.1)

Одним из наиболее популярных методов тематического моделирования, используемых в настоящее время, является латентное распределение Дирихле (LDA), которое представляет собой «генеративную вероятностную модель для коллекций дискретных данных, таких как текстовые корпуса» ^[3]. Этот метод используется в рамках Digital Humanities для извлечения тем из набора текстов ^[4]. В этой модели документ (в нашем случае – отдельная страница газетного номера «Биржевых ведомостей») представляет собой смесь топиков, а топик — распределение вероятностей по словарю. Под словарем понимается список всех слов изучаемой коллекции документов – именно словарь задает модели пространство слов, в котором нужно распределить документы таким образом, чтобы сформировать заданное исследователем количество топиков. Важной особенностью LDA является заранее определенное количество топиков, которое устанавливается до начала обучения. Удобной функцией моделей LDA является установление весов, равных 0.001 для слов, определяющих избыточные топики. То есть, если исследователь изначально установил для модели поиск 5 топиков, а по результатам тематического моделирования для трех тем модель установила разные веса слов, изменяющиеся в границах, например, от 0.005 до 0.0021, а для двух других тем – вес 0.001 для всех слов – значит, LDA при заданных настройках не может распределить текст более чем на 3 топика. В ходе наших экспериментов мы установили, что для решения наших исследовательских задач достаточным является порог в 5 топиков.

Создание словаря может дополняться применением различных методов предобработки текстов. В нашей работе использовался классический для компьютерной лингвистики метод лемматизации – приведения всех слов к основной форме. Другой широко применяемый метод предобработки подразумевает поиск и добавление в словарь модели биграмм – слов с двойной основой, выделяемых в тексте по частоте совместной встречаемости (например, «акционерный_капитал», «государственный_рента»). Данный подход мы тестировали изначально, когда планировали создавать LDA модель всей имеющейся коллекции. При таком подходе в качестве одного документа рассматривается целый номер биржевой газеты. Однако результаты оказались крайне непрактичными – ввиду слишком широкого разброса тем на один выпуск газеты мы не смогли создать интерпретируемые модели. Добавление фильтров (TF-IDF (см. Приложение 1), изменение параметров обучения (например, размера батча – порции данных для итерации обучения), увеличение количества тем (разные варианты в диапазоне от 5 до 30 топиков) – не смогли улучшить ситуацию. Тогда мы решили создавать LDA модели для отдельных номеров газеты, рассматривая их в качестве коллекции предложений. Результаты улучшились, но все еще остались недостаточными для использования тематического моделирования в качестве стабильного поискового алгоритма. Последним и наиболее продуктивным вариантом оказалось построение LDA для каждой отдельной страницы в нашей коллекции «Биржевых ведомостей». Подобный подход позволил нам создать алгоритм отбора релевантных для исследования материалов на основе тематического моделирования, но ввиду ограниченного словаря нам пришлось отказаться от создания биграмм и фильтрации по TF-IDF, что в конечном итоге никак не повлияло на качество итогового моделирования, поскольку мы не ставили задачу исчерпывающего семантического анализа; выявление тем на основе одинарных слов оказалось достаточным для отбора всех номеров газеты, обладающих информацией, релевантной нашим исследовательским задачам. В качестве основной библиотеки для реализации программного кода был выбран Python-модуль Gensim, являющийся одним из наиболее востребованных пакетов NLP-инструментов в мире современной науки о данных^[5].

Рисунок 3. Визуализация LDA модели, созданной для 3-ей страницы выпуска №13521 «Биржевых ведомостей» от 29 апреля 1913 г.

В рамках тематического моделирования эксперт должен сам определить название для топика таким образом, чтобы оно отражало семантику отдельных слов, формирующих тему. Для примера по рисунку 8 мы можем однозначно утверждать, что слова из топика №1 явно тяготеют к теме городских займов, на что указывают такие слова, как «городской», «заем», «облигация», «капитал». Архитектура существующих LDA моделей позволяет быстро анализировать содержание выделенных тем на основе поиска по ключевым словам с учетом их «веса». В качестве алгоритма поиска номеров газеты, содержащих нужную нам информацию, мы решили использовать поиск по словам, формирующим топики, с пороговым значением весов слова > 0.01. В качестве смысловых единиц, маркирующих присутствие биржевых сведений в моделируемом документе, мы использовали слова, перечисленные в Таблице 1. Перечень паттернов Fuzzy-match и соответствующих им форм слов ^[6].

Для всей отобранной коллекции текстов «Биржевых ведомостей» было создано 2411 LDA моделей. Из них наш алгоритм поиска определил в группу «содержащих биржевую информацию» – 457. Разумеется, в значительной степени к таковым относятся страницы с колонкой биржевого хроникера. В качестве определенного доказательства применимости LDA-моделей в подобных источниковедческих задачах отметим, что анализ случайной выборки из 100 номеров «Биржевых ведомостей» показал, что ни одна колонка хроникера не была пропущена поисковым алгоритмом – каждая из них была помещена в сводную таблицу. В качестве иллюстрации мы приведем малую выборку из полей итоговой таблицы, включающую только те страницы и номера, в которых удалось обнаружить биржевые сведения вне колонки биржевого хроникера. Всего таких — 29 моделей. В Таблице 2 представлены примеры определенных моделью наборов топиков. Таблица 3 содержит краткое описание материалов, найденных на страницах, перечисленных в Таблице 2. В приложении мы поместили фотографии страниц, представленных в обеих таблицах.

Таблица 2. Примеры топиков и ключевых слов LDA моделей для выборки номеров из коллекции «Биржевых ведомостей» за 1913 год.

Таблица 3. Содержание отобранных примеров с указателем на приложение 2 (соответствующие сканы страниц «Биржевых ведомостей»).

***

Анализ материалов, найденных с помощью LDA моделей, был включен в основное содержание нашего исследования, посвященного изучению поведенческих практик, связанных с анализом доходности ценных бумаг. Таким образом, был реализован подход, при котором содержательные задачи исследования решались традиционными историческими методами, предполагающими детальное изучение текста источника и встраивание отдельного документа в единую систему с другим имеющимся материалом – архивными источниками и сочинениями биржевых практиков ^[7].

На данном этапе мы можем подтвердить, что в рамках нашего исследования применение тематического моделирования оказалось продуктивным решением для оптимизации процесса поиска исторических документов в объемной коллекции оцифрованных исторических материалов. В то же время необходимо подчеркнуть, что в нашей работе тематическое моделирование применялось исключительно как прикладной инструмент ускорения поиска и первичной оценки информационного потенциала коллекции документов через анализ выделенных топиков. Наш опыт показал, что по крайней мере для «Биржевых ведомостей» тематическое моделирование с использованием LDA из библиотеки Gensim не позволяет делать выводы с позиции применяемой нами методологии содержательного анализа, предполагающей работу с внутренним содержанием источника на уровне аналитических практик. Данные наших моделей слишком фрагментарны, их можно использовать только для первичной оценки тематик информации, содержащейся в источнике. Безусловно, мы должны учитывать возможность дальнейшего усложнения моделей через применение аддитивной регуляризации ^[8] и совершенствование OCR-распознавания в сторону разбиения страницы на документы по каждой отдельной колонке, – что может существенно повысить способность модели улавливать более глубокую семантику газетного текста. Подводя итоги, мы бы хотели отметить прикладную значимость продолжения исследований практической применимости тематического моделирования в решении задач источниковедения.

Для интересующихся читателей мы оставляем ссылку на доступ к предложенному автором программному коду и набору исходных данных ^[9].

Приложение 1: Словарь определений

Тематическое моделирование – это технология статистического анализа текстов для автоматического выявления тематики в больших коллекциях документов. Тематическая модель определяет, к каким темам относится каждый документ, и какими словами описывается каждая тема. Для этого не требуется ручная разметка текстов, обучение модели происходит без учителя. Этот процесс можно сравнить с кластеризацией, но тематическая кластеризация является «мягкой» и допускает, чтобы документ относился к нескольким кластерам-темам. Тематическое моделирование не претендует на понимание смысла текста, однако оно способно отвечать на вопросы «о чём этот текст» или «какие общие темы есть у этих текстов» ^[10].

Применяя тематическое моделирование, важно проводить разграничение между топиками и, собственно, темами. Топики являются результатом статистической обработки коллекции документов и состоят из слов, которым в зависимости от выбранной статистической модели (LDA, LSA, BertTopic и т.д.) была присвоена определенная значимость, на основе которой моделью было сделано предположение, что эти топики (кластер значимых слов) формируют тему документа на семантическом уровне. Однако важно подчеркнуть, что процедура признания, что определенный топик действительно отражает присутствующую в тексте документа тему, является сугубо экспертной. Исследователь определяет, насколько семантически релевантным текстовой коллекции оказался сформированный моделью набор топиков.

TF-IDF (от англ. TF — term frequency, IDF — inverse document frequency) — статистическая мера, используемая для оценки важности слова в контексте документа, являющегося частью коллекции документов или корпуса. Вес некоторого слова пропорционален частоте употребления этого слова в документе и обратно пропорционален частоте употребления слова во всех документах коллекции.

ПРИЛОЖЕНИЕ 2

Страницы газеты «Биржевые ведомости», выявленные методом автоматизированного поиска по содержанию комплекта LDA моделей

Рисунок 2. 1. Биржевые ведомости. 1913, № 13521 (29 апр. (12 мая)). Третья страница

Рисунок 2. 2. Биржевые ведомости. 1913, № 13529 (3 (16) мая). Вторая страница

Рисунок 2. 3. Биржевые ведомости. 1913, № 13543 (11 (24) мая). Первая страница

Рисунок 2. 4. Биржевые ведомости. 1913, № 13553 (17 (30) мая). Вторая страница

Рисунок 2. 5. Биржевые ведомости. 1913, № 13565 (25 мая (7 июня)). Седьмая страница

Рисунок 2. 6. Биржевые ведомости. 1913, № 13587 (8 (21) июня). Вторая страница

Рисунок 2. 7. Биржевые ведомости. 1913, № 13597 (14 (27) июня). Вторая страница

Рисунок 2. 8. Биржевые ведомости. 1913, № 13621 (28 июня (11 июля)). Третья страница

Рисунок 2. 9. Биржевые ведомости. 1913, № 13696 (12 (25) авг.). 1 страница