Сибиряков М.А. —
Разработка алгоритмов ускоренного вытеснения информации в больших хранилищах данных
// Кибернетика и программирование. – 2017. – № 4.
– С. 75 - 83.
DOI: 10.25136/2644-5522.2017.4.23799
URL: https://e-notabene.ru/kp/article_23799.html
Читать статью
Аннотация: В данной статье рассматривается вопрос повышения производительности при обработке больших объемов информации в хранилищах данных. Основной целью является увеличение скорости выполнения процесса вытеснения информации в кэш-памяти хранилищ данных, и, следовательно, скорости обработки кэшируемых данных. В качестве предмета исследования выступают алгоритмы вытеснения данных LRU1 и LRU2 и структурная организация управляющей таблицы. В статье предлагается реализация алгоритмов вытеснения информации в кэш-памяти хранилища данных на основе ассоциативного массива данных. Приводятся результаты сравнительного анализа основных алгоритмов вытеснения информации, используемых в оперативной памяти вычислительных систем (LRU, LFU, FIFO, Random). Представлены результаты разработки алгоритмов ускоренного вытеснения информации в кэш-памяти хранилищ данных. Построены системы канонических уравнений для данных алгоритмов. Применяемая математическая модель является исполнимой формализованной спецификацией, которая позволяет осуществить непосредственный переход от СКУ (системы канонических уравнений) к дальнейшей аппаратной или программной реализации предложенных алгоритмов.
Abstract: This article concerns the issue of improving performance when processing large amounts of information in data warehouses (storages). The main purpose is to increase the speed of the process of wiping out information in the cache of data warehouses, and, consequently to improve the processing speed of the cached data. The subject of research involves the algorithms of data extortion LRU1 and LRU2, as well as and structural organization of the control table. The article proposes the implementation of algorithms for wiping out information in the data warehouse cache on the basis of an associative data array. The results of a comparative analysis of the basic algorithms of information displacement used in the operational memory of computer systems (LRU, LFU, FIFO, Random) are presented in this article. The results of the development of algorithms for accelerated information extrusion in the cache of data warehouses are also presented. The author construes the systems of canonical equations for these algorithms are. The mathematical model, which is used by the author, is an executable formalized specification allowing for a direct transition from the DCS (the system of canonical equations) to the further hardware or software implementation of the proposed algorithms.
Сибиряков М.А., Васяева Е.С. —
Модификация и моделирование алгоритмов обработки данных в кэш-памяти систем хранения данных
// Кибернетика и программирование. – 2016. – № 4.
– С. 44 - 57.
DOI: 10.7256/2306-4196.2016.4.18058
URL: https://e-notabene.ru/kp/article_18058.html
Читать статью
Аннотация: В данной статье рассматривается вопрос повышения производительности подсистемы кэш-памяти систем хранения данных. Основной целью является увеличение скорости выполнения основных алгоритмов обработки данных в кэш-памяти за счет ускорения операции поиска информации в управляющих индексных структурах. В качестве предмета исследования выступают управляющие индексные таблицы, на основе которых выполняются базовые алгоритмы. В статье предлагается реализация модифицированных алгоритмов обработки данных и индекса на основе применения уникального хеширования. Приводятся результаты аналитического моделирования исходных и модифицированных алгоритмов обработки данных с помощью метода Марковских цепей. Оценивается средняя трудоемкость выполнения этих алгоритмов. Проводится компьютерное имитационное моделирование операции поиска данных в исследуемых структурах данных. В рамках исследуемого метода управления кэш-памятью подтверждается целесообразность использования хеш-таблицы для построения управляющих индексных таблиц с большим числом хранимых записей. Исследования показали, что применение хеш-таблицы позволяет на порядок увеличить скорость выполнения основных алгоритмов обработки данных в кэш-памяти систем хранения данных.
Abstract: The present article is devoted to the question about increasing productivity of the cache memory subsystem of data storage systems. The main purpose of the article is to increase the speed of executing the basic algorithms of the information search operation in controlling index structures. The subject of the research is the controlling index tables the execution of the basic algorithms is based on. In their article the authors offer to execute modified data processing algorithms and index based on a unique method of hashing. The authors provide results of the analytical modelling of initial and modified data processing algorithms using the method of Markov chains. The authors evaluate the average performance of these algorithms. They also carry out a computer-aided simulation modelling of the search operation within the data structures under research. Within the framework of the studied method of controlling the cache memory, the authors prove that it is reasonable to use hash tables in order to build controlling index tables that containt a great number of stored messages. The research shows that implementation of hash tables allows to significantly increase the speed of the basic data processing algorithms in the cache memory of data storage subsystems.