Клюев Роман Владимирович, Д-р техн. наук, гл. науч. сотр.
г. Москва
Roman V. Klyuev, Dr. Sci. (Engr.), Chief Researcher
Moscow
Макаров Владимир Сергеевич, Д-р техн. наук, ст. науч. сотр.
г. Москва
Vladimir S. Makarov, Dr. Sci. (Engr.), Senior Researcher
Moscow
Стефановский Дмитрий Владимирович, Канд. техн. наук, зав. каф. информационных систем
г. Москва
Dmitrij V. Stefanovskij, Cand. Sci. (Engr.), Head of the Information Systems Department
Moscow
Шпонарский Илья Владимирович, Ассист. информационных систем
г. Москва
Ilya V. Shponarskij, Assistant of the Information Systems Department
Moscow
Баринова Полина Андреевна, Инженер научной лаборатории «Перспективные информационные технологии» Центра цифровых технологий управления
г. Москва
Polina A. Barinova, Engineer of the Scientific Laboratory “Advanced Information Technologies” of the Center for Digital Management Technologies
Moscow
В условиях стремительного роста разнообразия инструментов бизнес-аналитики выбор между визуальными Low-Code платформами и инструментами command line interface, работающими в сочетании с большими языковыми моделями, все чаще носит субъективный характер, что повышает риски возникновения ошибок при внедрении решений. Настоящее исследование предлагает применение шкалы уровней автоматизации Шеридана и Вепланка как объективной метрики для сравнения инструментов бизнес-аналитики с адаптацией методики оценки уровня автоматизации операций для производственных предприятий И.Г. Кораблева к задачам построения дашбордов и использования программных конвейеров, взаимодействующих с большими языковыми моделями. Представлены материалы и методы исследования на базе эксперимента, в ходе которого рассмотрены процессы разработки дашбордов и диаграмм процессов на платформах Apache Superset и Draw.io соответственно, а также с применением программного конвейера на базе инструментов JupyterLab, Dash, Plotly, PlantUML с использованием больших языковых моделей. По итогам проведения эксперимента описаны результаты использования количественной оценки уровней автоматизации по шкале Шеридана и Вепланка, проведен анализ эргодичности в части «устойчивости» business intelligence инструментов за пределами идеальных условий. Выводы демонстрируют, что использование шкалы уровней автоматизации Шеридана и Вепланка может способствовать устранению субъективности выбора инструментов бизнес-аналитики и послужить основанием для выработки управленческих решений в сфере информационных технологий.
With the rapid growth in the variety of business intelligence tools, the choice between visual Low-Code platforms and command line interface tools working in combination with large language models is increasingly subjective, which increases the risk of errors when implementing solutions. The study proposes the use of the Sheridan and Verplank Levels of Automation scale as an objective metric for comparing business analytics tools, adapting I.G. Korablev’s operation analysis methodology for assessing the level of automation for manufacturing enterprises to the tasks of dashboard development and the use of software pipelines interacting with large language models. The materials and methods of the study have been presented on the basis of an experiment that examined the processes of developing dashboards and process diagrams on the Apache Superset and Draw.io platforms, respectively, as well as using a software pipeline based on JupyterLab, Dash, Plotly, and PlantUML tools with the use of large language models. Based on the experiment results, the results of using quantitative assessment of automation levels on the Sheridan and Verplank scales have been described and the ergodicity in terms of the “stability” of business intelligence tools outside of ideal conditions. The findings demonstrate that the use of the Sheridan and Verplank scale of automation levels can help eliminate subjectivity when choosing business intelligence tools and can become the basis for management decisions in the IT sphere.
The authors declare that there are no conflicts of interest present.