Применение шкалы уровней автоматизации Шеридана и Вепланка для объективной оценки инструментов бизнес-аналитики

В условиях стремительного роста разнообразия инструментов бизнес-аналитики выбор между визуальными Low-Code платформами и инструментами command line interface, работающими в сочетании с большими языковыми моделями, все чаще носит субъективный характер, что повышает риски возникновения ошибок при внедрении решений. Настоящее исследование предлагает применение шкалы уровней автоматизации Шеридана и Вепланка как объективной метрики для сравнения инструментов бизнес-аналитики с адаптацией методики оценки уровня автоматизации операций для производственных предприятий И.Г. Кораблева к задачам построения дашбордов и использования программных конвейеров, взаимодействующих с большими языковыми моделями. Представлены материалы и методы исследования на базе эксперимента, в ходе которого рассмотрены процессы разработки дашбордов и диаграмм процессов на платформах Apache Superset и Draw.io соответственно, а также с применением программного конвейера на базе инструментов JupyterLab, Dash, Plotly, PlantUML с использованием больших языковых моделей. По итогам проведения эксперимента описаны результаты использования количественной оценки уровней автоматизации по шкале Шеридана и Вепланка, проведен анализ эргодичности в части «устойчивости» business intelligence инструментов за пределами идеальных условий. Выводы демонстрируют, что использование шкалы уровней автоматизации Шеридана и Вепланка может способствовать устранению субъективности выбора инструментов бизнес-аналитики и послужить основанием для выработки управленческих решений в сфере информационных технологий.

1. Alamin M.A.A., Malakar S., Uddin G., Afroz S., Haider T.B., Iqbal A. An Empirical Study of Developer Discussions on Low-Code Software Development Challenges. arXiv. 2021. https://doi.org/10.1109/MSR52588.2021.00018

2. Braarud P.O. An efficient screening technique for acceptable mental workload based on the NASA Task Load Index-development and application to control room validation. International Journal of Industrial Ergonomics. 2020;76. DOI: https://doi.org/10.1016/j.ergon.2019.102904.

3. Braarud P.O. Investigating the validity of subjective workload rating (NASA TLX) and subjective situation awareness rating (SART) for cognitively complex human-machine work. International Journal of Industrial Ergonomics. 2021;86. https://doi.org/10.1016/j.ergon.2021.103233

4. Fagbohun O., Harrison R.M., Dereventsov A. An Empirical Categorization of Prompting Techniques for Large Language Models: A Practitioner’s Guide. arXiv. 2024.

5. Hernandez J.O., Fonseca i Casas P. Business Intelligence’s Self-Service Tools Evaluation. Technologies. 2022;4(10). https://doi.org/10.3390/technologies10040092

6. Korablev I.G. Assessment of the level of automation of business processes of the enterprise. Bulletin of Cherepovets State University. 2016;1:17–24.

7. Lopes J., Faria M., Santos M.F. Exploring trends and autonomy levels of adaptive business intelligence in healthcare: A systematic review. PLoS One. 2024;19. https://doi.org/10.1371/journal.pone.0302697

8. Moray N., Rodriguez D., Clegg B.A. Levels of Automation in Process Control. Proceedings of the Human Factors and Ergonomics Society Annual Meeting. 2000;44:93–96. https://doi.org/10.1177/154193120004400125

9. Sahoo P., Singh A.K., Saha S., Jain V., Mondal S., Chadha A. A Systematic Survey of Prompt Engineering in Large Language Models: Techniques and Applications. arXiv. 2025.

10. Sheridan T.B., Verplank W.L., Brooks T.L. Human and Computer Control of Undersea Teleoperators. In: 14th Annual Conference on Manual Control. 1978. Pp. 343–357. https://doi.org/10.21236/ADA057655

11. Sheridan T.B. Humans and automation: system design and research issues. 2002.

12. Suarez D., Almeida F., Blanco V. Comprehensive analysis of energy efficiency and performance of ARM and RISC-V SoCs. The Journal of Supercomputing. 2024;80:12771–12789. https://doi.org/10.1007/s11227-024-05946-9

13. Syed S. Towards Autonomous Analytics: The Evolution of Self-Service BI Platforms with Machine Learning Integration. Journal of Artificial Intelligence and Big Data. 2022. https://doi.org/10.31586/jaibd.2022.1157