Использование нейронной сети для создания цифрового помощника слабовидящим людям

Опыт проводимых исследований обработки изображений наглядно демонстрирует огромную сферу для разработки новых нейронных сетей, способных помогать людям в большом спектре задач. В работе было выбрано направление, связанное с помощью людям, которые имеют проблемы со зрением. В статье рассматривается сверточная нейронная сеть модели Mask R-CNN для сегментации объектов на изображении. В процессе исследования было изучено большое количество алгоритмов способных быстро и точно обрабатывать изображения, например Faster R-CNN, который являлся наиболее результативным в 2020 г. В ходе анализа было выявлено, что использование технологии Mask R-CNN позволяет существенно увеличить эффективность выполнения поставленных задач, так как данный алгоритм является новейшей версией модели машинного обучения. В результате исследования была разработана нейронная сеть, способная определять и различать большое количество объектов на изображении. Следующим этапом планируется доработать алгоритм и использовать дополнительные средства взаимодействия с аппаратным обеспечением систем для увеличения скорости работы нейронной сети. В дальнейшем будет осуществлена интеграция полученной нейронной сети в приложение «Цифровой помощник для слепых и слабовидящих». Данное приложение гарантированно улучшит повседневную жизнь людей-инвалидов, которые испытывают определенные неудобства из-за их особенностей, и может стать основой других, более крупных, проектов связанных, например, с беспилотными устройствами, а также сервисами, работа которых напрямую строится на обработке изображений.

1. Белоглазова А.А. (2015). Образование и социализация детей с нарушениями зрения // Коррекционная педагогика: теория и практика. № 1. С. 83–86.

2. Болдинова О.Г. (2015). Социализации дошкольников с нарушениями зрения в инклюзивном образовании // Вестник Череповецкого государственного университета. Т. 5, № 66. С. 87–91.

3. Ковалевский А.М. (2018). Алгоритмы профилирования пользователя посредством нейронных сетей: Автореф. дисс. ... магистра техн. наук: 1–40 80 02. Минск: БГУИР. 14 с.

4. Маркова С.В., Жигалов К.Ю. (2017). Применение нейронной сети для создания системы распознавания изображений // Фундаментальные исследования. № 8. С. 60–64.

5. Сикорский О.С. (2017). Обзор сверточных нейронных сетей для задачи классификации изображений // Новые информационные технологии в автоматизированных системах. № 20. С. 37–42.

6. Сирота А.А., Митрофанова Е.Ю., Милованова А.И. (2019). Анализ алгоритмов поиска объектов на изображениях с использованием различных модификаций сверточных нейронных сетей // Вестник ВГУ. №3. С. 123–137.

7. Forsyth D.A., Ponce J. (2004). Computer vision. Modern approach. Upper Saddle River: Prentice Hall. 935 p.

8. Girshick R., Donahue J., Darrell T., Malik J. (2013). Rich Feature Hierarchies for Accurate Object Detection and Semantic

9. Segmentation // Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, Columbus, USA, 23–28 June 2014. New York: IEEE. P. 580–587. http://dx.doi.org/10.1109/CVPR.2014.81

10. Gonzalez R., Faisal Z. (2019). Digital Image Processing. 2nd ed. London: Pearson plc. 1192 p.

11. Gu J., Wang Zh., Kuen J., Ma L., Shahroudy A., Shuai B., Liu T., Wang X., Wang G. (2018). Recent Advances in Convolutional Neural Networks // Pattern Recognition. V. 77. P. 354–377. https://doi.org/10.1016/j.patcog.2017.10.013

12. He K., Gkioxari G., Dollár P. and Girshick R. (2017). Mask R-CNN // Proceedings of IEEE International Conference on Computer Vision, ICCV 2017, Venice, 22–29 October 2017. New York: IEEE. P. 2980–2988. https://doi.org/10.1109/iccv.2017.322

13. Li Z., Liu F., Yang W., Peng S., Zhou J. (2021). A Survey of Convolutional Neural Networks: Analysis, Applications, and Prospects // IEEE Transactions on Neural Networks and Learning Systems. P. 1–21. https://doi.org/10.1109/TNNLS.2021.3084827

14. Lin T.Y., Maire M., Belongie S., Bourdev L., Girshick R., Hays J., Perona P., Ramanan D., Zitnick L.C., Dollár P. (2014).

15. Microsoft COCO: Common Objects in Context // Proceedings of 13th European Conference on Computer Vision ECCV, Zurich, Switzerland, 6–12 September 2014. Springer. 16 p.

16. Uijlings J., Sande K., Gevers T., Smeulders A.W.M. (2013). Selective Search for Object Recognition // International Journal of Computer Vision. V. 104. P. 154–171. https://doi.org/10.1007/s11263-013-0620-5

17. Vuletić G., Šarlija T., Benjak T. (2016). Quality of life in blind and partially sighted people // Journal of Applied Health Sciences. V. 2. P. 101–112. http://dx.doi.org/10.24141/1/2/2/3

18. Welp A., Woodbury R.B., McCoy M.A. (2016). Making Eye Health a Population Health Imperative: Vision for Tomorrow. Washington (DC): National Academies Press. 586 p.

19. Wu J. (2017). Introduction to Convolutional Neural Networks. Nanjing: Nanjing University. 31 p