Обзор некоторых современных тенденций в технологии машинного обучения

Построение систем машинного обучения является на сегодняшний день одной из самых популярных, актуальных и современных областей человеческой деятельности на стыке информационных технологий, математического анализа и статистики. Машинное обучение все глубже проникает в нашу жизнь посредством пользовательских продуктов, созданных с помощью методов искусственного интеллекта. Очевидно, что данные технологии будут развиваться и дальше, постепенно становясь частью повседневной рутины во многих областях человеческой профессиональной деятельности. Однако со времен своего появления, машинное обучение успело обзавестись многочисленными проблемами, главная из которых - достаточно высокая трудоемкость. Построение систем машинного обучения требует огромного количества времени высокопрофессиональных специалистов как в сфере искусственного интеллекта, так и в той предметной области, к которой эта технология применяется. В статье рассмотрены основные новации в области методологии машинного обучения, которые могут оказать значительное влияние на развитие данной отрасли. Выполнен анализ современной научной литературы, посвященной вопросам развития методологии и областей прикладного использования рассматриваемых тем. Сформулированы предположения о будущих тенденциях развития машинного обучения как сферы научно-прикладного знания и предложены наиболее перспективные направления исследований. Рассмотрены такие современные технологии в машинном обучении, как использование предобученных моделей, построение мультизадачных систем, нейроэволюция, проблема создания интерпретируемых моделей. Наиболее перспективной и актуальной в настоящее время технологией авторы полагают автоматизированное машинное обучение - комплекс инструментальных и методических средств, позволяющий значительно сократить долю человеческого участия в создании систем искусственного интеллекта, в том числе средствами автоматической валидации результатов моделирования.

Машинное обучение, интерпретируемость, мультизадачные модели, перенос обучения, нейроэволюция , автоматизированное обучение

1. Хохлова Д. (2016). Бум нейросетей: Кто делает нейронные сети, зачем они нужны и сколько денег могут приносить, 12.06.2016. Режим доступа: https://vc.ru/16843-neural-networks (дата обращения: 06.09.2018).

2. Caruana R. (1998). Multitask learning springer, Boston, MA, P. 95-133.

3. Dai J., He K, J. Sun. (2014). Instance-aware semantic segmentation via multi-task network cascades. Режим доступа: https://www.cv-foundation.org/openaccess/content_cvpr_2016/app/S14-02.pdf (дата обращения: 06.09.2018).

4. Dong D., Wu H., He W., Yu D. and Wang H. (2015). Multi-task learning for multiple language translation // Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing, July 26-31. P. 1723-1732.

5. Ghosn J., Bengio Y. (1997). Multi-task learning for stock selection. Режим доступа: http://papers.nips.cc/paper/1221-multi-task-learning-for-stock-selection.pdf (дата обращения: 06.09.2018).

6. Kaiser L. [и др.]. (2017). One model to learn them all. ArXiv:1706.05137 [cs.LG]. Режим доступа: https://arxiv.org/abs/1706.05137 (дата обращения: 06.09.2018).

7. Koh P.W., Liang P. (2017). Understanding black-box predictions via influence functions // Proceedings of the 34th International Conference on Machine Learning, PMLR. Vol. 70. P. 1885-1894.

8. Le Q. & Zoph B. (2017). Google using machine learning to explore neural network architecture // Research Blog, Wednesday, May 17, 2017. Режим доступа: https://research.googleblog.com/2017/05/using-machine-learning-toexplore. html (дата обращения: 06.09.2018).

9. Li S., Liu Z.-Q., Chan A. B. (2014). Heterogeneous multi-task learning for human pose estimation with deep convolutional neural network. Режим доступа: https://www.cv-foundation.org/openaccess/content_cvpr_workshops_2014/W15/papers/LI_Heterogeneous_Multi-task_Learning_2014_CVPR_paper.pdf (дата обращения: 06.09.2018).

10. Luong M.-T. [и др.]. (2015). Multi-task sequence to sequence learning. ICLR 2016. Режим доступа: https://arxiv.org/abs/1511.06114 (дата обращения: 06.09.2018).

11. Misra I., Shrivastava A., Gupta A., Hebert M. (2016). Cross-stitch networks for multi-task learning. Режим доступа: https://www.cv-foundation.org/openaccess/content_cvpr_2016/papers/Misra_Cross-Stitch_Networks_for_CVPR_2016_paper.pdf (дата обращения: 06.09.2018).

12. Molnar C. (2018). Interpretable machine learning. Режим доступа: https://christophm.github.io/interpretable-mlbook/(дата обращения: 06.09.2018).

13. Olson R. (2016). TPOT: A Python tool for automating data science. Режим доступа: https://www.kdnuggets.com/2016/05/tpot-python-automating-data-science.html/2 (дата обращения: 06.09.2018).

14. Olson R.S., Moore J.H. (2016). TPOT: A tree-based pipeline optimization tool for automating machine learning. P. 66-74.

15. Paredes B.R. [и др.]. (2012). Exploiting Unrelated tasks in multi-task learning // PMLR. Vol. 22. P. 951-959.

16. Thornton C. [и др.]. (2013). Auto-WEKA: combined selection and hyperparameter optimization of classification algorithms ACM, P. 847-855.

17. Yao X. (1999). Evolving artificial neural networks // Proceedings of the IEEE. 1999. № 9 (87). C. 1423-1447.

18. Zhang Y., Yang Q. (2017). A survey on multi-task learning. Режим доступа: https://arxiv.org/abs/1707.08114 (дата обращения: 06.09.2018).

19. Zoph B. & Le Q.V. (2016). Neural architecture search with reinforcement learning. Режим доступа: https://arxiv.org/abs/1611.01578 (дата обращения: 06.09.2018).