DOI
10.34229/KCA2522-9664.25.5.3
УДК 004.8
В.М. СИНЄГЛАЗОВ
Національний авіаційний університет, Київ, Україна,
svm@nau.edu.ua
К.С. ЛЕСОГОРСЬКИЙ
Національний технічний університет України «Київський політехнічний інститут
імені Ігоря Сікорського», Київ, Україна,
lesogor.kirill@gmail.com
НАПІВКЕРОВАНЕ ПРОГНОЗУВАННЯ МУЛЬТИМОДАЛЬНОЇ
ТРАЄКТОРІЇ РУХУ ТРАНСПОРТИХ ЗАСОБІВ
НА ОСНОВІ ТРАНСФОРМЕРІВ
Анотація. Досліджено прогнозування траєкторії руху транспортних засобів із використанням штучних нейронних мереж. Розглянуто наявні підходи та методи розв’язання задачі передбачення траєкторії руху транспортних засобів та їхні обмеження. Задачу прогнозування руху наведено у сценоцентричному налаштуванні із застосуванням вхідного представлення спрощенного виду з висоти пташиного польоту та вихідного представлення мапи зайнятості. Для попереднього оброблення унімодального набору даних та утворення мультимодального набору даних запропоновано напівкеровану фізично-маневрову модель, що розв’язує задачу обмеженості набору данних для навчання. Модифікований варіант архітектури штучних нейронних мереж Transformer використовується для передбачення траєкторії, а також додатково модифікується для оброблення великих просторово-часових зв’язків. Ефективність запропонованого методу порівняно з двома кращими агентоцентричними та сценоцентирчними алгоритмами. Запропонований метод покращує ефективність відомих методів до 40 % у певних метриках та досягає результатів, порівнюваних з найкращими агентоцентричними підходами.
Ключові слова: прогнозування руху, прогнозування траєкторії, напівкероване навчання, трансформер, глибоке навчання.
повний текст
СПИСОК ЛІТЕРАТУРИ
- 1. Phillips D.J., Wheeler T.A, Kochenderfer M.J. Generalizable intention prediction of human drivers at intersections. IEEE Intelligent Vehicles Symposium (IV). (Los Angeles, 11–14 June, 2017). IEEE, 2017. Р. 1665–1670. https://doi.org/10.1109/IVS.2017.7995948.
- 2. Ammoun S., Nashashibi F. Real time trajectory prediction for collision risk estimation between vehicles. IEEE Intelligent Computer Communication and Processing. (Cluj-Napoca, 27–29 Aug., 2009). IEEE, 2009. Р. 417–422. https://doi.org/10.1109/ICCP.2009.5284727.
- 3. Hermes C., Wohler C., Schenk K., Kummert F. Long-term vehicle motion prediction. IEEE Intelligent Vehicles Symposium. (Xi'an, 03–05 June, 2009). IEEE, 2009. Р. 652–657. https://doi.org/10.1109/IVS.2009.5164354.
- 4. Brand M., Oliver N., Pentland A. Coupled hidden Markov models for complex action recognition. IEEE Conference on Computer Vision and Pattern Recognition. (San Juan, 17–19 June, 1997). IEEE, 1997. P. 994–999. https://doi.org/10.1109/CVPR.1997.609450.
- 5. Mozaffari S., Al-Jarrah O. Y., Dianati M., Jennings P., Mouzakitis A. Deep learning-based vehicle behaviour prediction for autonomous driving applications: A review. IEEE Transactions on Intelligent Transportation Systems. 2020. Vol. 23, N 1. P. 33–47. https://doi.org/10.1109/TITS.2020.3012034.
- 6. Zyner A., Worrall S., Nebot E. A recurrent neural network solution for predicting driver intention at unsignalized intersections. IEEE Robotics and Automation Letters. 2018. Vol. 3, N 3. P. 1759–1764. https://doi.org/10.1109/LRA.2018.2805314.
- 7. Hu Y., Jia X., Tomizuka M., Zhan W. Causal-based time series domain generalization for vehicle intention prediction. IEEE 2022 International Conference on Robotics and Automation (ICRA). (Philadelphia, 23–27 May, 2022). IEEE, 2022. P. 7806–7813. https://doi.org/10.1109/ICRA46639.2022.9812188.
- 8. Chai Y., Sapp B., Bansal M., Anguelov D. Multipath: Multiple probabilistic anchor trajectory hypotheses for behavior prediction. 2020. arXiv preprint arXiv:1910.05449. https://doi.org/10.48550/arXiv.1910.05449.
- 9. Luo W., Yang B., Urtasun R. Fast and furious: Real time end-to-end 3d detection, tracking and motion forecasting with a single convolutional net. IEEE Conference on Computer Vision and Pattern Recognition (CVPR). (Salt Lake City, 2018). IEEE, 2018. P. 3569–3577.
- 10. Nayakanti N., Al-Rfou R., Zhou A., Goel K., Refaat K., Sapp B. Wayformer: Motion forecasting via simple & efficient attention networks. IEEE International Conference on Robotics and Automation (ICRA). (London, 29 May–02 June, 2023). IEEE, 2023. P. 2980–2987. https://doi.org/10.1109/ICRA48891.2023.10160609.
- 11. Lu J., Zhan W., Tomizuka M., Hu Y. Towards Generalizable and Interpretable Motion Prediction: A Deep Variational Bayes Approach. Proc. 27th International Conference on Artificial Intelligence and Statistics. (Valencia, 2024). IEEE, 2024. P. 4717–4725.
- 12. Ju C., Wang Z., Long C., Zhang X., Cong G., Chang. D. Interaction-aware Kalman neural networks for trajectory prediction. IEEE Intelligent Vehicles Symposium (IV). (Las Vegas, 19 Oct.–13 Nov., 2020). IEEE, 2020. P. 1793–1800. https://doi.org/10.1109/IV47402.2020.9304764.
- 13. Zhou Z., Wang J., Li Y., Huang K. Query-centric trajectory prediction. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). (Vancouver, 17–24 June, 2023). IEEE, 2023. https://doi.org/10.1109/CVPR52729.2023.01713.
- 14. Hoermann S., Bach M., Dietmayer K. Dynamic occupancy grid prediction for urban autonomous driving: A deep learning approach with fully automatic labeling. IEEE International Conference on Robotics and Automation (ICRA). (Brisbane, 21–25 May, 2018). IEEE, 2018. P. 2056–2063. https://doi.org/10.1109/ICRA.2018.8460874.
- 15. Zgurovsky M., Sineglazov V., Chumachenko E. Classification and analysis topologies known artificial neurons and neural networks. Artificial Intelligence Systems Based on Hybrid Neural Networks. Cham: Springer, 2020. P. 1–58. https://doi.org/10.1007/978-3-030-48453-8_1.
- 16. Dai S., Li L., Li. Z. Modeling vehicle interactions via modified lstm models for trajectory prediction. IEEE Access. 2019. Vol. 7. P. 38287–38296. https://doi.org/10.1109/ACCESS.2019.2907000.
- 17. Diehl F., Brunner T., Le M.T., Knoll A. Graph neural networks for modelling traffic participant interaction. IEEE Intelligent Vehicles Symposium (IV). (Paris, 09–12 June, 2019). IEEE, 2019. P. 695–701. https://doi.org/10.1109/IVS.2019.8814066.
- 18. Sineglazov V., Kot A. Design of hybrid neural networks of the ensemble structure. URL: https://papers.ssrn.com/sol3/papers.cfm?abstract_id=3807474 (дата звернення: 11.06.2025). http://dx.doi.org/10.2139/ssrn.3807474.
- 19. Press O., Smith N.A., Levy O. Improving transformer models by reordering their sublayers. 2019. arXiv preprint arXiv:1911.03864. https://doi.org/10.48550/arXiv.1911.03864.
- 20. James G., Witten D., Hastie T., Tibshirani R. Resampling methods. An Introduction to Statistical Learning: with Applications in Python. Cham: Springer International Publishing, 2023. P. 201–228. https://doi.org/10.1007/978-3-031-38747-0_5.
- 21. Zhang N., Canini K., Silva S., Gupta M. Fast linear interpolation. ACM Journal on Emerging Technologies in Computing Systems (JETC). 2023. Vol. 17, N 2. P. 1–15. https://doi.org/10.1145/342318.
- 22. Vaswani A., Shazeer N., Parmar N., Uszkoreit J., Jones L., Gomez A., Polosukhin I. Attention is all you need. Advances in neural information processing systems. 2017. Vol. 30. P. 5998–6008. https://doi.org/10.48550/arXiv.1706.03762.
- 23. Wilson B., Qi W., Agarwal T., Lambert J., Singh J., Khandelwal S, Hays J., et al. Argoverse 2: Next generation datasets for self-driving perception and forecasting. Proc. Neural Information Processing Systems Track on Datasets and Benchmarks. 2021. https://doi.org/10.48550/arXiv.2301.00493.
- 24. Zgurovsky M., Sineglazov V., Chumachenko E. Classification and analysis of multicriteria optimization methods. Artificial Intelligence Systems Based on Hybrid Neural Networks: Theory and Applications. Cham: Springer, 2020. P. 59–174. https://doi.org/10.1007/978-3-030-48453-8_2.
- 25. Sineglazov V., Riazanovskiy K., Chumachenko O. Multicriteria conditional optimization based on genetic algorithms. System research and information technologies. 2020. Vol. 7, N 3. P. 89–104. https://doi.org/10.20535/SRIT.2308-8893.2020.3.07.
- 26. Zhou Z., Ye L., Wang J., Wu K., Lu K. Hivt: Hierarchical vector transformer for multi-agent motion prediction. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). (New Orleans, 18–24 June, 2022). IEEE, 2022. P. 8823–8833. 10.1109/CVPR52688. 2022.00862.
- 27. Varadarajan B., Hefny A., Srivastava A., Refaat K., Nayakanti N., Cornman A., Sapp B., et al. Multipath++: Efficient information fusion and trajectory aggregation for behavior prediction. Proc. IEEE 2022 International Conference on Robotics and Automation (ICRA). (Philadelphia, 23–27 May, 2022). IEEE, 2022. P. 7814–7821. https://doi.org/10.1109/ICRA46639.2022.9812107.