DOI
10.34229/KCA2522-9664.26.3.2
УДК 004.89
О.А. ПАСТУХ
Тернопільський національний технічний університет імені Івана Пулюя, Тернопіль,
Україна, 
ol_pas@tntu.edu.ua
В.В. ЯЦИШИН
Тернопільський національний технічний університет імені Івана Пулюя, Тернопіль,
Україна, yacyshyn@tntu.edu.ua
О.М. ЗАДВОРНИЙ
Тернопільський національний технічний університет імені Івана Пулюя, Тернопіль,
Україна, zadvornyi.alex16@gmail.com
ТЕХНОЛОГІЯ ГЕНЕРАЦІЇ ТА ОЦІНЮВАННЯ ЯКОСТІ
ПРОГРАМНОГО КОДУ ВЕЛИКИМИ МОВНИМИ МОДЕЛЯМИ
Анотація. Запропоновано технологію генерації програмного коду на основі zero-shot prompting та метрику оцінювання його інтегральної якості, яка включає чотири групи метрик: повну впевненість моделі, семантичну якість, структурну цілісність та динамічне виконання коду. Проведено емпіричне дослідження двох типів структури запитів. Запропоновано метрику, що дає змогу отримувати відтворюваний, комплексний показник якості, який поєднує функціональну коректність із показниками супроводжуваності та надійності коду. Наведено результати, що формують основу для подальшої стандартизації промпт-інженерії та розвитку підходів до об’єктивного оцінювання генерації програмного коду великими мовними моделями у реальних інформаційних системах.
Ключові слова: великі мовні моделі, генерація програмного коду, оцінювання якості коду, zero-shot prompting, промпт-інженерія, метрика інтегральної якості.
повний текст
СПИСОК ЛІТЕРАТУРИ
- 1. Chen M., Tworek J., Jun H. et al. Evaluating large language models trained on code. arXiv preprint arXiv:2107.03374. 2021. https://doi.org/10.48550/arXiv.2107.03374.
- 2. Austin J., Odena A., Nye M. et al. Program synthesis with large language models. arXiv preprint arXiv:2108.07732. 2021. https://doi.org/10.48550/arXiv.2108.07732.
- 3. Anisimov A.V., Marchenko O.O., Nasirov E.M., Taranukha V.Y. Comparative analysis of neural network models for text classification problems. Cybernetics and Systems Analysis. 2025. Vol. 61, N 4. P. 339–346. https://doi.org/10.1007/s10559-025-00772-0.
- 4. Ding C., Wang J. A prompt example construction method based on clustering and semantic similarity. Systems. 2024. Vol. 12, N 10. Article number 410. https://doi.org/10.3390/systems12100410.
- 5. Zgurovsky M.Z. Global trends in artificial intelligence. Challenges, opportunities, and prospects. Cybernetics and System Analysis. 2025. Vol. 61, N 4. P. 533–553. https://doi.org/10.1007/s10559-025-00790-y.
- 6. Sepidband M., Taherkhani H., Wang S. et al. Enhancing LLM-based code generation with complexity metrics: A feedback-driven approach. arXiv preprint arXiv:2505.23953. 2025. https://doi.org/10.48550/arXiv.2505.23953.
- 7. Rahman M., Khatoonabadi S., Shihab E. Beyond synthetic benchmarks: Evaluating LLM performance on real-world class-level code generation. arXiv preprint arXiv:2510.26130. 2025. https://doi.org/10.48550/arXiv.2510.26130.
- 8. Sabra A., Schmitt O., Tyler J. Assessing the quality and security of ai-generated code: A quantitative analysis. arXiv preprint arXiv:2508.14727. 2025. https://doi.org/10.48550/arXiv.2508.14727.
- 9. Jimenez C., Yang J., Wettig A. et al. SWE-bench: Can language models resolve real-world GitHub issues? arXiv preprint arXiv:2310.06770. 2024. https://doi.org/10.48550/arXiv.2310.06770.
- 10. Kharchenko V., Yakovlev S., Veprytska O., Illiashenko O., Fesenko H. Explaining artificial inelligence as a service: Metodology of assessment and quality models. Cybernetics and System Analysis. 2025. Vol. 61, N 4. P. 175–185. https://doi.org/10.1007/s10559-025-00757-z.
- 11. Licorish S.A., Bajpai A., Arora C. et al. Comparing Human and LLM generated code: The jury is still out! arXiv preprint arXiv:2501.16857. 2025. https://doi.org/10.48550/arXiv.2501.16857.
