Cybernetics And Systems Analysis logo
Інформація редакції Аннотації статей Автори Архів
Кібернетика та Системний Аналіз
Міжнародний Науково-Теоретичний Журнал
Том 62 >>> № 4 ЛИПЕНЬ — СЕРПЕНЬ 2026
-->


DOI 10.34229/KCA2522-9664.26.4.2
УДК 004.89

Р.О. ПРАВОСУД
Київський національний університет імені Тараса Шевченка, Київ, Україна,
 pronod9999@gmail.com

О.О. МАРЧЕНКО
Київський національний університет імені Тараса Шевченка, Київ, Україна,
 omarchenko@univ.kiev.ua


ПЕРЕНЕСЕННЯ СТИЛЮ ДІАЛОГУ ДЛЯ КІЛЬКОХ ПЕРСОНАЖІВ

Анотація. Перенесення стилю діалогу спрямоване на генерацію відповідей, які зберігають семантичну узгодженість і водночас відповідають заданій стилістичній персоні. Нещодавні дослідження показали, що поєднання навчання з підкріпленням із параметрично-ефективним донавчанням дає змогу ефективно оптимізувати стилістичні цілі, однак більшість наявних підходів обмежені одним персонажем або спираються на великі ресурсоємні моделі. У цій роботі представлено уніфікований фреймворк навчання з підкріпленням для багатоперсонажного перенесення стилю діалогу, який масштабовано до малих, дистильованих і квантизованих мовних моделей. Запропонований підхід поєднує алгоритм Proximal Policy Optimization з методом Low-Rank Adaptation та багатокласовою моделлю стилістичної винагороди, що дає змогу одній моделі генерувати діалоги у стилях кількох філософських персонажів за допомогою явної стилістичної умовності. Оцінено пропонований метод на моделях різного розміру, зокрема GPT2-Large, GPT2, DistilGPT2 та INT8-квантизованій GPT2. Результати оцінювання порівняно з результатами некаліброваних базових моделей GPT2. Експериментальні дані свідчать про те, що навчання з підкріпленням суттєво покращує стилістичну точність порівняно з некаліброваними моделями, тоді як менші моделі зберігають більшу частину якості за значно нижчих обчислювальних витрат. Показано, що запропонований фреймворк є ефективним, масштабованим і придатним для використання в середовищах з обмеженими ресурсами.

Ключові слова: генерація діалогу, оброблення природних мов, навчання з підкріпленням, перенесення стилю, PEFT, PPO.


повний текст

СПИСОК ЛІТЕРАТУРИ

    1. Li J., Monroe W., Shi T., et al. Adversarial learning for neural dialogue generation. Proc. 2017 Conference on Empirical Methods in Natural Language Processing (EMNLP) (September 2017, Copenhagen, Denmark). Copenhagen, 2017. P. 2157–2169. https://doi.org/10.18653/v1/ D17-1230.
    2. See A., Roller S., Kiela D., Weston J. What makes a good conversation? How controllable attributes affect human judgments. Proc. 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies (NAACL) (June 2019, Minneapolis, USA). Minneapolis, 2019. Vol. 1, P. 1702–1723. https://doi.org/10.18653/v1/N19-1170.
    3. Radford A., Wu J., Child R., et al. Language models are unsupervised multitask learners. Technical report. OpenAI Blog. 2019. URL: https://cdn.openai.com/better-language-models/language_models_are_unsupervised_multitask_learners.pdf.
    4. Brown T.B., Mann B., Ryder N., et al. Language models are few-shot learners. NeurIPS. 2020. arXiv:2005.14165v4 [cs.CL] 22 Jul 2020. https://doi.org/10.48550/arXiv.2005.14165.
    5. Jin D., Jin Z., Hu Z., et al. Deep learning for text style transfer: A survey. Computational Linguistics. 2022. Vol. 48, Iss. 1. P. 155–205. https://doi.org/10.1162/v1/coli_a_00426.
    6. Li X.L., Liang P. Prefix-tuning: Optimizing continuous prompts for generation. Proc. 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing (August 2021, online). Vol. 1. P. 4582–4597. https://doi.org/10.18653/v1/2021.acl-long.353.
    7. Peng N. Controllable text generation for open-domain creativity and fairness. Proc. Thirty-First International Joint Conference on Artificial Intelligence (IJCAI 2022) (23–29 July 2022, Vienna, Austria). Vienna, 2022. P. 5821–5825. https://doi.org/10.24963/ijcai.2022/818.
    8. Sutton R.S., Barto A.G. Reinforcement learning: An introduction. IEEE Transactions on Neural Networks. 1998. Vol. 9, N 5. P. 1054–1054. https://doi.org/10.1109/TNN.1998.712192.
    9. Hu E.J., Shen Y., Wallis P., et al. LoRA: Low-rank adaptation of large language models. arXiv:2106.09685v2 [cs.CL] 16 Oct 2021. https://doi.org/10.48550/arXiv.2106.09685.
    10. Xu H., Yan Z., Xuan J., et al. Improving proximal policy optimization with alpha divergence. Neurocomputing. 2023. Vol. 534. P. 94–105. https://doi.org/10.1016/j.neucom.2023.02.008.
    11. Sanh V., Debut L., Chaumond J., Wolf T. DistilBERT, a distilled version of BERT. arXiv:1910.01108v4 [cs.CL] 1 Mar 2020. https://doi.org/10.48550/arXiv.1910.01108.
    12. Zhang T., Kishore V., Wu F., et al. BERTScore: Evaluating text generation with BERT. arXiv:1904.09675v3 [cs.CL] 24 Feb 2020. https://doi.org/10.48550/arXiv.1904.09675.
    13. Zhu Y., Lu S., Zheng L., et al. Texygen: A benchmarking platform for text generation models. arXiv:1802.01886v1 [cs.CL] 6 Feb 2018. https://doi.org/10.48550/arXiv.1802.01886.
    14. Tu H., Yang Z., Yang J., et al. PCAE: A framework of plug-in conditional auto-encoder for controllable text generation. Knowledge-Based Systems. 2022. Vol. 256. Article number 109766. https://doi.org/10.1016/j.knosys.2022.109766.
    15. Ouyang L., Wu J., Jiang X., et al. Training language models to follow instructions with human feedback. Proc. 36th Conference on Neural Information Processing Systems (NeurIPS 2022) (28 November – 9 December 2022, New Orlean, USA). New Orlean, 2022. Advances in Neural Information Processing Systems 35. P. 27730–27744. URL: https://proceedings.neurips.cc/paper/2022/hash/b1efde53be364a73914f58805a001731-Abstract-Conference.html.
    16. Dettmers T., Lewis M., Belkada Y., Zettlemoyer L. LLM.int8(): 8-bit matrix multiplication for transformers at scale. arXiv:2208.07339v2 [cs.LG] 10 Nov 2022. https://doi.org/10.48550/arXiv.2208.07339.
    17. Stiennon N., Ouyang L., Wu J., et al. Learning to summarize with human feedback. Proc. 34th Conference on Neural Information Processing Systems (NeurIPS 2020) (6–12 December 2020, Virtual Event). Advances in Neural Information Processing Systems 33. P. 3008–3021. URL: https://proceedings.neurips.cc/paper/2020/hash/1f89885d556929e98d3ef9b86448f951-Abstract.html.
    18. Luo F., Li P., Zhou J., et al. A dual reinforcement learning framework for unsupervised text style transfer. arXiv.1905.10060v1 [cs.CL] 24 May 2019. https://doi.org/10.48550/arXiv.1905.10060.
    19. Pfeiffer J., Kamath A., Rckl A., et al. AdapterFusion: Non-destructive task composition for transfer learning. Proc. 16th Conference of the European Chapter of the European Chapter of the Association for Computational Linguistics (April 2021, online). Main vol. P. 487–503. https://doi.org/10.18653/v1/2021.eacl-main.39.
    20. Pravosud R., Adamov O., Marchenko O. Dialogue style transfer with reinforcement learning and parameter-efficient fine-tuning. In: Flexible Query Answering Systems. De Tr G., et al. (Eds.). FQAS 2025. Lecture Notes in Computer Science. 2025. Vol 16119. P. 232–240. https://doi.org/10.1007/978-3-032-05607-8_22.



Інформація редакції Аннотації статей Автори Архів
Журнал Тематичні Розділи Редакція Редакційна колегія Приклади документів Передплата Контакти
© 2026 Kibernetika.org. All rights reserved.