ЕКСПЕРИМЕНТАЛЬНЕ ДОСЛІДЖЕННЯ ВПЛИВУ ВЕКТОРНИХ ПРЕДСТАВЛЕНЬ СЛІВ НА ЕФЕКТИВНІСТЬ МОДЕЛЕЙ РЕКОМЕНДАЦІЙ НОВИН
DOI:
https://doi.org/10.36074/grail-of-science.12.05.2023.051Keywords:
векторні представлення слів, рекомендаційні моделі, глибокі нейронні мережі, системи агрегації новин, штучний інтелектSummary
У роботі проведено дослідження ефективності різних алгоритмів рекомендацій у застосуванні для інтелектуальної системи агрегації новин. Дослідження зосереджено на глибоких нейронних мережах, які використовують механізми уваги з цільовою функцією оптимізації рекомендацій новин. Були досліджені наступні моделі рекомендацій: DKN, NRMS, TANR і NAML. Об’єктом дослідження є векторні представлення слів які використовуються у моделях обробки природної мови. У роботі проводиться експеримент з використанням трьох типів векторних представлень (випадково ініціалізовані, BERT та GloVe). Ефективність моделей оцінювалася за чотирма показниками (AUC, MRR, nDCG@5 і nDCG@10). Результати експериментів показали перевагу попередньо вивчених представлень BERT та GloVe над випадково ініціалізованими. Представлення GloVe показали кращі результати у всіх моделях, порівняно з представленнями BERT, в середньому покращення становить 3.2% для метрики AUC, 3.92% для MRR, на 5.33% для nDCG@5 та 4.49% для nDCG@10. Модель NAML стабільно показувала кращі результати за інші моделі, тоді як DKN продемонструвала найменше покращення.
Downloads
Downloads
License
Copyright (c) 2023 Ярослав Теплий , Дмитро Досин
References
Wu, F., Qiao, L., & Zhang, Y. (2019). Neural news recommendation with multi-head self-attention. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) (pp. 6381-6390).
Zhou, G., Mou, N., Fan, Y., Pi, Q., & Duan, W. (2018). Deep interest network for click-through rate prediction. In Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (pp. 1059-1068).
Wang, H., Wu, F., & Wang, H. (2018). DKN: Deep knowledge-aware network for news recommendation. In Proceedings of the 2018 World Wide Web Conference (pp. 1835-1844).
Zheng, G., Zhang, F., Zheng, Z., Yu, Y., & Chua, T. S. (2020). Topic-aware neural news recommendation. In Proceedings of the 29th ACM International Conference on Information and Knowledge Management (pp. 2157-2160).
Wu, C., Wu, F., An, M., Huang, J., Huang, Y., & Xie, X. (2019). Neural news recommendation with attentive multi-view learning. arXiv preprint arXiv:1907.05576.
Rastogi, K. (2022). Guide for Tokenization in a Nutshell: Tools & Types. Analytics Vidhya. Available at: https://www.analyticsvidhya.com/blog/2022/01/guide-for-tokenization-in-a-nutshell-tools-types (accessed 15 April 2023).
Wu, F., Qiao, Y., Chen, J. H., Wu, C., Qi, T., Lian, J., ... & Zhou, M. (2020, July). Mind: A large-scale dataset for news recommendation. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics (pp. 3597-3606).
Bordes, A., Usunier, N., Garcia-Duran, A., Weston, J., & Yakhnenko, O. (2013). Translating embeddings for modeling multi-relational data. Advances in neural information processing systems, 26.
Pennington, J., Socher, R., & Manning, C. D. (2014, October). Glove: Global vectors for word representation. In Proceedings of the 2014 conference on empirical methods in natural language processing (EMNLP) (pp. 1532-1543).
Maćkiewicz, A., & Ratajczak, W. (1993). Principal components analysis (PCA). Computers & Geosciences, 19(3), 303-342.
Downloads
How to Cite
Issue
Section
Categories
