POSW-Vote: Thuật toán bỏ phiếu có trọng số định hướng độ chính xác cho bài toán trích xuất thông tin có cấu trúc từ các báo cáo chuyên ngành
DOI:
https://doi.org/10.54939/1859-1043.j.mst.CSCE9.2025.123-134Từ khóa:
Trích xuất thông tin; Mô hình ngôn ngữ lớn; Ensemble voting; Semantic similarity; Schema-based extraction.Tóm tắt
Trích xuất thông tin (Information Extraction – IE) từ các báo cáo tự do hoặc bán cấu trúc là một thách thức lớn trong các lĩnh vực đặc thù, chẳng hạn như báo cáo tình hình quân sự, nơi nội dung văn bản có tính mô tả, không đồng nhất và phụ thuộc mạnh vào ngữ cảnh. Các phương pháp truyền thống dựa trên luật hoặc nhận dạng thực thể có tên (NER) thường không đảm bảo độ bao phủ và khả năng thích ứng trong các trường hợp này. Trong khi đó, các mô hình ngôn ngữ lớn (Large Language Models – LLMs) thể hiện tiềm năng mạnh mẽ trong việc trích xuất thông tin theo schema, song kết quả đầu ra của chúng thường biến động giữa các lần chạy hoặc giữa các mô hình khác nhau, làm giảm tính ổn định và độ chính xác. Bài báo này đề xuất POSW-Vote (Precision-Oriented Similarity-Weighted Voting) – một thuật toán bỏ phiếu có trọng số định hướng độ chính xác, được thiết kế nhằm hợp nhất đầu ra của nhiều lần chạy LLM thành một kết quả cấu trúc duy nhất và ổn định. Thuật toán kết hợp ba cơ chế: phân cụm theo độ tương đồng ngữ nghĩa, tính điểm tin cậy có trọng số, và lựa chọn dựa trên quan hệ bao chứa siêu chuỗi, nhằm chọn ra thông tin đầy đủ và phù hợp ngữ cảnh nhất cho từng trường trong schema. Kết quả thực nghiệm trên tập dữ liệu thực gồm các báo cáo tình hình quân sự bằng tiếng Việt được gán nhãn bởi chuyên gia cho thấy POSW-Vote giúp cải thiện rõ rệt Precision và F1-score so với các mô hình chạy đơn lẻ, đồng thời duy trì tính ổn định trên các kiến trúc LLM khác nhau. Phương pháp được đề xuất mang lại giải pháp tổng hợp, linh hoạt và định hướng độ chính xác cao cho các hệ thống trích xuất thông tin trong các lĩnh vực đặc thù, đòi hỏi độ tin cậy cao như phân tích tình huống và hỗ trợ ra quyết định trong quân sự.
Tài liệu tham khảo
[1]. Yang, Y.; Wu, Z.; Yang, Y.; Lian, S.; Guo, F.; Wang, Z., “A Survey of Information Extraction Based on Deep Learning”, Applied Sciences, Vol. 12, No. 19, Article 9691, (2022).
[2]. Chiticariu, L.; Li, Y.; Reiss, F. R., “Rule-Based Information Extraction Is Dead! Long Live Rule-Based Information Extraction Systems!”, In Proceedings of the Conference on Empirical Methods in Natural Language Processing (EMNLP), pp. 827–832, (2013).
[3]. Zhang, Z.; You, W.; Wu, T.; Wang, X.; Li, J.; Zhang, M., “A Survey of Generative Information Extraction”, In Proceedings of the International Conference on Computational Linguistics (COLING), pp. 4840–4870, (2025).
[4]. OpenAI et al., “gpt-oss-120b & gpt-oss-20b Model Card”, arXiv, Article arXiv:2508.10925, (2025).
[5]. Yang, A. et al., “Qwen3 Technical Report”, arXiv, Article arXiv:2505.09388, (2025).
[6]. Lupart, S.; van Dijk, D.; Langezaal, E.; van Dort, I.; Aliannejadi, M., “Investigating LLM Variability in Personalized Conversational Information Retrieval”, arXiv, Article arXiv:2510.03795, (2025).
[7]. Wang, X.; Wei, J.; Schuurmans, D.; Le, Q.; Chi, E. H.; Zhou, D., “Self-Consistency Improves Chain of Thought Reasoning in Language Models”, arXiv, (2022).
[8]. Li, J.; Zhang, Q.; Yu, Y.; Fu, Q.; Ye, D., “More Agents Is All You Need”, arXiv, Article arXiv:2402.05120, (2024).
[9]. Chen, Z. et al., “Harnessing Multiple Large Language Models: A Survey on LLM Ensemble”, arXiv, Article arXiv:2502.18036, (2025).
[10]. Qwen Team, “Qwen3-4B-Thinking-2507”, Hugging Face Model Repository, (2025).
[11]. Qwen Team, “Qwen3-14B”, Hugging Face Model Repository, (2025).
[12]. OpenAI, “gpt-oss-20b”, Hugging Face Model Repository, (2025).
[13]. Ye, A.; Wang, L.; Zhao, L.; Ke, J.; Wang, W.; Liu, Q., “RapidFuzz: Accelerating Fuzzing via Generative Adversarial Networks”, Neurocomputing, Vol. 460, pp. 195–204, (2021).
