Sao chép chức năng mô hình hộp đen cho bài toán phân tích cảm xúc tiếng Việt
4 lượt xemDOI:
https://doi.org/10.54939/1859-1043.j.mst.104.2025.144-154Từ khóa:
Mô hình nhái; Trích xuất chức năng mô hình hộp đen; Phân tích cảm xúc văn bản tiếng Việt.Tóm tắt
Các mô hình học sâu dạng hộp đen thường giữ bí mật các thành phần quan trọng như kiến trúc mô hình, siêu tham số và dữ liệu huấn luyện, khiến người dùng chỉ có thể quan sát đầu vào và đầu ra mà không hiểu rõ cách hoạt động bên trong. Do đó, ngày càng có nhiều sự quan tâm đến việc phát triển các mô hình "knockoff" có thể tái tạo hành vi của các mô hình hộp đen này mà không cần truy cập trực tiếp vào các chi tiết nội bộ. Chúng tôi đã thực hiện các nghiên cứu chuyên sâu về các cuộc tấn công trích xuất chức năng mô hình hộp đen NLP với dữ liệu văn bản tiếng Anh. Bằng cách sử dụng các phương pháp lấy mẫu ngẫu nhiên hoặc thích nghi, chúng tôi đã tái tạo thành công các mô hình knockoff có chức năng tương đương với mô hình gốc và mức độ tương đồng cao. Bài báo này mở rộng phạm vi nghiên cứu sang các tập dữ liệu văn bản tiếng Việt. Kết quả thực nghiệm cho thấy, đối với các mô hình hộp đen trong phân tích cảm xúc văn bản tiếng Việt, phương pháp của chúng tôi vẫn duy trì hiệu quả, giúp xây dựng thành công các mô hình có chức năng tương đương với mô hình gốc.
Tài liệu tham khảo
[1]. Akshit Jindal, Vikram Goyal, Saket Anand et al., "Army of Thieves: Enhancing Black-Box Model Extraction via Ensemble based sample selection," (2023). DOI: https://doi.org/10.1109/WACV57701.2024.00378
[2]. Dai C. W., Lv M. X, Li K. et al., "MeaeQ: Mount Model Extraction Attacks with Efficient Queries," presented at the arXiv:2310.14047, (2023). DOI: https://doi.org/10.18653/v1/2023.emnlp-main.781
[3]. Minh Pham Quang Nhat, "An Empirical Study of Using Pre-trained BERT Models for Vietnamese Relation Extraction Task at VLSP 2020," in Proceedings of the 7th International Workshop on Vietnamese Language and Speech Processing, (2020).
[4]. Nguyen D.Q and Nguyen A.T, "PhoBERT: Pre-trained language models for Vietnamese," arXiv:2003.00744, (2020). DOI: https://doi.org/10.18653/v1/2020.findings-emnlp.92
[5]. Nguyen K.V., Nguyen V.D., Nguyen P.X. V. et al., "UIT-VSFC: Vietnamese Students’ Feedback Corpus for Sentiment Analysis," presented at the 10th KSE, Vietnam, (2018). DOI: https://doi.org/10.1109/KSE.2018.8573337
[6]. Nguyen Q.N., Phan T.C., Nguyen D.V. et al., "ViSoBERT: A pre-trained language model for Vietnamese social media text processing," arXiv:2310.11166, (2023). DOI: https://doi.org/10.18653/v1/2023.emnlp-main.315
[7]. Nguyen T.M.H, Nguyen V.H, Ngo T.Q. et al., "VLSP shared task: sentiment analysis," Journal of Computer Science and Cybernetics, vol. 34, no. 4, pp. 295-310, (2018). DOI: https://doi.org/10.15625/1813-9663/34/4/13160
[8]. Oanh Tran Thi and Phuong Le Hong, "Improving sequence tagging for Vietnamese text using transformer-based neural models," in Proceedings of the 34th Pacific Asia conference on language, information and computation, pp. 13-20, (2020).
[9]. Orekondy T., Schiele B., and Fritz M., "Knockoff Nets: Stealing Functionality of Black-Box Models," in IEEE/CVF, pp. 4954--4963, (2019). DOI: https://doi.org/10.1109/CVPR.2019.00509
[10]. Pal Soham, Yash Gupta, Aditya Shukla et al., "ActiveThief: Model Extraction Using Active Learning and Unannotated Public Data," presented at the AAAI-20, (2020). DOI: https://doi.org/10.1609/aaai.v34i01.5432
[11]. Pham X. Cong, Hoang T. Nguyen, Tran C. Truong et al., "Adaptive Sampling Technique for Building Knockoff Text Sentiment Models," in The 18th IEEE-RIVF, Danang, Vietnam, (2024). DOI: https://doi.org/10.1109/RIVF64335.2024.11009072
[12]. Pham X. Cong, Hoang T. Nguyen, Tran C. Truong et al., "Textknockoff: Knockoff nets for stealing functionality of text sentiment models," Journal of Science and Technique - Section on ICT, vol. 13, no. 1, (2024), doi: 10.56651/lqdtu.jst.v13.n01.821.ict. DOI: https://doi.org/10.56651/lqdtu.jst.v13.n01.821.ict
[13]. Phan L. L., Pham P. H., Nguyen K.T.T. et al., "SA2SL: From Aspect-Based Sentiment Analysis to Social Listening System for Business Intelligence," arXiv:2105.15079, (2021).
[14]. Rigaki Maria and Garcia Sebastian, "A Survey of Privacy Attacks in Machine Learning," ACM Computing Surveys, vol. 56, no. 4, pp. 1-34, (2020) (arXiv:2007.07646v3 11-2023). DOI: https://doi.org/10.1145/3624010
[15]. S. Kumar, P. P. Roy, D. P. Dogra et al., "A Comprehensive Review on Sentiment Analysis: Tasks, Approaches and Applications," arXiv:2311.11250, (2024).
[16]. V. Sanh, L. Debut, J. Chaumond et al., "DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter," NeurIPS, (2019).
[17]. W. Wu, J. Zhang, Wei V. J. et al., "Practical and Efficient Model Extraction of Sentiment Analysis APIs," presented at the ICSE 45, (2023).
[18]. Y. Liu, M. Ott, N. Goyal et al., "RoBERTa: A Robustly Optimized BERT Pretraining Approach," arXiv:1907.11692v1, (2019).
[19]. Yuan X., Ding L., Zhang L. et al., "ES Attack: Model Stealing against Deep Neural Networks without Data Hurdles," (2022). DOI: https://doi.org/10.1109/TETCI.2022.3147508
