ChatCVHT: Một chatbot tư vấn học thuật dựa trên truy xuất ngữ nghĩa, định tuyến chủ đề và hiệu chuẩn ngưỡng tin cậy

Trong giáo dục đại học, cố vấn học tập phải đáp ứng số lượng lớn câu hỏi của sinh viên về các quy định, chính sách đào tạo và kế hoạch học tập, nhiều câu hỏi có cùng mục đích nhưng khác nhau về cách diễn đạt. Mặc dù chatbot có thể mở rộng hỗ trợ học tập, một rủi ro chính là cung cấp câu trả lời không chính xác khi các truy vấn không rõ ràng hoặc được hỗ trợ yếu bởi bằng chứng hiện có. Chúng tôi đã phát triển ChatCVHT, một chatbot tư vấn học tập kết hợp truy xuất ngữ nghĩa với định tuyến dựa trên chủ đề bằng cách sử dụng cơ sở kiến thức gồm 748 cặp câu hỏi–trả lời trên tám chủ đề. Hệ thống tách biệt phân loại chủ đề khỏi truy xuất tài liệu và giới thiệu một lớp quyết định dựa trên độ tin cậy, xem xét đồng thời điểm tương đồng, biên độ điểm giữa các ứng viên hàng đầu và độ tin cậy của chủ đề được dự đoán để quyết định có trả lời hay yêu cầu làm rõ. Trong các thử nghiệm của chúng tôi, multilingual-e5-small đạt được hiệu suất truy xuất ổn định (Recall@10 = 0,9782; MRR@10 = 0,8841) và multilingual-e5-small với bộ phân loại Hồi quy Logistic (điều chuẩn L2, C = 3) đạt Macro-F1 = 0,982 và Độ chính xác = 0,9853 cho phân loại chủ đề (kiểm định chéo 5 lần). Khi được tích hợp đầu cuối, lớp quyết định đã giữ lại phản hồi cho ~7% truy vấn để ưu tiên làm rõ trong điều kiện không chắc chắn, đồng thời duy trì Recall@10 = 0,916 và MRR@10 = 0,8418. Nhìn chung, ChatCVHT áp dụng một chiến lược thận trọng, cân bằng giữa phạm vi bao phủ và độ tin cậy, đồng thời hỗ trợ triển khai chatbot tư vấn học tập an toàn hơn, nơi tính chính xác thực tế là rất quan trọng. DOI: 10.59715/pntjmp.5.2.12