EVAL EVIDENCES (BẰNG CHỨNG ĐÁNH GIÁ CHẤT LƯỢNG AI AGENT)
Lưu ý, hệ thống là multitenant nên các test case sau đang test tại VinUni do đã có data.
📌 TEST CASE 1: Tra cứu Học phí & Trích dẫn Nguồn Chính thức (Grounded RAG)
- Phân loại: [Trả lời] Grounded RAG & Citations
- Input (Câu hỏi của thí sinh):
“Học phí chương trình cử nhân ngành Khoa học Máy tính năm 2026 là bao nhiêu một năm và gồm những khoản chi phí nào bắt buộc?”
-
Expected (Kết quả mong muốn):
- Trả lời chính xác mức học phí chính thức theo quy chế đã nạp vào CSDL và các khoản chi phí mức này bao gồm.
- Đính kèm trích dẫn nguồn cụ thể (tên văn bản, điều khoản).
- Không bịa đặt thêm các chi phí không có trong quy chế chính thức.
-
Actual (Kết quả thực tế từ Agent):
- Bot phản hồi chính xác mức học phí 815.850.000 VNĐ một năm.
- Liệt kê đầy đủ các khoản phí đào tạo-thực hành, phí cơ sở vật chất, hệ thống CNTT hỗ trợ, hoạt động Sinh viên (định hướng, dịch vụ y tế, câu lạc bộ, sự kiện thể thao-văn hóa, v.v.) theo quy chế.
- Đính kèm thẻ trích nguồn:
[Chương trình bậc Đại học (thông tin chung) — Cử Nhân - Mục Học phí Chương trình Cử nhân], trong này học phí ở mục Chương trình khác.
-
Status: PASS
-
Ảnh chụp màn hình thực tế (UI Chat Widget):
-
AI Trace Log (LangSmith):
-
Trace Run Link: Trace test case 1 trên Langsmith
-
Workflow Execution Path: retrieval ➔ generation ➔ guardrails ➔ END
-
Model: gpt-4o-mini | Latency: 5.9s
-
Trace Guardrail:
{"guardrail_stage":"PASSED","handoff_reason":"","should_handoff":false}
-
Ảnh chụp Trace cây thực thi:
📌 TEST CASE 2: Cá nhân hóa theo Ngành quan tâm (Multi-turn Memory)
- Phân loại: [Trả lời] Multi-turn Memory & Personalization
- Input (Câu hỏi của thí sinh):
“Tôi quan tâm về chương trình cử nhân Khoa học Dữ liệu”, tiếp theo là “Ngành học phí bao nhiêu”
- Expected (Kết quả mong muốn):
- Trích xuất ngành học lưu vào
candidate_profile (PostgreSQL).
- Mô tả sơ bộ về chương trình, số tín chỉ, một số môn nổi bật.
- Không bị Guardrail chặn nhầm điểm thi do chính thí sinh tự cung cấp.
- Chủ động dẫn dắt thí sinh mở cổng nộp hồ sơ xét tuyển.
- Ở câu 2, đưa ra học phí chính thức theo quy chế đã nạp vào CSDL, không bịa đặt thêm thông tin.
- Actual (Kết quả thực tế từ Agent):
- Trích xuất và lưu vào session memory:
{major_interest: "Khoa học Máy tính & Trí tuệ Nhân tạo (AI) (Viện Khoa học Máy tính & CNTT)"}, ngành Viện Khoa học Máy tính & CNTT.
- Mô tả chương trình Cử nhân Khoa học Dữ liệu tại VinUni bao gồm 120 tín chỉ, chia thành hai khối kiến thức chính: Giáo dục đại cương (25.8%) và Giáo dục chuyên nghiệp (74.2%), và gồm mô tả ngắn hai khối kiến thức này.
- Dẫn dắt thí sinh tham gia tư vấn tuyển sinh.
- Ở câu sau, chatbot nhận biết người dùng đang hỏi Ngành Khoa học dữ liệu, trả lời học phí là niêm yết cho tất cả các ngành tại VinUni là khoảng 815.850.000 VND (~ 35.000 USD) mỗi năm. Tuy nhiên, mọi ứng viên trúng tuyển đều được hưởng Hỗ trợ Phát triển Giáo dục 35%, do đó mức học phí thực tế cần thanh toán sẽ khoảng 530 triệu VND mỗi năm.
- Status:
PASS
- Ảnh chụp màn hình thực tế (UI Chat Widget):
Câu 1:
Câu 2:
