Vietnamese Retrieval · Reasoning · Reliable QA
Bộ chuẩn đánh giá thống nhất, tái lập được cho truy hồi thông tin và hỏi đáp tiếng Việt đa lĩnh vực, từ suy luận đa mức độ đến trả lời đáng tin A Unified, Reproducible Benchmark for Multi-Domain Vietnamese Information Retrieval and Question Answering, Spanning Multi-Level Reasoning to Trustworthy Answering
1Nhóm nghiên cứu URA, Trường Đại học Bách khoaURA Research Group, Ho Chi Minh City University of Technology (HCMUT) 2Đại học Quốc gia Thành phố Hồ Chí MinhVietnam National University Ho Chi Minh City
Hỏi đáp dựa trên truy hồi (RAG) đang là nền tảng của các trợ lý trí tuệ nhân tạo. Với tiếng Việt, dữ liệu lại phân mảnh: mỗi bộ một định dạng, một cách chia tập, một độ đo, nên kết quả khó so sánh và khó tái lập. Phần lớn tài nguyên chỉ có câu hỏi một bước và mặc định câu hỏi luôn rõ ràng, luôn có đáp án.
ViR³QA là bộ chuẩn thống nhất đầu tiên cho truy hồi thông tin và hỏi đáp tiếng Việt. Đề tài hợp nhất 14 bộ dữ liệu thuộc 6 lĩnh vực về một lược đồ và một giao thức đánh giá, tổ chức theo ba trục: lĩnh vực, mức suy luận (một bước, đa bước, theo tình huống) và tính trả lời được (chuẩn, mơ hồ, không có đáp án). Trục thứ ba lần đầu được đo như một năng lực riêng.
Đề tài xây mới sáu bộ dữ liệu từ nguồn thật, khảo sát 5 họ phương pháp truy hồi trên 16 mô hình, và đề xuất hai hệ thống đạt kết quả tốt nhất: truy hồi theo đồ thị đa tác tử cho suy luận đa bước, và URASys cho trả lời đáng tin. Toàn bộ dữ liệu, mã nguồn và giao thức được phát hành mở.
Retrieval-Augmented Generation (RAG) is the backbone of modern AI assistants. For Vietnamese, however, resources are fragmented: each dataset has its own format, split and metrics, so results are hard to compare or reproduce. Most resources contain only single-hop questions and assume every question is clear and answerable.
ViR³QA is the first unified benchmark for Vietnamese IR and QA. It consolidates 14 datasets across 6 domains under one schema and one evaluation protocol, organized along three axes: domain, reasoning level (single-hop, multi-hop, situation-based) and answerability (standard, ambiguous, unanswerable). Answerability is evaluated as a first-class axis for the first time.
We build six new datasets from real-world sources, benchmark five retrieval paradigms over 16 models, and propose two systems with the best results: a graph-based multi-agent retriever for multi-hop reasoning and URASys for reliable answering. All data, code and protocols are publicly released.
TL;DR: ViR³QA hợp nhất 14 bộ dữ liệu tiếng Việt thành một bộ chuẩn đo cả ba năng lực tìm đúng, suy luận đúng và trả lời đáng tin, kèm hai hệ thống đạt kết quả tốt nhất.ViR³QA unifies 14 Vietnamese datasets into one benchmark that measures retrieval, reasoning and reliable answering, with two systems that achieve the best results.
Mỗi câu hỏi ứng với một trụ của bộ chuẩn, và được trả lời bằng thực nghiệm trên cùng một giao thức.Each question maps to one pillar and is answered experimentally under the same protocol.
Phương pháp nào tìm đúng tài liệu tiếng Việt?Which retrieval method works best for Vietnamese?
Lai ghép từ khoá và ngữ nghĩa đứng đầu ở cả 10 bộ dữ liệu.Lexical–semantic hybrids win on all 10 datasets.
Hệ thống có nối được bằng chứng từ nhiều văn bản?Can systems connect evidence across documents?
Có, khi lần theo quan hệ giữa các văn bản: F1 đạt 0,833.Yes, by following inter-document relations: F1 0.833.
Hệ thống có biết hỏi lại và biết từ chối?Can systems ask back and abstain?
Có: URASys đúng 85,0%, vượt GPT-4o, Gemini và Claude.URASys reaches 85.0%, beating GPT-4o, Gemini, Claude.
Chọn một trong hai hệ thống đề xuất và một câu hỏi mẫu. Khung đồ thị cho thấy dữ liệu đi qua những thành phần nào; khung dưới là nhật ký từng bước, đến câu trả lời cuối cùng.Pick one of the two proposed systems and a sample question. The graph shows which components the data flows through; the log below records each step up to the final answer.
Hội thoại minh hoạ, dựng lại theo cách hệ thống hoạt động được mô tả trong các bài báo; câu hỏi lấy từ các bộ dữ liệu.Illustrative sessions reconstructed from the system behavior described in the papers; questions come from the datasets.
Mười bốn bộ dữ liệu khác định dạng được đưa về cùng một lược đồ, nên mọi phương pháp được đo trên cùng một thước.Fourteen heterogeneous datasets are mapped to one schema, so every method is measured with the same ruler.
{ query_id, query, domain, reasoning_level,
hop_count, answerability, relevant_context_ids,
evidence, answer }
Một lược đồ chung cho cả 14 bộ; cấu hình cố định, mã nguồn và bảng xếp hạng công khai.One schema for all 14 datasets; fixed configurations, open code and leaderboard.
| Tài nguyênResource | Lĩnh vựcDomain | Nguồn dữ liệuSource | Đa bướcMulti-hop | Không đáp ánUnanswerable | Mơ hồAmbiguous | Văn nóiInformal | Giao thức chungUnified protocol |
|---|---|---|---|---|---|---|---|
| UIT-ViQuAD 2.0 [15] | Tri thức mởOpen | WikipediaWikipedia | ✗ | ✓ | ✗ | ✗ | ✗ |
| ViMQA [16] | Tri thức mởOpen | WikipediaWikipedia | ✓ | ✗ | ✗ | ✗ | ✗ |
| UIT-ViNewsQA [19] | Y tếHealthcare | Báo sức khoẻ trực tuyếnOnline health news | ✗ | ✗ | ✗ | ✗ | ✗ |
| ViMedAQA [20] | Y tếHealthcare | Tài liệu y khoa trực tuyếnOnline medical documents | ✗ | ✗ | ✗ | ✗ | ✗ |
| ALQAC [17] | Pháp luậtLegal | Văn bản luậtStatute law | ✗ | ✗ | ✗ | ✗ | ✗ |
| Zalo Legal [18] | Pháp luậtLegal | Văn bản luậtStatute law | ✗ | ✗ | ✗ | ✗ | ✗ |
| ViRHE4QA [23] | Giáo dụcEducation | Quy chế đại họcUniversity regulations | ✗ | ✗ | ✗ | ✗ | ✗ |
| VlogQA [21] | Đời sốngLifestyle | Lời thoại videoVlog transcripts | ✗ | ✗ | ✗ | ✓ | ✗ |
| ViRe4MRC [22] | Đời sốngLifestyle | Đánh giá sản phẩmProduct reviews | ✗ | ✗ | ✗ | ✓ | ✗ |
| ViR³QA | 6 lĩnh vực6 domains | Câu hỏi thật, văn bản chính thứcReal questions, official documents | ✓ | ✓ | ✓ | ✓ | ✓ |
Chọn một bộ để xem thống kê, phân bố và một mẫu dữ liệu đầy đủ trường theo lược đồ chung.Pick a dataset to see its statistics, distribution and a full-field sample in the unified schema.
Cùng 8 bộ công khai (UIT-ViQuAD 2.0, ALQAC, ZaloLegalQA, ViMedAQA, ViNewsQA, VlogQA, ViRe4MRC, ViRHE4QA) được chuẩn hoá về cùng lược đồ, tổng cộng 14 bộ.Together with 8 public datasets (UIT-ViQuAD 2.0, ALQAC, ZaloLegalQA, ViMedAQA, ViNewsQA, VlogQA, ViRe4MRC, ViRHE4QA) normalized to the same schema: 14 datasets in total.
Cùng dữ liệu, cùng mô hình nền, cùng giao thức đánh giá, nên mọi so sánh đều công bằng và tái lập được.Same data, same backbone, same protocol, so every comparison is fair and reproducible.
Bảng tự chuyển sau vài giây; bấm để chọn. Số liệu lấy từ bài báo IJCNLP-AACL 2025 và ACIIDS 2026.Boards rotate every few seconds; click to choose. Numbers from the IJCNLP-AACL 2025 and ACIIDS 2026 papers.
Mỗi bài báo một câu hỏi nghiên cứu, một con số then chốt và một biểu đồ so sánh với các phương pháp đối chứng.Each paper: one research question, one key number and one chart against the baselines.
Năm bảng số liệu gốc trong các bài báo, gồm đủ các phương pháp đối chứng.Five original tables from the papers, with all baselines included.
Rút ra trên cùng một mặt bằng đánh giá, nên so sánh được và tái lập được.Drawn on one shared evaluation ground, so they are comparable and reproducible.
Kết hợp từ khoá và ngữ nghĩa thắng ở cả 10 bộ, trọng số tối ưu 0,6–0,8.Lexical + semantic wins on all 10 datasets, optimal weight 0.6–0.8.
Mô hình 9,2 tỉ tham số không vượt mô hình nhỏ; mô hình đa ngữ cỡ vừa ổn định nhất.A 9.2B model does not beat small encoders; mid-size multilingual models are most robust.
SPLADE và ColBERT chưa tinh chỉnh thua cả BM25 trên tiếng Việt.Off-the-shelf SPLADE and ColBERT lose to BM25 on Vietnamese.
Tỉ lệ sai tăng từ 15,3% lên 94,1% theo số bước; đồ thị vượt xa truy hồi phẳng.Error rises from 15.3% to 94.1% with hops; graphs far exceed flat retrieval.
Các hệ phổ biến chỉ đúng 9–14% ở câu không có đáp án; khả năng hỏi lại và từ chối tạo khác biệt lớn nhất.Common systems score 9–14% on unanswerable; asking back and abstaining make the biggest difference.
MRR@10 đạt 96,7 với văn bản luật nhưng chỉ 18,2 với bình luận đời thường.MRR@10 reaches 96.7 on legal text but only 18.2 on everyday reviews.
Mỗi hệ thống giải quyết một trụ khó nhất của bộ chuẩn: suy luận đa bước và trả lời đáng tin.Each system targets the hardest pillar it addresses: multi-hop reasoning and reliable answering.


| Phương phápMethod | Cấu trúc chỉ mụcIndex structure | Đa bướcMulti-hop | Tách câu hỏiDecomposition | Hỏi lạiClarification | Từ chối khi thiếu căn cứAbstention | Kiểm tra hiệu lực văn bảnLegal validity |
|---|---|---|---|---|---|---|
| Naive RAG [1] | Đoạn văn phẳngFlat passages | ✗ | ✗ | ✗ | ✗ | ✗ |
| IRCoT [7] | Đoạn văn phẳngFlat passages | ✓ | ✗ | ✗ | ✗ | ✗ |
| RAPTOR [8] | Cây tóm tắtSummary tree | ✓ | ✗ | ✗ | ✗ | ✗ |
| LightRAG [9] | Đồ thị thực thểEntity graph | ✓ | ✗ | ✗ | ✗ | ✗ |
| MiniRAG [10] | Đồ thị không đồng nhấtHeterogeneous graph | ✓ | ✗ | ✗ | ✗ | ✗ |
| NodeRAG [11] | Đồ thị không đồng nhấtHeterogeneous graph | ✓ | ✗ | ✗ | ✗ | ✗ |
| HippoRAG 2 [13] | Đồ thị tri thức, PageRank cá nhân hoáKnowledge graph with PPR | ✓ | ✗ | ✗ | ✗ | ✗ |
| URASys | Chỉ mục kép: tài liệu và FAQDual index: documents and FAQs | ✓ | ✓ | ✓ | ✓ | ✗ |
| Hệ đồ thị đa tác tửGraph multi-agent system | Đồ thị văn bản quy phạmRegulatory knowledge graph | ✓ | ✗ | ✓ | ✓ | ✓ |
Tổng hợp từ mô tả trong các bài báo gốc và phần tổng quan của các bài IJCNLP-AACL 2025, ACIIDS 2026.Compiled from the original papers and the related-work sections of the IJCNLP-AACL 2025 and ACIIDS 2026 papers.
Kết quả được công bố quốc tế, được doanh nghiệp và nhiều nhóm nghiên cứu sử dụng, có giấy xác nhận.Published internationally and adopted by industry and several research groups, with written confirmations.


Sinh viên là tác giả thứ nhất của cả năm bài. Bấm BibTeX để lấy trích dẫn.The student is first author of all five. Click BibTeX for the citation.
Các bộ dữ liệu và phương pháp được so sánh trong đề tài, trích từ danh mục tài liệu của các bài báo.Datasets and methods compared in this work, drawn from the bibliographies of the papers.