[Dataset Request] Index ImmigrationQA for U.S. Immigration Law QA benchmarking (arXiv:2605.30589)
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 3/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 52/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Lĩnh vực
- data, machine-learning
Hướng nghiên cứu
Bắt đầu bằng cách xem xét bài báo arXiv được liên kết và các chi tiết về ImmigrationQA trong issue, sau đó xác định quy trình của repository để đăng ký các dataset và liên kết chúng với các task. Hoàn tất khi ImmigrationQA được lập chỉ mục và liên kết với bài báo trong Question Answering, đồng thời thông tin benchmark được báo cáo có sẵn để theo dõi.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi there,
I'm the author of a paper I recently uploaded to arXiv and I'd love to get the dataset properly indexed on Papers with Code so the benchmark results can be tracked.
Paper
- Title: ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law
- arXiv: https://arxiv.org/abs/2605.30589
- Author: Nazarii Shportun
About the Dataset
ImmigrationQA is a source-grounded QA dataset built on top of U.S. immigration law — covering official policy documents, federal regulations, and procedural guidance. It's designed to support retrieval-augmented and fine-tuning approaches for legal QA in a high-stakes domain.
- Size: 17,058 QA pairs across 13 immigration subdomains
- Each answer is grounded in a specific source passage from the official documents
Evaluation
We evaluated models using an LLM-as-judge approach on a held-out 101-example split, scoring answers from 0–3. Here are the results reported in the paper:
| Model | Mean Score (0–3) |
|---|---|
| Fine-tuned Llama 3.2 3B Instruct (LoRA) | ~1.08 |
| Llama 3 8B base (zero-shot) | ~0.85 |
| Claude Sonnet (zero-shot) | ~1.52 |
What I'm Asking
Could you index ImmigrationQA as a dataset in Papers with Code and link it to the paper above under the Question Answering task? That would make it possible to properly register the benchmark results and allow comparison with other QA work.
Happy to provide any additional info if needed. Thanks so much!
- Ngôn ngữ chính
- Không có dữ liệu ngôn ngữ
- Star
- 11
- Fork
- 1
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của huggingface/paperswithcode-feedback
-
Data LicenseĐang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
huggingface/paperswithcode-feedback#49 · 1 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 28/100
huggingface/paperswithcode-feedback#41 · 1 bình luận · 1 reaction ·
-
SuggestionsĐang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
Tất cả issue của huggingface/paperswithcode-feedback
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
UKGovernmentBEIS/optstop#10 ·
-
automated endpoint-dead needs-curation
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 85/100
pola-rs/polars-benchmark#198 ·
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
glossyio/traffic-monitor#247 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 78/100