Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

[Dataset Request] Index ImmigrationQA for U.S. Immigration Law QA benchmarking (arXiv:2605.30589)

Abierto
  • ¿Algo no está bien?
#16 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
3/5
Tiempo estimado
1-2 días
Aptitud para principiantes
52/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Tranquilo
Área
data, machine-learning

Línea de trabajo

Comienza revisando el artículo de arXiv enlazado y los detalles de ImmigrationQA en el issue; después, identifica el proceso del repositorio para registrar datasets y vincularlos a tasks. Se considera hecho cuando ImmigrationQA está indexado y asociado con el artículo bajo Question Answering, y la información del benchmark reportada está disponible para su seguimiento.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Hi there,

I'm the author of a paper I recently uploaded to arXiv and I'd love to get the dataset properly indexed on Papers with Code so the benchmark results can be tracked.

Paper
  • Title: ImmigrationQA: A Source-Grounded Dataset and Small-Model Adaptation for U.S. Immigration Law
  • arXiv: https://arxiv.org/abs/2605.30589
  • Author: Nazarii Shportun
About the Dataset

ImmigrationQA is a source-grounded QA dataset built on top of U.S. immigration law — covering official policy documents, federal regulations, and procedural guidance. It's designed to support retrieval-augmented and fine-tuning approaches for legal QA in a high-stakes domain.

  • Size: 17,058 QA pairs across 13 immigration subdomains
  • Each answer is grounded in a specific source passage from the official documents
Evaluation

We evaluated models using an LLM-as-judge approach on a held-out 101-example split, scoring answers from 0–3. Here are the results reported in the paper:

Model Mean Score (0–3)
Fine-tuned Llama 3.2 3B Instruct (LoRA) ~1.08
Llama 3 8B base (zero-shot) ~0.85
Claude Sonnet (zero-shot) ~1.52
What I'm Asking

Could you index ImmigrationQA as a dataset in Papers with Code and link it to the paper above under the Question Answering task? That would make it possible to properly register the benchmark results and allow comparison with other QA work.

Happy to provide any additional info if needed. Thanks so much!

Lenguaje dominante
Sin datos de lenguaje
Estrellas
11
Forks
1
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de huggingface/paperswithcode-feedback

Todos los issues de huggingface/paperswithcode-feedback

Issues similares

Más issues de Data Engineering

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.