Release ToolSense benchmarks on Hugging Face
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
Direzione di ricerca
Start by reviewing the pre-generated JSONL files in the data/ folder and the Hugging Face datasets loading guide. Determine how the RRB, MCQ Probing, and QA Probing benchmarks should be uploaded as datasets and linked to the paper page. Done means the datasets are hosted on Hugging Face and discoverable from the paper.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi @ashutosh1919 🤗
I'm Niels and work as part of the open-source team at Hugging Face. I discovered your work on Arxiv and was wondering whether you would like to submit it to hf.co/papers to improve its discoverability. If you are one of the authors, you can claim the paper at https://huggingface.co/papers/2606.12451.
The paper page lets people discuss about your paper and lets them find artifacts about it (your benchmarks for instance), you can also claim the paper as yours which will show up on your public profile at HF, and add Github and project page URLs.
Would you like to host the datasets you've released (the RRB, MCQ Probing, and QA Probing benchmarks) on https://huggingface.co/datasets?
I see you're currently hosting the pre-generated JSONL files in the data/ folder of your GitHub repository. Hosting on Hugging Face will give you more visibility/enable better discoverability, and will also allow people to do:
from datasets import load_dataset
# Example for the retrieval benchmark
dataset = load_dataset("your-hf-org-or-username/toolsense-rrb")
If you're down, leaving a guide here: https://huggingface.co/docs/datasets/loading.
Besides that, there's the dataset viewer which allows people to quickly explore the first few rows of the data directly in the browser.
After uploaded, we can also link the datasets to the paper page (read here) so people can discover your work.
Let me know if you're interested/need any guidance.
Kind regards,
Niels
- Lingua principale
- Python
- Stelle
- 1
- Fork
- 3
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di SAP/toolsense
-
Add a model-agnostic evaluation harness for the QA/MCQ/RRB benchmarksForse già presa @Gazzara-lab l’ha presa 135 giorni fa. Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 55/100
Tutte le issue di SAP/toolsense
Issue simili
-
priority middle
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100
KATO-Hiro/AtCoderClans#12940 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 76/100
huggingface/huggingface_hub#5283 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
enhancement
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 86/100
ccxt/ccxt#31045 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
bug example
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
I maintainer di solito rispondono entro 1 giorno