Release optimized skills and benchmark datasets on Hugging Face
I maintainer di solito rispondono entro 4 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 52/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Tranquilla
- Stack tecnologico
- huggingface, python
- Ambito
- data, machine-learning, release
Direzione di ricerca
Inizia esaminando il repository SkillOpt e gli artefatti best_skill.md esistenti, quindi analizza SpreadsheetBench, LiveMathematicianBench e OfficeQA. Usa le guide collegate sul caricamento dei modelli e sul visualizzatore di dataset di Hugging Face per determinare i metadati richiesti e la struttura del repository. Il lavoro è completato quando gli skills ottimizzati e i dataset di benchmark sono pubblicati su Hugging Face e possono essere individuati o caricati dagli utenti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi @Yif29 🤗
Niels here from the open-source team at Hugging Face. I discovered your work through Hugging Face's daily papers as yours got featured: https://huggingface.co/papers/2605.23904.
The paper page lets people discuss about your paper and lets them find artifacts about it (your models, datasets or demo for instance), you can also claim the paper as yours which will show up on your public profile at HF, add Github and project page URLs.
I saw you've released the code for the SkillOpt optimizer on GitHub! It'd be great to also host the optimized skill artifacts (the best_skill.md files) and the benchmark datasets (like SpreadsheetBench, LiveMathematicianBench, and OfficeQA) on the 🤗 hub to improve their discoverability and visibility.
As you mentioned in the paper, these optimized, reusable skills could become a new adaptation layer for future agents. Hosting them on Hugging Face would make it much easier for others to download and plug them into their own agentic loops.
Uploading optimized skills
You could host these as model repositories (using the text-generation tag) or as a collection of configuration artifacts. Hosting on Hugging Face will give you more visibility and enable better discoverability through metadata tags. See here for a guide: https://huggingface.co/docs/hub/models-uploading.
Uploading datasets
It would also be awesome to make the benchmark datasets available on 🤗, so that people can easily evaluate their agents using:
from datasets import load_dataset
dataset = load_dataset("microsoft/SpreadsheetBench")
Besides that, there's the dataset viewer which allows people to quickly explore the task items in the browser.
Let me know if you're interested or need any help regarding this!
Cheers,
Niels
ML Engineer @ HF 🤗
- Lingua principale
- Python
- Stelle
- 18k
- Fork
- 1.7k
- Merge medio
- 8g 16h
- PR unite (30g)
- 11
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/SkillOpt
-
项目还在迭代嘛?Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
microsoft/SkillOpt#291 · 1 commento ·
I maintainer di solito rispondono entro 4 giorni
-
Release cut for the Aug adopt/webui hardening + 2 residual staging gapsForse già presa @RohithPariki l’ha presa 14 giorni fa. Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 42/100
microsoft/SkillOpt#288 · 1 commento ·
I maintainer di solito rispondono entro 4 giorni
-
skillopt-sleep Codex harvest ingests its own headless replay sessionsForse già presa @kaluli123123 l’ha presa 15 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 72/100
microsoft/SkillOpt#286 · 3 commenti ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 28/100
microsoft/SkillOpt#283 · 1 commento ·
I maintainer di solito rispondono entro 4 giorni
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
I maintainer di solito rispondono entro 4 giorni
Tutte le issue di microsoft/SkillOpt
Issue simili
-
feature:LinkChecker
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
digitalfabrik/integreat-cms#4594 ·
I maintainer di solito rispondono entro 5 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
EleutherAI/lm-evaluation-harness#4319 ·
I maintainer di solito rispondono entro 1 giorno
-
needs triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
I maintainer di solito rispondono entro 1 giorno
-
json_params_matcher fails on falsy top-level JSON primitives (0, False, "")Forse già presa @mayureshsonawane17 l’ha presa oggi. ApertaWaiting for: Product Owner
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 5 giorni