Automatic upload traces to hugging-face
@recursix ci sta già lavorando.
Dal 7/10/2024.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Make tools to simplify adding traces of agents to an ever growing huggingfaces dataset.
-
create 2 datasets on hugging face
- one that would be an index to be able to easily retrieve traces based on attributes similar to the dataframe when we run
load_result_df - one that contains actual zipped traces that can be retrieved from a pointer in the index
- one that would be an index to be able to easily retrieve traces based on attributes similar to the dataframe when we run
-
make code to upload a study trace by trace and easy way to group the traces by study in the index.
-
legality:
- limit adding only from the domains that are whitlisted (e.g. our benchmarks or a subset of them)
- based on which LLM and which benchmarks attribute a specific license to it.
- Lingua principale
- Python
- Stelle
- 644
- Fork
- 134
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di ServiceNow/AgentLab
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
ServiceNow/AgentLab#340 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
ServiceNow/AgentLab#339 ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationAperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 15/100
ServiceNow/AgentLab#329 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 25/100
ServiceNow/AgentLab#324 · 2 reazioni ·
Tutte le issue di ServiceNow/AgentLab
Issue simili
-
getchaintips leaves out the active tip once a header is staged on it, where Core always lists itAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
btclib-org/btclib-node#2158 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
dbt-msft/dbt-sqlserver#897 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
Gathin23/cleanyourtv#2770 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
vllm-project/vllm#64845 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
dekobon/big-code-analysis#1729 ·
I maintainer di solito rispondono entro 1 giorno