Automatic upload traces to hugging-face
@recursix já está trabalhando nisso.
Desde 7/10/2024.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
Make tools to simplify adding traces of agents to an ever growing huggingfaces dataset.
-
create 2 datasets on hugging face
- one that would be an index to be able to easily retrieve traces based on attributes similar to the dataframe when we run
load_result_df - one that contains actual zipped traces that can be retrieved from a pointer in the index
- one that would be an index to be able to easily retrieve traces based on attributes similar to the dataframe when we run
-
make code to upload a study trace by trace and easy way to group the traces by study in the index.
-
legality:
- limit adding only from the domains that are whitlisted (e.g. our benchmarks or a subset of them)
- based on which LLM and which benchmarks attribute a specific license to it.
- Linguagem predominante
- Python
- Estrelas
- 644
- Forks
- 134
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de ServiceNow/AgentLab
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
ServiceNow/AgentLab#340 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
ServiceNow/AgentLab#339 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationAberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 15/100
ServiceNow/AgentLab#329 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 25/100
ServiceNow/AgentLab#324 · 2 reações ·
Todas as issues de ServiceNow/AgentLab
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
pytest-dev/pytest-html#1085 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 90/100
pollen-robotics/reachy_mini#1527 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 66/100
Mantenedores costumam responder em até 2 dias
-
Variadic arguments that aren't objects are passed as objects (stringWithFormat_ with %d / %f)Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
A seed and its negative give the same run, so realizations of a negative seed repeat each otherAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 66/100
Mantenedores costumam responder em até 1 dia