Automatic upload traces to hugging-face
@recursix y travaille déjà.
Depuis le 7/10/2024.
Évaluation
Cette issue n'a pas encore été évaluée.
Description
Make tools to simplify adding traces of agents to an ever growing huggingfaces dataset.
-
create 2 datasets on hugging face
- one that would be an index to be able to easily retrieve traces based on attributes similar to the dataframe when we run
load_result_df - one that contains actual zipped traces that can be retrieved from a pointer in the index
- one that would be an index to be able to easily retrieve traces based on attributes similar to the dataframe when we run
-
make code to upload a study trace by trace and easy way to group the traces by study in the index.
-
legality:
- limit adding only from the domains that are whitlisted (e.g. our benchmarks or a subset of them)
- based on which LLM and which benchmarks attribute a specific license to it.
- Langage dominant
- Python
- Étoiles
- 644
- Forks
- 134
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ServiceNow/AgentLab
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
ServiceNow/AgentLab#340 ·
-
Availability and use terms for minimized HTTP traces linked to recorded agent configurationsOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
ServiceNow/AgentLab#339 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 22/100
ServiceNow/AgentLab#331 ·
-
Qwen3 IntegrationOuverte
Difficulté 4/5 3-5 jours Accessibilité débutants 15/100
ServiceNow/AgentLab#329 ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 25/100
ServiceNow/AgentLab#324 · 2 réactions ·
Toutes les issues de ServiceNow/AgentLab
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
pytest-dev/pytest-html#1085 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 90/100
pollen-robotics/reachy_mini#1527 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 66/100
Les mainteneurs répondent en général sous 2 jours
-
Variadic arguments that aren't objects are passed as objects (stringWithFormat_ with %d / %f)Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
A seed and its negative give the same run, so realizations of a negative seed repeat each otherOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 66/100
Les mainteneurs répondent en général sous 1 jour