Add SuperGLUE Tasks to Full Benchmark

Évaluation

Cette issue n'a pas encore été évaluée.

Description

Préparer son environnement

Par où commencer

1. Lisez l'issue en entier, puis le guide de contribution du projet.
2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
3. Forkez le dépôt et travaillez sur une branche.
4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de bigscience-workshop/evaluation

• Add MKQA to Full Benchmark

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 4/5 3-5 jours Accessibilité débutants 25/100

  bigscience-workshop/evaluation#73 · Ouverte le 7/2/2022

• Refactor task template to merge multilingual.json and english.json

  Peut-être à nouveau libre @wilsonyhlee l’a pris il y a 1851 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  bigscience-workshop/evaluation#64 · 1 personne assignée · Ouverte le 2/9/2021

• Wrap evaluation benchmark using HF-trainer

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100

  bigscience-workshop/evaluation#61 · 2 commentaires · 3 réactions · Ouverte le 25/8/2021

• Setup testing

  Peut-être à nouveau libre @tttyuntian l’a pris il y a 1866 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  engineering

  bigscience-workshop/evaluation#57 · 2 commentaires · 3 personnes assignées · Ouverte le 19/8/2021

• Start overleaf for benchmark tech report

  Peut-être à nouveau libre @arunraja-hub l’a pris il y a 1862 jours, et aucune pull request n’est ouverte. Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler
  documentation

  bigscience-workshop/evaluation#54 · 1 commentaire · 3 réactions · 2 personnes assignées · Ouverte le 16/8/2021

Toutes les issues de bigscience-workshop/evaluation

Issues similaires

• Individual result saving corrupts filenames containing multiple periods

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 86/100

  nasa/fmdtools#88 · Ouverte le 28/9/2026

  Les mainteneurs répondent en général sous 1 jour

• Revise docs, especially contributor gudelines, to reflect tooling changes

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-2 jours Accessibilité débutants 70/100

  freedomofpress/securedrop-dev-docs#318 · Ouverte le 28/9/2026

• FingerprintSplitter raises ZeroDivisionError when int(frac_train * len(dataset)) floors to zero

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 88/100

  deepchem/deepchem#5171 · Ouverte le 28/9/2026

  Les mainteneurs répondent en général sous 7 jours

• Bump bundled MLX VLM 0.6.5 to 0.7.1 to add muse_glimmer model support

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 70/100

  lmstudio-ai/mlx-engine#376 · Ouverte le 28/9/2026

• Wrong file type error is too cryptic

  Ouverte

  ⋯Signaler un problème avec cette issue

  • Quelque chose ne va pas ?

  • Déjà prise
  • Pas adaptée aux débutants
  • Obsolète ou invalide
  • Autre chose…
  • Envoyer Annuler

  Difficulté 2/5 1-3 heures Accessibilité débutants 72/100

  pyiron/bagofholding#166 · Ouverte le 28/9/2026

Plus d'issues Python