Add SuperGLUE Tasks to Full Benchmark

Bewertung

Dieses Issue wurde noch nicht bewertet.

Beschreibung

Entwicklungsumgebung

Erste Schritte

1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
3. Forken Sie das Repository und arbeiten Sie in einem Branch.
4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus bigscience-workshop/evaluation

• Add MKQA to Full Benchmark

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen

  Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100

  bigscience-workshop/evaluation#73 · Erstellt am 07.2.2022

• Refactor task template to merge multilingual.json and english.json

  Evtl. wieder frei @wilsonyhlee hat das vor 1853 Tagen übernommen, und es ist kein Pull Request offen. Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen

  bigscience-workshop/evaluation#64 · 1 zugewiesene Person · Erstellt am 02.9.2021

• Wrap evaluation benchmark using HF-trainer

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen

  Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100

  bigscience-workshop/evaluation#61 · 2 Kommentare · 3 Reaktionen · Erstellt am 25.8.2021

• Setup testing

  Evtl. wieder frei @tttyuntian hat das vor 1869 Tagen übernommen, und es ist kein Pull Request offen. Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen
  engineering

  bigscience-workshop/evaluation#57 · 2 Kommentare · 3 zugewiesene Personen · Erstellt am 19.8.2021

• Start overleaf for benchmark tech report

  Evtl. wieder frei @arunraja-hub hat das vor 1864 Tagen übernommen, und es ist kein Pull Request offen. Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen
  documentation

  bigscience-workshop/evaluation#54 · 1 Kommentar · 3 Reaktionen · 2 zugewiesene Personen · Erstellt am 16.8.2021

Alle Issues in bigscience-workshop/evaluation

Ähnliche Issues

• [Feature]: `evidence.md` convention for `speckit.bug.assess` (pre-digested inputs such as reduced logs)

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen

  Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

  github/spec-kit#4804 · Erstellt am 01.10.2026

  Maintainer antworten meist innerhalb von 1 Tag

• HFONNXComunnityModelLoader._add_metadata appends duplicate metadata keys; the exported model fails onnx.checker

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen

  Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100

  kornia/kornia#5263 · 1 Kommentar · Erstellt am 01.10.2026

  Maintainer antworten meist innerhalb von 1 Tag

• Metadata correction for W16-5400

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen
  approved correction metadata

  Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 88/100

  acl-org/acl-anthology#10133 · 1 Kommentar · Erstellt am 01.10.2026

  Maintainer antworten meist innerhalb von 1 Tag

• [Bug]: Memory non-active routes lack blank string validation and timezone normalization

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen

  Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100

  BasedHardware/omi#20084 · Erstellt am 01.10.2026

  Maintainer antworten meist innerhalb von 1 Tag

• [Bug] Half of the CLI unit tests never run in CI

  Offen

  ⋯Ein Problem mit diesem Issue melden

  • Stimmt etwas nicht?

  • Bereits vergeben
  • Nicht einsteigerfreundlich
  • Veraltet oder ungültig
  • Etwas anderes …
  • Senden Abbrechen
  bug needs-acceptance wg/evaluation-quality

  Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100

  vllm-project/semantic-router#4424 · Erstellt am 01.10.2026

  Maintainer antworten meist innerhalb von 1 Tag

Weitere Issues zu Python