Add TyDiQA for non-training languages to Full Benchmark
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 20/100
- Issue-Typ
- Feature
- Klarheit
- Muss geklärt werden
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- machine-learning, testing-qa
Rechercherichtung
Das Issue erwähnt den Full Benchmark, TyDiQA und FLEX, nennt aber keine Dateien, Tests oder Einstiegspunkte. Beginne damit, die Konfiguration des Full Benchmark und vorhandene Dataset-Integrationen zu finden, und kläre anschließend, wie Sprachen, die nicht für das Training verwendet werden, evaluiert werden sollen; die Aufgabe ist erledigt, wenn die vorgesehene TyDiQA-Generalisierungsevaluierung im Benchmark enthalten ist.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
use to test generalization to unseen language; maybe use FLEX?
- Vorherrschende Sprache
- Python
- Sterne
- 42
- Forks
- 24
- PR-Merge-Kennzahlen
- Keine gemergten PRs in 30 T.
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus bigscience-workshop/evaluation
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 25/100
-
Refactor task template to merge multilingual.json and english.jsonEvtl. wieder frei @wilsonyhlee hat das vor 1889 Tagen übernommen, und es ist kein Pull Request offen. Offen
bigscience-workshop/evaluation#64 · 1 zugewiesene Person ·
-
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 20/100
bigscience-workshop/evaluation#61 · 2 Kommentare · 3 Reaktionen ·
-
Setup testingEvtl. wieder frei @tttyuntian hat das vor 1905 Tagen übernommen, und es ist kein Pull Request offen. Offenengineering
bigscience-workshop/evaluation#57 · 2 Kommentare · 3 zugewiesene Personen ·
-
Start overleaf for benchmark tech reportEvtl. wieder frei @arunraja-hub hat das vor 1901 Tagen übernommen, und es ist kein Pull Request offen. Offendocumentation
bigscience-workshop/evaluation#54 · 1 Kommentar · 3 Reaktionen · 2 zugewiesene Personen ·
Alle Issues in bigscience-workshop/evaluation
Ähnliche Issues
-
area/test type/bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
Clodmony/starship-coop#70 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 77/100
punitarani/fli#270 ·
-
🐛 Bug 🔔 Pending processing
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 67/100
jumpserver/jumpserver#17980 ·
Maintainer antworten meist innerhalb von 1 Tag
-
community enhancement good first issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 86/100
Maintainer antworten meist innerhalb von 1 Tag
-
namespace
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 60/100
EclipseFdn/open-vsx.org#15341 ·
Maintainer antworten meist innerhalb von 1 Tag