Can't load exist dataset for evaluation
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 25/100
- Tipo di issue
- Bug
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- machine-learning
Direzione di ricerca
Non è indicato alcun file del repository né alcun test. Riproduci le due chiamate di caricamento riportate nell’issue, quindi esamina il punto di ingresso per il caricamento delle metriche della libreria di valutazione e i test correlati per determinare se si tratta di un difetto del codice o di una lacuna nella documentazione. Il lavoro è completato quando il flusso di valutazione segnalato ha un comportamento atteso confermato e una modifica corrispondente e attuabile.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hi, I used dair-ai/emotion to fine-tune the bert-base-cased model to use it for text-classification task.
The dataset is loaded when I load it in this script, so there is no problem up to here:
from datasets import load_dataset
dataset = load_dataset("dair-ai/emotion")
But in the evaluation script here:
import numpy as np
import evaluate
predictions = trainer.predict(eval_dataset)
preds = np.argmax(predictions.predictions, axis=-1)
metric = evaluate.load("dair-ai/emotion")
metric.compute(predictions=preds, references=predictions.label_ids)
I got: FileNotFoundError: Couldn't find a module script at /content/dair-ai/emotion/emotion.py. Module 'dair-ai/emotion' doesn't exist on the Hugging Face Hub either.
I tried to find out the reason but did not find the solution.
- Lingua principale
- Python
- Stelle
- 2.5k
- Fork
- 359
- Merge medio
- 38m
- PR unite (30g)
- 4
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/evaluate
-
exact_match: ignore_punctuation only removes ASCII punctuationForse già presa @reginaldalfret l’ha presa 3 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
huggingface/evaluate#836 ·
I maintainer di solito rispondono entro 1 giorno
-
EvaluationSuite.run fails with default args_for_task and mutates supplied kwargsForse già presa @ktz03 l’ha presa 15 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
huggingface/evaluate#825 ·
I maintainer di solito rispondono entro 1 giorno
-
exact_match scores two different answers as a perfect match when normalization erases both to the same residueForse già presa @MahendraMula l’ha presa 31 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
huggingface/evaluate#822 ·
I maintainer di solito rispondono entro 1 giorno
-
Perplexity metric fails with GPT-2 tokenizerForse già presa @zanvari l’ha presa 129 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
huggingface/evaluate#766 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
False/misleading instruction to use different checkpoints of BLEURTForse di nuovo libera Una pull request per questa issue è stata chiusa senza essere unita. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 62/100
huggingface/evaluate#679 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di huggingface/evaluate
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
conda-forge/conda-forge-bot#7025 ·
I maintainer di solito rispondono entro 1 giorno
-
area:ci
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 74/100
catincloud-labs/dagster-dex#149 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
home-assistant/core#188424 ·
I maintainer di solito rispondono entro 1 giorno
-
Review backlog (docs-currency): README 'CI run' link lands on a run whose overall badge is cancelledApertaagent/reviewer needs-kind needs-triage
Difficoltà 2/5 1-3 ore Idoneità per principianti 63/100
projectbluefin/utah#880 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
redis/memtier_benchmark#850 ·
I maintainer di solito rispondono entro 1 giorno