huggingface/transfer-learning-conv-ai

RuntimeError: shape '[-1, 2, 34]' is invalid for input of size 61710

Open

#12 aperta il 4 giu 2019

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (429 fork)batch import
good first issue

Metriche repository

Star
 (1700 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

I'm playing around with this wonderful code but I'm running into a curious issue when I try to train the model with my own data.

I replicated the personachat_self_original.json file structure and added my own data. I deleted dataset_cache_OpenAIGPTTokenizer file but when I try to train, I get this error:

INFO:train.py:Pad inputs and convert to Tensor
Traceback (most recent call last):
  File "train.py", line 252, in <module>
    train()
  File "train.py", line 164, in train
    train_loader, val_loader, train_sampler, valid_sampler = get_data_loaders(args, tokenizer)
  File "train.py", line 97, in get_data_loaders
    tensor = tensor.view((-1, datasets[dataset_name]["n_candidates"]) + tensor.shape[1:])
RuntimeError: shape '[-1, 2, 34]' is invalid for input of size 61710

I have triple checked that my dataset follows the same structure but I can't figure out why the training script doesn't like it.

Any ideas why this is happening?

Guida contributor

Direzione di ricerca
L'errore si verifica in train.py alla riga 97 durante il caricamento dei dati. La forma del tensore [ 1, 2, 34] indica una mancata corrispondenza tra il numero previsto di candidati (2) e la dimensione effettiva dei dati. L'utente dovrebbe verificare che il proprio file del dataset abbia il numero corretto di candidati per esempio. Controllare la generazione di dataset cache e l'argomento n candidates potrebbe rivelare il problema. Il codice in get data loaders si aspetta che i dati abbiano una forma corrispondente a un numero fisso di candidati.
Tech stack
pythonpytorch
Dominio
machine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
PyTorch basicsData formattingTensor shapes
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
25