huggingface/transfer-learning-conv-ai

RuntimeError: shape '[-1, 2, 34]' is invalid for input of size 61710

Open

#12 aberto em 4 de jun. de 2019

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (429 forks)batch import
good first issue

Métricas do repositório

Stars
 (1.700 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

I'm playing around with this wonderful code but I'm running into a curious issue when I try to train the model with my own data.

I replicated the personachat_self_original.json file structure and added my own data. I deleted dataset_cache_OpenAIGPTTokenizer file but when I try to train, I get this error:

INFO:train.py:Pad inputs and convert to Tensor
Traceback (most recent call last):
  File "train.py", line 252, in <module>
    train()
  File "train.py", line 164, in train
    train_loader, val_loader, train_sampler, valid_sampler = get_data_loaders(args, tokenizer)
  File "train.py", line 97, in get_data_loaders
    tensor = tensor.view((-1, datasets[dataset_name]["n_candidates"]) + tensor.shape[1:])
RuntimeError: shape '[-1, 2, 34]' is invalid for input of size 61710

I have triple checked that my dataset follows the same structure but I can't figure out why the training script doesn't like it.

Any ideas why this is happening?

Guia do colaborador

Direção de pesquisa
O erro ocorre em train.py na linha 97 durante o carregamento de dados. A forma do tensor [ 1, 2, 34] indica uma incompatibilidade entre o número esperado de candidatos (2) e o tamanho real dos dados. O usuário deve verificar se seu arquivo de conjunto de dados tem o número correto de candidatos por exemplo. Verificar a geração de dataset cache e o argumento n candidates pode revelar o problema. O código em get data loaders espera que os dados tenham uma forma correspondente a um número fixo de candidatos.
Pilha de tecnologia
pythonpytorch
Domain
machine learningai
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
PyTorch basicsData formattingTensor shapes
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
25