huggingface/transfer-learning-conv-ai

RuntimeError: shape '[-1, 2, 34]' is invalid for input of size 61710

Open

#12 ouverte le 4 juin 2019

Voir sur GitHub
 (3 commentaires) (0 réactions) (0 assignés)Python (429 forks)batch import
good first issue

Métriques du dépôt

Stars
 (1 700 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

I'm playing around with this wonderful code but I'm running into a curious issue when I try to train the model with my own data.

I replicated the personachat_self_original.json file structure and added my own data. I deleted dataset_cache_OpenAIGPTTokenizer file but when I try to train, I get this error:

INFO:train.py:Pad inputs and convert to Tensor
Traceback (most recent call last):
  File "train.py", line 252, in <module>
    train()
  File "train.py", line 164, in train
    train_loader, val_loader, train_sampler, valid_sampler = get_data_loaders(args, tokenizer)
  File "train.py", line 97, in get_data_loaders
    tensor = tensor.view((-1, datasets[dataset_name]["n_candidates"]) + tensor.shape[1:])
RuntimeError: shape '[-1, 2, 34]' is invalid for input of size 61710

I have triple checked that my dataset follows the same structure but I can't figure out why the training script doesn't like it.

Any ideas why this is happening?

Guide contributeur

Direction de recherche
L'erreur se produit dans train.py à la ligne 97 lors du chargement des données. La forme du tenseur [ 1, 2, 34] indique une incompatibilité entre le nombre attendu de candidats (2) et la taille réelle des données. L'utilisateur doit vérifier que son fichier de jeu de données contient le nombre correct de candidats par exemple. Vérifier la génération de dataset cache et l'argument n candidates peut révéler le problème. Le code dans get data loaders s'attend à ce que les données aient une forme correspondant à un nombre fixe de candidats.
Stack technique
pythonpytorch
Domaine
machine learningai
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Ancienne
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
PyTorch basicsData formattingTensor shapes
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
25