bigscience-workshop/petals

The prompt tuning example (prompt-tuning-sst2) don't work

Open

#241 ouverte le 29 janv. 2023

Voir sur GitHub
 (14 commentaires) (0 réactions) (1 assigné)Python (424 forks)batch import
help wanted

Métriques du dépôt

Stars
 (8 248 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

Hi, I have tried to run the notebook example you have published (without editing) in colab but it doesn't work... I get the following error:

RuntimeError                              Traceback (most recent call last)
[<ipython-input-12-7f7d7fa267e9>](https://localhost:8080/#) in <module>
     17 
     18         model.train()
---> 19         outputs = model(**batch)
     20         loss = outputs.loss
     21         loss.backward()

3 frames
[/usr/local/lib/python3.8/dist-packages/torch/nn/modules/linear.py](https://localhost:8080/#) in forward(self, input)
    112 
    113     def forward(self, input: Tensor) -> Tensor:
--> 114         return F.linear(input, self.weight, self.bias)
    115 
    116     def extra_repr(self) -> str:

RuntimeError: expected scalar type Half but found Float

It is probably about the transformers version out of date but petals 1.1.1 requires transformers==4.25.1

Guide contributeur

Direction de recherche
Vérifiez l'exigence de version de transformers (petals nécessite transformers==4.25.1) et assurez vous que les paramètres de précision mixte (Half vs Float) sont cohérents. Inspectez le dtype du modèle et le dtype du tenseur d'entrée.
Stack technique
pythonpytorch
Domaine
backendmachine learningai
Type d'issue
Bug
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PythonPyTorch
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60