bigscience-workshop/petals

The prompt tuning example (prompt-tuning-sst2) don't work

Open

#241 aperta il 29 gen 2023

Vedi su GitHub
 (14 commenti) (0 reazioni) (1 assegnatario)Python (424 fork)batch import
help wanted

Metriche repository

Star
 (8248 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Hi, I have tried to run the notebook example you have published (without editing) in colab but it doesn't work... I get the following error:

RuntimeError                              Traceback (most recent call last)
[<ipython-input-12-7f7d7fa267e9>](https://localhost:8080/#) in <module>
     17 
     18         model.train()
---> 19         outputs = model(**batch)
     20         loss = outputs.loss
     21         loss.backward()

3 frames
[/usr/local/lib/python3.8/dist-packages/torch/nn/modules/linear.py](https://localhost:8080/#) in forward(self, input)
    112 
    113     def forward(self, input: Tensor) -> Tensor:
--> 114         return F.linear(input, self.weight, self.bias)
    115 
    116     def extra_repr(self) -> str:

RuntimeError: expected scalar type Half but found Float

It is probably about the transformers version out of date but petals 1.1.1 requires transformers==4.25.1

Guida contributor

Direzione di ricerca
Controlla il requisito della versione di transformers (petals richiede transformers==4.25.1) e assicurati che le impostazioni di precisione mista (Half vs Float) siano coerenti. Ispeziona il dtype del modello e il dtype del tensore di input.
Tech stack
pythonpytorch
Dominio
backendmachine learningai
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Mezza giornata
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PythonPyTorch
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60