bigscience-workshop/petals

The prompt tuning example (prompt-tuning-sst2) don't work

Open

#241 aberto em 29 de jan. de 2023

Ver no GitHub
 (14 comments) (0 reactions) (1 assignee)Python (424 forks)batch import
help wanted

Métricas do repositório

Stars
 (8.248 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Hi, I have tried to run the notebook example you have published (without editing) in colab but it doesn't work... I get the following error:

RuntimeError                              Traceback (most recent call last)
[<ipython-input-12-7f7d7fa267e9>](https://localhost:8080/#) in <module>
     17 
     18         model.train()
---> 19         outputs = model(**batch)
     20         loss = outputs.loss
     21         loss.backward()

3 frames
[/usr/local/lib/python3.8/dist-packages/torch/nn/modules/linear.py](https://localhost:8080/#) in forward(self, input)
    112 
    113     def forward(self, input: Tensor) -> Tensor:
--> 114         return F.linear(input, self.weight, self.bias)
    115 
    116     def extra_repr(self) -> str:

RuntimeError: expected scalar type Half but found Float

It is probably about the transformers version out of date but petals 1.1.1 requires transformers==4.25.1

Guia do colaborador

Direção de pesquisa
Verifique o requisito da versão do transformers (petals requer transformers==4.25.1) e certifique se de que as configurações de precisão mista (Half vs Float) sejam consistentes. Inspecione o dtype do modelo e o dtype do tensor de entrada.
Pilha de tecnologia
pythonpytorch
Domain
backendmachine learningai
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonPyTorch
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60