Pass dropout once for whole neural-network
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- jupyter-notebook, machine-learning
- Domínio
- machine-learning
Direção de pesquisa
Nenhum arquivo ou teste é especificado. Comece localizando onde as taxas de dropout das camadas são configuradas e como a rede neural é montada; o trabalho estará concluído quando uma única configuração de dropout no nível da rede puder ser fornecida e aplicada de forma consistente às camadas relevantes.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Currently, we have to set the dropout rate for each layer, and ideally we should only need to set it once.
- Linguagem predominante
- Jupyter Notebook
- Estrelas
- 24
- Forks
- 6
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de PAIR-code/tiny-transformers
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 45/100
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
-
Add support for cross-entropy loss with integer labelsTalvez livre de novo @aliciafmachado assumiu há 608 dias e não há nenhum pull request aberto. Abertaenhancement
PAIR-code/tiny-transformers#60 · 1 responsável ·
-
Refactor transformer_gtensor.ts and gpt2.ts to share functions in a common fileTalvez livre de novo @aliciafmachado assumiu há 640 dias e não há nenhum pull request aberto. Abertaenhancement
PAIR-code/tiny-transformers#54 · 1 responsável ·
-
Add GPT2 tokenizerTalvez livre de novo @aliciafmachado assumiu há 640 dias e não há nenhum pull request aberto. Aberta
PAIR-code/tiny-transformers#52 · 1 responsável ·
Todas as issues de PAIR-code/tiny-transformers
Issues semelhantes
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 68/100
Mantenedores costumam responder em até 2 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
-
[Bug]: SparseGPTModifier and WandaPruningModifier prune modules listed by exact name in `ignore`Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 90/100
vllm-project/llm-compressor#3304 ·
Mantenedores costumam responder em até 1 dia
-
MiniMax provider forces `thinking: disabled`, which MiniMax-M3.1-Flash-Preview rejects with HTTP 400Abertacore
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 84/100
vectorize-io/hindsight#5718 ·
Mantenedores costumam responder em até 1 dia