Option to vary configuration parameters across layers
@jlamypoirier já está trabalhando nisso.
Desde 5/3/2025.
Avaliação
Esta issue ainda não foi avaliada.
Descrição
🎯 Goal (What & Why)
We have several use-cases for varying parameters across layers (#147, #153) and will likely have many more in the future.
Best and simplest way to implement this would be a per-layer override mechanism based on #154, ex
transformer:
[...]
window_size: 8192
overrides:
- layers: 0:24:2
config:
window_size: null
🚀 Execution Plan
This is relatively simple to do once we have an override mechanism (#154)
Step 1: What is the smallest working version?
(Describe the simplest way to implement this feature with minimal effort.)
Step 2: What additional optimizations are possible (but optional)?
(List potential refinements that can be added in later PRs if needed.)
📌 Acceptance Criteria (Must-Haves for Completion)
- The feature must be functional and tested.
- The implementation must be documented in practical terms.
- The PR must include a performance/impact summary.
- No refactors unless directly necessary for feature completion.
🛠️ Project Management
- Assign the project to the Fast-LLM project.
- Set the
Estimatefield (in days) in the GitHub project. - Use the
Sizefield to categorize the PR size (Small/Medium/Large). - Assign an owner when opening the issue.
- Linguagem predominante
- Python
- Estrelas
- 337
- Forks
- 52
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
- Inclui um Dockerfile ou arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de ServiceNow/Fast-LLM
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 25/100
ServiceNow/Fast-LLM#556 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
ServiceNow/Fast-LLM#538 ·
-
enhancement
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 12/100
ServiceNow/Fast-LLM#533 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 15/100
ServiceNow/Fast-LLM#510 · 1 comentário ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 12/100
ServiceNow/Fast-LLM#507 ·
Todas as issues de ServiceNow/Fast-LLM
Issues semelhantes
-
PluginProvider.storeInstance races and clobbers the dedup cache for concurrent loadsTalvez já em andamento @Wilson0511 assumiu hoje. Abertaneeds-triage
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
Mantenedores costumam responder em até 2 dias
-
community documentation good first issue
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
-
bug(sdk): add_toleration_json silently drops camelCase tolerationSeconds for static dict/list inputTalvez já em andamento @ravikumar266 assumiu hoje. Abertaarea/sdk kind/bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
kubeflow/pipelines#15347 · 3 comentários ·
Mantenedores costumam responder em até 1 dia
-
predict_file with crop_model duplicates predictions once per imageTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
weecology/DeepForest#1445 ·