请问lmdeploy如何在多卡部署
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Documentação
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Domínio
- ai
Direção de pesquisa
Comece com o comando lmdeploy serve api_server mencionado na issue e verifique a forma documentada de fazer o deploy em várias GPUs. A tarefa estará concluída quando a documentação do tutorial apropriado incluir orientações claras e testadas sobre o uso de várias GPUs, incluindo o comando ou a configuração que os usuários devem aplicar.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
输入命令lmdeploy serve api_server后，默认是在单卡（0号卡）上部署，请问怎么实现在多卡上部署？
- Linguagem predominante
- Python
- Estrelas
- 2k
- Forks
- 1.5k
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de InternLM/Tutorial
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
-
ch2_python_intro.md 中集合的定义有错Aberta
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 65/100
-
使用100%A100运行报错Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 30/100
-
testAberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 1/100
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
Todas as issues de InternLM/Tutorial
Issues semelhantes
-
Device Details tables: FS/SF columns contradict each other (nfet_01v8 Vt row, pfet_01v8 Idsat row)Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
google/skywater-pdk#450 ·
-
Drained trajectory arrays are overwritten when the sequence buffer is reusedTalvez já em andamento @sylvesterkaczmarek assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
google-deepmind/bsuite#56 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
LearningCircuit/local-deep-research#7206 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
chingu-voyages/V62-tier3-team-33#285 ·
Mantenedores costumam responder em até 1 dia
-
Proxy drops log notifications from backends that don't send FastMCP's msg/extra dictTalvez já em andamento @asasemahmed assumiu hoje. Abertabug server
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
Mantenedores costumam responder em até 1 dia