请问lmdeploy如何在多卡部署
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 35/100
- Type d'issue
- Documentation
- Clarté
- À clarifier
- Activité
- À l'abandon
- Domaine
- ai
Piste de recherche
Commencez par la commande lmdeploy serve api_server mentionnée dans l’issue et vérifiez la manière documentée de déployer sur plusieurs GPU. Le travail sera considéré comme terminé lorsque la documentation du tutoriel approprié contiendra des instructions claires et testées sur l’utilisation de plusieurs GPU, notamment la commande ou la configuration que les utilisateurs doivent appliquer.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
输入命令lmdeploy serve api_server后，默认是在单卡（0号卡）上部署，请问怎么实现在多卡上部署？
- Langage dominant
- Python
- Étoiles
- 2k
- Forks
- 1.5k
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de InternLM/Tutorial
-
ch2_python_intro.md 中逻辑运算符示例有错Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
-
ch2_python_intro.md 中集合的定义有错Ouverte
Difficulté 1/5 Moins d'une heure Accessibilité débutants 65/100
-
使用100%A100运行报错Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 30/100
-
testOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 1/100
-
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 20/100
Toutes les issues de InternLM/Tutorial
Issues similaires
-
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
NousResearch/hermes-plugin-claude-subscription-directsdk#94 ·
Les mainteneurs répondent en général sous 1 jour
-
Claiming namespace `reactogenic`Ouvertenamespace operations
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
EclipseFdn/open-vsx.org#13702 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 82/100
Les mainteneurs répondent en général sous 1 jour
-
bug
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
modelscope/ms-swift#10287 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
modelscope/FunASR#3757 ·
Les mainteneurs répondent en général sous 1 jour