containers/ramalama

unable to run ramalama using --runtime vllm on macOS

Aberta

#801 aberto em 13 de fev. de 2025

Ver no GitHubGuia do colaborador
 (10 comentários) (0 reação) (0 responsável)Python (356 forks)github user discovery
good first issuestale-issue

Métricas do repositório

Stars
 (3.010 estrelas)
Métricas de merge de PR
 (Mesclagem média 6d 7h) (32 fundiu PRs em 30d)

Description

trying ramalama on macOS 15 using --runtime vllm

I got

Trying to pull quay.io/modh/vllm:rhoai-2.18-cuda...
Error: choosing an image from manifest list docker://quay.io/modh/vllm:rhoai-2.18-cuda: no image found in image index for architecture "arm64", variant "v8", OS "linux"

it seems to fetch a cuda image while I am on Apple silicon.

Guia do colaborador

Direção de pesquisa
Investigue por que o manifesto da imagem do quay.io/modh/vllm:rhoai 2.18 cuda não possui uma variante arm64. Determine se é possível usar uma tag de imagem ou registro diferente que suporte arm64, ou se a lógica de seleção de imagem no ramalama precisa ser atualizada para lidar com a detecção de arquitetura.
Pilha de tecnologia
pythondocker
Domain
backendcli
Tipo Issue
Bug
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitDocker
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
60