skypilot-org/skypilot

[GCP] Move from `gsutil cp/rsync` to `gcloud storage cp/rsync`

Open

#8.457 aberto em 30 de dez. de 2025

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Python (311 forks)batch import
good first issuegood starter issues

Métricas do repositório

Stars
 (4.859 stars)
Métricas de merge de PR
 (Mesclagem média 2d 23h) (146 fundiu PRs em 30d)

Description

According to https://docs.cloud.google.com/storage/docs/working-with-big-data, gcloud storage cp is much faster due to optimizations in automatic parallelism. We can migrate the usage gsutil cp in https://github.com/skypilot-org/skypilot/blob/e6a41b121ae27c33e1815ecf316858752dcc9982/sky/data/storage.py#L2370.

I manually tried a few file downloads with gcloud storage cp, it easily saturates the 300MB/s throughput, i.e. it worth a try.

Guia do colaborador

Direção de pesquisa
Inspecione o arquivo sky/data/storage.py por volta da linha 2370 para entender o uso atual de gsutil cp/rsync. Substitua pelos comandos equivalentes gcloud storage cp/rsync, garantindo o mesmo comportamento e otimizando para paralelismo. Teste com arquivos de exemplo para verificar a funcionalidade e a melhoria de desempenho.
Pilha de tecnologia
pythonshell
Domain
backendcloud
Tipo Issue
Refatoração
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-3 horas
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitPythonGoogle Cloud SDK
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70