skypilot-org/skypilot

[GCP] Move from `gsutil cp/rsync` to `gcloud storage cp/rsync`

Open

Aperta il 30 dic 2025

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (4859 star) (311 fork)batch import
good first issuegood starter issues

Descrizione

According to https://docs.cloud.google.com/storage/docs/working-with-big-data, gcloud storage cp is much faster due to optimizations in automatic parallelism. We can migrate the usage gsutil cp in https://github.com/skypilot-org/skypilot/blob/e6a41b121ae27c33e1815ecf316858752dcc9982/sky/data/storage.py#L2370.

I manually tried a few file downloads with gcloud storage cp, it easily saturates the 300MB/s throughput, i.e. it worth a try.

Guida contributor

Tech stack
pythonshell
Dominio
backendcloud
Tipo issue
refactor
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 hours
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
active
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
clear
Prerequisiti
GitPythonGoogle Cloud SDK
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70
Direzione di ricerca
Ispeziona il file sky/data/storage.py intorno alla riga 2370 per comprendere l'attuale utilizzo di gsutil cp/rsync. Sostituisci con comandi equivalenti gcloud storage cp/rsync, assicurando lo stesso comportamento e ottimizzando per il parallelismo. Testa con file di esempio per verificare funzionalità e miglioramento delle prestazioni.