skypilot-org/skypilot

[GCP] Move from `gsutil cp/rsync` to `gcloud storage cp/rsync`

Open

#8457 aperta il 30 dic 2025

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Python (311 fork)batch import
good first issuegood starter issues

Metriche repository

Star
 (4859 star)
Metriche merge PR
 (Merge medio 2g 23h) (146 PR mergiate in 30 g)

Descrizione

According to https://docs.cloud.google.com/storage/docs/working-with-big-data, gcloud storage cp is much faster due to optimizations in automatic parallelism. We can migrate the usage gsutil cp in https://github.com/skypilot-org/skypilot/blob/e6a41b121ae27c33e1815ecf316858752dcc9982/sky/data/storage.py#L2370.

I manually tried a few file downloads with gcloud storage cp, it easily saturates the 300MB/s throughput, i.e. it worth a try.

Guida contributor

Direzione di ricerca
Ispeziona il file sky/data/storage.py intorno alla riga 2370 per comprendere l'attuale utilizzo di gsutil cp/rsync. Sostituisci con comandi equivalenti gcloud storage cp/rsync, assicurando lo stesso comportamento e ottimizzando per il parallelismo. Testa con file di esempio per verificare funzionalità e miglioramento delle prestazioni.
Tech stack
pythonshell
Dominio
backendcloud
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitPythonGoogle Cloud SDK
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70