skypilot-org/skypilot

[GCP] Move from `gsutil cp/rsync` to `gcloud storage cp/rsync`

Open

#8.457 geöffnet am 30. Dez. 2025

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (311 Forks)batch import
good first issuegood starter issues

Repository-Metriken

Stars
 (4.859 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 2T 23h) (146 gemergte PRs in 30 T)

Beschreibung

According to https://docs.cloud.google.com/storage/docs/working-with-big-data, gcloud storage cp is much faster due to optimizations in automatic parallelism. We can migrate the usage gsutil cp in https://github.com/skypilot-org/skypilot/blob/e6a41b121ae27c33e1815ecf316858752dcc9982/sky/data/storage.py#L2370.

I manually tried a few file downloads with gcloud storage cp, it easily saturates the 300MB/s throughput, i.e. it worth a try.

Contributor Guide

Research-Richtung
Überprüfe die Datei sky/data/storage.py um Zeile 2370, um die aktuelle Verwendung von gsutil cp/rsync zu verstehen. Ersetze sie durch äquivalente gcloud storage cp/rsync Befehle, wobei das gleiche Verhalten sichergestellt und die Parallelität optimiert wird. Teste mit Beispiel Dateien, um die Funktionalität und Leistungsverbesserung zu überprüfen.
Tech Stack
pythonshell
Domain
backendcloud
Issue Type
Refactoring
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
GitPythonGoogle Cloud SDK
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70