Streaming Google storage upload
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
Direzione di ricerca
Leggi le limitazioni descritte in google-cloud-ruby issue #1997 e ispeziona il wrapper gcs_stream_upload collegato, usando i suoi esempi di streaming come punto di partenza. Il lavoro è completato quando i caricamenti su Google storage possono scrivere dati trasmessi in streaming senza conservare l’intero contenuto in memoria, inclusi i dati prodotti tramite IO.copy_stream.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
I am trying to solve the case of uploading files in a streaming fashion without keeping the full contents in memory
I have previously implemented the same feature in https://github.com/aws/aws-sdk-ruby/pull/1711
As identified in https://github.com/googleapis/google-cloud-ruby/issues/1997
There are some limitations in google-api-client which hard codes the use of the content length header
I have written a minimal wrapper library that monkey patches it here which should serve as a good source of inspiration: https://github.com/Fonsan/gcs_stream_upload
require 'gcs_stream_upload'
storage = Google::Cloud::Storage.new(timeout: 5 * 60)
bucket = storage.bucket('bucket')
gcs_stream_upload = GCSStreamUpload.new(bucket)
gcs_stream_upload.upload('object') do |io|
IO.copy_stream(IO.popen('yes | head -n 10'), io)
end
# => Written "y\n" * 10
gcs_stream_upload.upload('object') do |io|
io << 'data'
io << 'dat2'
end
# => Written "datadat2"
- Lingua principale
- Ruby
- Stelle
- 2.9k
- Fork
- 888
- Merge medio
- 8m
- PR unite (30g)
- 241
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di googleapis/google-api-ruby-client
-
Please Drop ruby 3.2 support Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
googleapis/google-api-ruby-client#28001 · 5 reazioni ·
-
googleapis/google-api-ruby-client#27757 · 1 assegnatario ·
-
googleapis/google-api-ruby-client#27758 · 1 assegnatario ·
-
googleapis/google-api-ruby-client#27759 · 1 assegnatario ·
-
api: storage type: feature request
Difficoltà 3/5 1-2 giorni Idoneità per principianti 55/100
googleapis/google-api-ruby-client#27339 ·
Tutte le issue di googleapis/google-api-ruby-client
Issue simili
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
hanami/hanami-cli#449 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
resque/resque-scheduler#826 ·
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 65/100
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100