Streaming Google storage upload
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
Línea de trabajo
Lee las limitaciones descritas en google-cloud-ruby issue #1997 e inspecciona el wrapper gcs_stream_upload enlazado, usando sus ejemplos de streaming como punto de partida. Se considera terminado cuando las cargas de Google storage puedan escribir datos transmitidos sin conservar todo el contenido en memoria, incluidos los datos producidos mediante IO.copy_stream.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I am trying to solve the case of uploading files in a streaming fashion without keeping the full contents in memory
I have previously implemented the same feature in https://github.com/aws/aws-sdk-ruby/pull/1711
As identified in https://github.com/googleapis/google-cloud-ruby/issues/1997
There are some limitations in google-api-client which hard codes the use of the content length header
I have written a minimal wrapper library that monkey patches it here which should serve as a good source of inspiration: https://github.com/Fonsan/gcs_stream_upload
require 'gcs_stream_upload'
storage = Google::Cloud::Storage.new(timeout: 5 * 60)
bucket = storage.bucket('bucket')
gcs_stream_upload = GCSStreamUpload.new(bucket)
gcs_stream_upload.upload('object') do |io|
IO.copy_stream(IO.popen('yes | head -n 10'), io)
end
# => Written "y\n" * 10
gcs_stream_upload.upload('object') do |io|
io << 'data'
io << 'dat2'
end
# => Written "datadat2"
- Lenguaje dominante
- Ruby
- Estrellas
- 2.9k
- Forks
- 888
- Merge medio
- 8 min
- PR fusionados (30 d)
- 242
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de googleapis/google-api-ruby-client
-
Please Drop ruby 3.2 support Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
googleapis/google-api-ruby-client#28001 · 5 reacciones ·
-
googleapis/google-api-ruby-client#27757 · 1 asignado ·
-
googleapis/google-api-ruby-client#27758 · 1 asignado ·
-
googleapis/google-api-ruby-client#27759 · 1 asignado ·
-
api: storage type: feature request
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
googleapis/google-api-ruby-client#27339 ·
Todos los issues de googleapis/google-api-ruby-client
Issues similares
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
-
ai-generated
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
hanami/hanami-cli#449 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 82/100
hanami/hanami-router#310 ·