bigquery: read large unordered ARROW results with more than one stream

Aperta
#18,804 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 2 giorni

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
35/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
google-cloud, python
Ambito
data

Direzione di ricerca

Start with the ARROW query result paths, _download_table_bqstorage() and _contains_order_by(), then inspect the changes in PR #18654 and its discussion. Check whether SplitReadStream supports job _default streams and compare throughput with the non-ARROW path for large unordered results; done means determining a workable parallel read approach and measuring its effect, though the issue says the scope is still being confirmed.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

api: bigquery type: feature request

Before ARROW, to_arrow() and to_dataframe() read query results with as many streams as BigQuery allows unless _contains_order_by() matched the query (_download_table_bqstorage() requests 0 streams, which means unlimited). ARROW query results always read with one stream, so very large unordered results may be slower than on the old path. Raised by @tswast in https://github.com/googleapis/google-cloud-python/pull/18654#discussion_r4340945206.

  • Explicit destination tables (#18654): CreateReadSession uses max_stream_count=1. Do the same _contains_order_by() check and allow more streams when the query has no ORDER BY, reading them in parallel.
  • Job _default stream (jobs.query, or jobs.insert with an anonymous destination): read directly with no read session, so there's no stream count. Check whether SplitReadStream works on job default streams, or whether there's another way to parallelize.
  • Compare throughput against the non-ARROW path for large unordered results.

Still confirming whether very large results are in scope for the ARROW work. The Node.js client (createQueryArrowStream()) has the same design.

Lingua principale
Python
Stelle
5.4k
Fork
1.8k
Merge medio
2g 20h
PR unite (30g)
140

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di googleapis/google-cloud-python

Tutte le issue di googleapis/google-cloud-python

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.