bigquery: read large unordered ARROW results with more than one stream
Mantenedores costumam responder em até 2 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 35/100
Direção de pesquisa
Start with the ARROW query result paths, _download_table_bqstorage() and _contains_order_by(), then inspect the changes in PR #18654 and its discussion. Check whether SplitReadStream supports job _default streams and compare throughput with the non-ARROW path for large unordered results; done means determining a workable parallel read approach and measuring its effect, though the issue says the scope is still being confirmed.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Before ARROW, to_arrow() and to_dataframe() read query results with as many streams as BigQuery allows unless _contains_order_by() matched the query (_download_table_bqstorage() requests 0 streams, which means unlimited). ARROW query results always read with one stream, so very large unordered results may be slower than on the old path. Raised by @tswast in https://github.com/googleapis/google-cloud-python/pull/18654#discussion_r4340945206.
- Explicit destination tables (#18654):
CreateReadSessionusesmax_stream_count=1. Do the same_contains_order_by()check and allow more streams when the query has noORDER BY, reading them in parallel. - Job
_defaultstream (jobs.query, orjobs.insertwith an anonymous destination): read directly with no read session, so there's no stream count. Check whetherSplitReadStreamworks on job default streams, or whether there's another way to parallelize. - Compare throughput against the non-ARROW path for large unordered results.
Still confirming whether very large results are in scope for the ARROW work. The Node.js client (createQueryArrowStream()) has the same design.
- Linguagem predominante
- Python
- Estrelas
- 5.4k
- Forks
- 1.8k
- Merge médio
- 2d 20h
- PRs com merge (30d)
- 140
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de googleapis/google-cloud-python
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
googleapis/google-cloud-python#19099 ·
Mantenedores costumam responder em até 2 dias
-
firestore: field path with a quoted name ending in a backslash is misparsedTalvez já em andamento @sebxt assumiu há 28 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
googleapis/google-cloud-python#18771 ·
Mantenedores costumam responder em até 2 dias
-
api: spanner type: feature request
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
googleapis/google-cloud-python#18584 ·
Mantenedores costumam responder em até 2 dias
-
auth: `impersonated_credentials` loses `subject` on copy, so `with_scopes()` and `with_quota_project()` turn off domain wide delegationTalvez já em andamento @Om-singhaI assumiu há 58 dias. Abertaauth priority: p2 type: bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
googleapis/google-cloud-python#18428 ·
Mantenedores costumam responder em até 2 dias
-
A client called `run_in_transaction` be stuck if Spanner is downTalvez já em andamento @founderinaction assumiu há 10 dias. Abertapriority: p2 type: bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
googleapis/google-cloud-python#18375 · 1 comentário ·
Mantenedores costumam responder em até 2 dias
Todas as issues de googleapis/google-cloud-python
Issues semelhantes
-
[Bug]: HTTP 499 (Client Closed Request) is classified as a non-retryable format_error, so a mid-flight abort fails the turn over instead of retryingTalvez já em andamento @yipinghuang1991 assumiu hoje. Abertacomp/agent P2 type/bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
NousResearch/hermes-agent#156837 ·
Mantenedores costumam responder em até 1 dia
-
Bug: Missing continue on ValueError in CpanBackend.check_feed causes UnboundLocalError or duplicate yieldsTalvez já em andamento @muskan-creates352 assumiu hoje. Aberta
Dificuldade 1/5 1-3 horas Facilidade para iniciantes 86/100
fedora-infra/anitya#2188 ·
Mantenedores costumam responder em até 1 dia
-
docs documentation need-triage SaaS
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
integration:hermes
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 85/100
vectorize-io/hindsight#6601 ·
Mantenedores costumam responder em até 1 dia
-
triage:product type:bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
dbt-labs/dbt-adapters#2333 ·
Mantenedores costumam responder em até 1 dia