pingcap/tidb

use external storage to reduce the memory space usage of some executors

Open

#14.392 aperta il 8 gen 2020

Vedi su GitHub
 (1 commento) (0 reazioni) (0 assegnatari)Go (6186 fork)batch import
epic/memory-managementhelp wantedsig/executiontype/enhancement

Metriche repository

Star
 (40.090 star)
Metriche merge PR
 (Merge medio 14g 4h) (346 PR mergiate in 30 g)

Descrizione

Feature Request

Is your feature request related to a problem? Please describe:

As the title says.

Describe the feature you'd like:

issue difficulty assignee PRs
[ ] #TODO Use external storage for Index Merge Join hard help wanted N/A
[ ] #14675 implement grace hash join for Hash Join to avoid OOM of hash table hard help wanted N/A
[ ] #14413 Use external storage for Hash Aggregation hard help wanted N/A
[ ] #14395 Use external storage for Distinct hard help wanted N/A
[x] #12431 Use external storage for Sort medium @wshwsh12 #13718, #14279
[ ] #TODO Use external storage for Window Function medium help wanted N/A
[ ] #TODO Compare between row-based and vectorized external storage format for different executors hard help wanted N/A

Describe alternatives you've considered:

Teachability, Documentation, Adoption, Migration Strategy:

Guida contributor

Direzione di ricerca
Inizia rivedendo l'implementazione esistente della memoria esterna per l'esecutore Sort (issue #12431, PRs #13718, #14279) per comprenderne l'approccio. Quindi, esamina la codebase per esecutori come Index Merge Join, Hash Join e Hash Aggregation per identificare i punti critici di utilizzo della memoria. Cerca le interfacce di archiviazione nel codice sorgente di TiDB e considera come integrare la memoria esterna per scaricare i dati su disco quando i limiti di memoria vengono superati. L'issue include più sotto attività con valutazioni di difficoltà; concentrati su un esecutore con stato 'help wanted'.
Tech stack
go
Dominio
database
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GoSQL
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30