vesoft-inc/nebula-importer

enhance data reader logic

Aperta

#218 aperta il 11 ott 2022

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Go (62 fork)auto 404
HACKTOBERFESTtype/enhancement

Metriche repository

Star
 (101 stelle)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

importer read all the files in concurrent, it would cause below issues:

  1. if there're 1000+ files, it would read too many data, and would OOM.
  2. one goroutine reads one file, if there is only one file, would import slow even if there're many graph clients.

Guida contributor

Direzione di ricerca
Identifica la causa principale di OOM e lentezza del singolo file nel lettore di file concorrente. Considera l'implementazione di un semaforo o di un pool di worker per limitare il numero di goroutine che leggono file contemporaneamente.
Tech stack
go
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Go
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75