hound-search/hound

Index is apparently limited to 4 GB

Open

#351 aperta il 1 ott 2020

Vedi su GitHub
 (7 commenti) (0 reazioni) (0 assegnatari)JavaScript (606 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (5470 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

:wave: Hound developers!

I am trying to index a pretty large repo (144GB - all current sources of openSUSE), and unsurprisingly the index turns out to be larger than 4GB, thus I hit this fatal message:

https://github.com/hound-search/hound/blob/e3b1b43eb872e47af1de1b0e15d0ec3ac5c51dc4/codesearch/index/write.go#L561

Would it be possible / how hard would it be to support larger indexes?

I only had a brief look at read.go and it seems to me that 32 bit offsets are part of the index file format, so changing that would require re-indexing/converting/supporting two file formats, is that correct?

Thanks for all your efforts on Hound!

Guida contributor

Direzione di ricerca
Il problema riguarda il supporto di indici più grandi di 4GB modificando la dimensione dell'offset da 32 bit a 64 bit nel formato del file di indice. I file chiave sono codesearch/index/write.go (riga 561) e read.go. La sfida è la compatibilità con le versioni precedenti; considera di supportare due formati di file o un percorso di migrazione. Rivedi i 7 commenti nell'issue per eventuali approcci suggeriti o vincoli noti. Non esistono PR collegati, quindi la soluzione potrebbe richiedere la progettazione di una nuova versione del formato di indice.
Tech stack
go
Dominio
backend
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
4
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Gobinary file formats
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20