cindex needs vast amounts of temporary space

Aperta
#33 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
35/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
go
Ambito
cli, search

Direzione di ricerca

Inizia dal punto di ingresso di cindex e riproduci l’indicizzazione su un dataset di grandi dimensioni e ricco di testo, monitorando l’uso di /tmp. Traccia la creazione e l’elaborazione degli indici temporanei per determinare dove si accumula lo spazio; il lavoro è completato quando cindex utilizza molto meno spazio temporaneo e offre un modo per selezionare una directory temporanea alternativa.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

auto-migrated Priority-Medium Type-Defect
1. Run cindex on about 9 GiB of files (where about half of them are text files)
2. Observe space usage of cindex

What is the expected output?

cindex takes a reasonable amount of temporary space and provides an option to 
specify an alternative place to store temporary files.

What do you see instead?

cindex eats up to 5 GiB of space on /tmp while generating a 600 MiB 
.csearchindex file.

What version of the product are you using? On what operating system?

tip on Linux with go tip

Please provide any additional information below.

It would be nice if cindex could provide an option to change the temporary 
directory as /tmp might not be large enough. Additionally, it might be possible 
to lower the space usage of cindex, for instance, it might be possible to merge 
(and therefore compress) temporary indices before processing the next set of 
files.

Original issue reported on code.google.com by [email protected] on 23 Sep 2013 at 1:23

Lingua principale
Go
Stelle
0
Fork
0
Metriche di merge delle PR
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di jmurzy/codesearch

Tutte le issue di jmurzy/codesearch

Issue simili

Altre issue su Go

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.