BurntSushi/xsv

feature: binned histograms

Open

#84 aperta il 13 giu 2017

Vedi su GitHub
 (3 commenti) (2 reazioni) (0 assegnatari)Rust (315 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (9730 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

Histograms could be done in numerous ways. Here are some thoughts:

  • like most of xsv, should operate over huge tables with a single pass
  • .idx files could store metadata helpful for binning? eg, min and max values per column
  • "chose N evenly spaced numerical bins" seems to require more than one pass (or keeping all values in memory). Keeping a tree of round-sized bins and merging them when the tree gets too big would avoid that
  • logarithmic bins
  • power-of-two or power-of-1024 (eg, for file sizes)
  • binning of strings or decimal numbers by prefix
  • "other" / "NaN" / null bins
  • csv/tsv output by default, then a separate mode like xsv table to pretty print bars

Guida contributor

Direzione di ricerca
Studia l'architettura di xsv e implementa una funzionalità di istogramma a passaggio singolo con opzioni di raggruppamento configurabili. Concentrati su algoritmi efficienti in termini di memoria come i quantili in streaming o gli istogrammi approssimati.
Tech stack
rust
Dominio
cli
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
RustGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55