BurntSushi/xsv

feature: binned histograms

Open

#84 aberto em 13 de jun. de 2017

Ver no GitHub
 (3 comments) (2 reactions) (0 assignees)Rust (315 forks)batch import
enhancementhelp wanted

Métricas do repositório

Stars
 (9.730 stars)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

Histograms could be done in numerous ways. Here are some thoughts:

  • like most of xsv, should operate over huge tables with a single pass
  • .idx files could store metadata helpful for binning? eg, min and max values per column
  • "chose N evenly spaced numerical bins" seems to require more than one pass (or keeping all values in memory). Keeping a tree of round-sized bins and merging them when the tree gets too big would avoid that
  • logarithmic bins
  • power-of-two or power-of-1024 (eg, for file sizes)
  • binning of strings or decimal numbers by prefix
  • "other" / "NaN" / null bins
  • csv/tsv output by default, then a separate mode like xsv table to pretty print bars

Guia do colaborador

Direção de pesquisa
Estude a arquitetura do xsv e implemente um recurso de histograma de passagem única com opções de agrupamento configuráveis. Concentre se em algoritmos eficientes em memória, como quantis de streaming ou histogramas aproximados.
Pilha de tecnologia
rust
Domain
cli
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
RustGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
55