BurntSushi/xsv

feature: binned histograms

Open

#84 opened on 2017年6月13日

GitHub で見る
 (3 comments) (2 reactions) (0 assignees)Rust (9,730 stars) (315 forks)batch import
enhancementhelp wanted

説明

Histograms could be done in numerous ways. Here are some thoughts:

  • like most of xsv, should operate over huge tables with a single pass
  • .idx files could store metadata helpful for binning? eg, min and max values per column
  • "chose N evenly spaced numerical bins" seems to require more than one pass (or keeping all values in memory). Keeping a tree of round-sized bins and merging them when the tree gets too big would avoid that
  • logarithmic bins
  • power-of-two or power-of-1024 (eg, for file sizes)
  • binning of strings or decimal numbers by prefix
  • "other" / "NaN" / null bins
  • csv/tsv output by default, then a separate mode like xsv table to pretty print bars

コントリビューターガイド

技術スタック
rust
領域
clidata
Issue 種別
feature
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
3-5 days
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
needs investigation
前提条件
RustCSV parsinghistogram algorithmsmemory efficient processing
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30
調査方針
Investigate single pass histogram binning approaches for large CSV data, considering memory constraints. Review comments in issue #84 for additional requirements like logarithmic bins and null handling. Existing .idx files may provide min/max metadata. The implementation should output CSV/TSV and support a pretty print mode similar to `xsv table`.
feature: binned histograms · BurntSushi/xsv#84 | Good First Issue