dask/dask

Benchmark ORC reader

Open

#3,734 opened on 2018年7月6日

GitHub で見る
 (8 comments) (0 reactions) (0 assignees)Python (11,520 stars) (1,658 forks)batch import
dataframegood first issueioneeds info

説明

With #3284, we can now read ORC files into dask dataframes. It would be good/interesting to benchmark this implementation and see if there are any easy gains we're missing (this was never done). This would ideally be done at two levels:

  • Pandas/Arrow (are we getting the bandwidth we'd expect from the ORC c++ reader)
  • Dask (are we getting parallelism, is our overhead low)

We'd need to use some other system (spark, hive, etc...) to generate test files, as no python writer exists.

コントリビューターガイド

技術スタック
pythonpandas
領域
dataperformance
Issue 種別
research
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2 days
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
stale
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
mostly clear
前提条件
PythondaskORC format
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
30
調査方針
First, understand the ORC reader implementation from PR #3284 and related code in dask/dataframe/io/orc.py. Then generate ORC test files using Spark or Hive as no Python writer exists. Benchmark at two levels: compare Pandas/Arrow read performance to expected ORC C++ bandwidth, and measure dask parallelism and overhead. Document findings and identify any easy performance gains.