Include FAPEC compressor support to Parquet?

オープン

#3,067 2024年11月18日に作成コメント 1 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 5/5
見積もり時間: 1週間以上
初心者へのやさしさ: 25/100

issue の種類: 機能追加
明瞭さ: 説明が足りない
活発さ: 停滞
技術スタック: java
領域: data

調査の方向性

このissueには、ファイル、テスト、エントリーポイントが記載されていません。まず、Parquet codecのサポートがどのように構成されているか、またFAPECのproof of conceptがどのようなものかを確認し、その後、エンコードとデコードに関するライセンス上の制約およびバイナリのみの制約を評価してください。互換性の方針が決定され、具体的な実装範囲が定まれば完了です。

索引モデルが issue の本文から書いたものです。

説明

Type: enhancement

Describe the enhancement requested

FAPEC is a high-performance data compression algorithm with many options, based on efficient entropy coding and including several pre-processing algorithms for time series, images, text, floats, etc.
It's already available for some formats like HDF5 and FITS. We're now investigating the possibility to include FAPEC as a new codec option for Parquet, which (we think) should provide better compression ratios (than the currently available codecs) mainly for integers and floats/doubles. We're now working on a proof-of-concept to evaluate how much would it actually improve.
If the outcome reveals a "significant enough" improvement, will it be possible to include this new option?
Note that FAPEC is a commercial product, so a valid license would be needed to generate Parquet files with this, and the compression library would have to be used in binary form for the adequate platform. (reading Parquet files compressed with FAPEC would always be free). Perhaps this would be a blocking issue...?

Component(s)

No response

主要言語: Java
スター: 3.1k
フォーク: 1.6k
平均マージ: 6日 16時間
マージ済み PR（30日）: 36

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/parquet-java のほかの issue

AvroIndexedRecordConverter resolves aliases before the exact field name オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

apache/parquet-java#3792 · 2026年9月14日に作成
Make PageReader AutoCloseable オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

apache/parquet-java#3767 · 2026年9月4日に作成
Remove duplicate LICENSE and NOTICE files from benchmark JARs オープン

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/parquet-java#3695 · コメント 1 件 · 2026年7月29日に作成
Close input readers when ParquetRewriter setup fails オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3667 · 2026年7月16日に作成
null_count is omitted for large columns in parquet files オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3574 · コメント 1 件 · 2026年5月22日に作成

apache/parquet-java の issue をすべて見る

似ている issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 オープン

documentation

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日に作成
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

killbill/killbill#2314 · コメント 1 件 · 2026年9月24日に作成
Work list, Cases and Compliance overlap, and nothing says which one to use オープン

frontend maui-pilot pilot-ask question

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Taleef7/workwell#698 · 2026年9月24日に作成
[Bug][UI] Replace the status of the button in the Sessions Tab オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日に作成
executions.Query — startDate and timeRange filters are sent with inverted comparison operators オープン

area/plugin

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日に作成

Java の issue をもっと見る