Is big Decimal in Parquet big endian?

オープン

#3,246 2025年6月27日に作成コメント 4 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 4/5
見積もり時間: 3〜5日
初心者へのやさしさ: 35/100

issue の種類: ドキュメント
明瞭さ: おおむね明確
活発さ: 停滞
領域: data-engineering

調査の方向性

Issue にリンクされている Parquet のデータページエンコーディングのドキュメントから始め、BYTE_ARRAY と FIXED_LEN_BYTE_ARRAY の decimal 値に関するバイト順序とエンコーディング規則を確認します。完了条件は、大きな decimal が big-endian と little-endian のどちらのバイトを使用するのか、またエンコーディングまたはバイトスワッピングがいつ発生するのかを文書化することです。

索引モデルが issue の本文から書いたものです。

説明

Describe the usage question you have. Please include as many useful details as possible.

It's not clear from description https://parquet.apache.org/docs/file-format/data-pages/encodings/ how are big Decimals (precision >= 18) placed. As I could understand they can be encoded as BYTE_ARRAY or FIXED_LEN_BYTE_ARRAY. But there're two ways to place "the bytes contained in the array" from memory: big endian and little endian. I.e. they are in LE in int128 in memory. Could I place the bytes into FIXED_LEN_BYTE_ARRAY as is?

It's also not clean if there's some encoding over these decimal's bytes, should the data be swapped to correct endianness before of after the encoding?

Component(s)

No response

主要言語: Java
スター: 3.1k
フォーク: 1.6k
平均マージ: 6日 16時間
マージ済み PR（30日）: 36

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

apache/parquet-java のほかの issue

AvroIndexedRecordConverter resolves aliases before the exact field name オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

apache/parquet-java#3792 · 2026年9月14日に作成
Make PageReader AutoCloseable オープン

難易度 2/5 1〜3時間初心者へのやさしさ 82/100

apache/parquet-java#3767 · 2026年9月4日に作成
Remove duplicate LICENSE and NOTICE files from benchmark JARs オープン

難易度 2/5 1〜3時間初心者へのやさしさ 72/100

apache/parquet-java#3695 · コメント 1 件 · 2026年7月29日に作成
Close input readers when ParquetRewriter setup fails オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3667 · 2026年7月16日に作成
null_count is omitted for large columns in parquet files オープン

Type: bug

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

apache/parquet-java#3574 · コメント 1 件 · 2026年5月22日に作成

apache/parquet-java の issue をすべて見る

似ている issue

chore: aspectjweaver(EPL-2.0)와 AGPL-3.0 호환성 정리 オープン

documentation

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

inu-appcenter/memorIN-backend#288 · 2026年9月24日に作成
Vulnerability Nessus 12085 - Apache Tomcat Default Files (with killbill/killbill:0.24.21) オープン

難易度 2/5 1〜3時間初心者へのやさしさ 65/100

killbill/killbill#2314 · コメント 1 件 · 2026年9月24日に作成
Work list, Cases and Compliance overlap, and nothing says which one to use オープン

frontend maui-pilot pilot-ask question

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Taleef7/workwell#698 · 2026年9月24日に作成
[Bug][UI] Replace the status of the button in the Sessions Tab オープン

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

Netcracker/qubership-integration-platform#918 · 2026年9月24日に作成
executions.Query — startDate and timeRange filters are sent with inverted comparison operators オープン

area/plugin

難易度 2/5 1〜3時間初心者へのやさしさ 75/100

kestra-io/plugin-kestra#190 · 2026年9月24日に作成

Java の issue をもっと見る