Hacktoberfest 2026: die Issues, die Maintainer für den Oktober markiert haben – offen und einsteigerfreundlich. Hacktoberfest-Issues durchsuchen

[Feature] Unpack predicate boolean kernel bitmaps a byte at a time

Geschlossen
  • Stimmt etwas nicht?
#335 0 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Maintainer antworten meist innerhalb von 1 Tag

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
3/5
Geschätzter Aufwand
1-2 Tage
Anfängerfreundlichkeit
74/100
Issue-Typ
Feature
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
cpp
Bereich
data

Rechercherichtung

Beginne in src/paimon/common/utils/arrow/ und finde MultiLiteralsLeafFunction und NullFalseLeafBinaryFunction. Verfolge dann ihre bestehenden Bitmap-zu-Byte-Schleifen durch LeafFunction::Test. Füge den gemeinsamen Helper und einen Property-Test hinzu, der jeden Offset und jede Länge, beide Negationswerte und nicht an Byte-Grenzen ausgerichtete Gültigkeitszeiträume abdeckt. Als erledigt gilt, wenn der Helper mit der zeilenweisen Accessor-Referenz übereinstimmt und beide Aufrufer unveränderte Bytes zurückgeben.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

enhancement

Search before asking

  • I searched in the issues and found nothing similar.

Motivation

Two predicate leaf functions evaluate a batch by running an arrow::compute kernel and reading back the arrow::BooleanArray it writes: MultiLiteralsLeafFunction (IN / NOT IN, via IsIn) and NullFalseLeafBinaryFunction (the comparison functions). A kernel returns a bitmap, one bit per row, but LeafFunction::Test returns std::vector<char>, one byte per row, so both call sites spread the bits over bytes with the same per-row loop: test IsNull, read Value, apply the negation NOT IN needs, store a byte. That is a shift, a mask and a byte store per row, duplicated across the two call sites, on the selection path every filtered batch goes through.

Solution

Extract the spread into one helper, ArrowUtils::UnpackBooleansToBytes(array, negate), and read the bitmap a byte at a time instead of a bit at a time:

  • A compile-time table maps each of the 256 bitmap bytes to the eight bytes it expands to, so the aligned body produces eight rows per iteration with one lookup and one 8-byte store.
  • A scalar head and tail cover the rows sharing a partial leading or trailing byte, which is where the array offset is not byte-aligned; a batch a kernel has just written is aligned, so it takes the fast body throughout.
  • The offset and the validity bitmap are honoured exactly as BooleanArray::Value() and Array::IsValid() honour them, and a null row unpacks to 0 whatever the value bitmap holds for it, which is what both IN / NOT IN and every NullFalseLeafBinaryFunction require.

MultiLiteralsLeafFunction passes its negate through; NullFalseLeafBinaryFunction passes negate=false. The bytes each returns are unchanged.

Anything else?

A property test that asserts the helper equals a row-by-row reference through the very accessors it replaces, over every (offset, length) slice of a bitmap whose value and null periods are not multiples of eight and both negate values, pins the offset, validity and negate handling against the definitions it optimizes. No change to any header under include/paimon/, the storage format, or the protocol: ArrowUtils is an internal utility under src/paimon/common/utils/arrow/.

Are you willing to submit a PR?

  • I'm willing to submit a PR!
Vorherrschende Sprache
C++
Sterne
65
Forks
29
Ø Merge
2 T. 3 Std.
Gemergte PRs (30 T.)
73

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus apache/paimon-cpp

Alle Issues in apache/paimon-cpp

Ähnliche Issues

Weitere Issues zu C++

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.