apache/datafusion-comet

Apache DataFusion Comet Spark Accelerator

Star: 1.3k
Fork: 377
Issue cho người mới đang mở: 13
Issue đã lập chỉ mục: 643
Merge trung bình: 2 ngày 11 giờ
Pull request đã merge (30 ngày): 243

Ngôn ngữ chính: Scala
Giấy phép: Apache-2.0
Lần push lên GitHub gần nhất: 19/9/2026
Lập chỉ mục gần nhất: 14/9/2026
Hướng dẫn đóng góp: Hướng dẫn đóng góp
Quy tắc ứng xử: Quy tắc ứng xử
Label cho người mới: good first issue help wanted

Đang mở Tất cả

Report resident memory (RssAnon) in the executor memory usage log and warn on it against the container size Đang mở

area:memory enhancement requires-triage

apache/datafusion-comet#6167 · 1 người được giao · Mở ngày 23/9/2026
perf: allocation accounting wrapper costs ~5% on TPC-H Q21 from thread-local lookups in the dlopened library Đang mở

area:memory performance requires-triage

apache/datafusion-comet#6165 · 1 người được giao · Mở ngày 23/9/2026
chore: Re-enable unused-parameter warnings in the strict-warnings profile Đang mở

area:ci enhancement

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6164 · Mở ngày 23/9/2026
CI: PRs opened with a label get stuck on 'Required Checks — Expected' Đang mở

bug requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6159 · 2 bình luận · 1 reaction · Mở ngày 23/9/2026
CometSort sorts a multi-column key containing a collated string by raw bytes Đang mở

bug correctness requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6158 · Mở ngày 23/9/2026
Comparison operators on arrays and structs with floating-point leaves do not match Spark for signed zero Đang mở

area:expressions bug correctness requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6157 · Mở ngày 23/9/2026
RevertNativeForTransitionHeavyStages strips transitions in the stage below when AQE is off Đang mở

bug requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6152 · Mở ngày 23/9/2026
Make native Iceberg write coverage visible in the Iceberg Spark test CI jobs Đang mở

area:ci area:Iceberg area:writer enhancement requires-triage

apache/datafusion-comet#6148 · 1 người được giao · Mở ngày 23/9/2026
docs: fix stale and missing native write details in iceberg-writes.md and iceberg.md Đang mở

area:Iceberg area:writer documentation requires-triage

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

apache/datafusion-comet#6147 · Mở ngày 23/9/2026
Native Iceberg write over-counts NaNs for nested float fields when the input batch is already sliced Đang mở

area:Iceberg area:writer bug requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

apache/datafusion-comet#6146 · Mở ngày 23/9/2026
Native Iceberg write panics or writes a NULL partition value for dates and timestamps beyond year 262143 Đang mở

area:Iceberg area:writer bug requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

apache/datafusion-comet#6145 · Mở ngày 23/9/2026
Native Iceberg write gate misses a custom location provider supplied by TableOperations Đang mở

area:Iceberg area:writer enhancement requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 55/100

apache/datafusion-comet#6144 · Mở ngày 23/9/2026
IcebergCommitExec rethrows the raw cause when the abort fails, where Spark wraps it in writingJobFailedError Đang mở

area:Iceberg area:writer bug requires-triage

apache/datafusion-comet#6143 · 1 người được giao · Mở ngày 23/9/2026
IcebergWriteStrategy ignores spark.comet.enabled, so the split-operator write plan survives the kill switch Đang mở

area:Iceberg area:writer bug requires-triage

apache/datafusion-comet#6142 · 1 người được giao · Mở ngày 23/9/2026
Native Iceberg write fails on a V1 spec that mixes a live field with a void field whose source column was dropped Đang mở

area:Iceberg area:writer bug requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6141 · Mở ngày 23/9/2026
Native Iceberg write gate reads hdfs:/path as file, so the write fails natively instead of falling back Đang mở

area:Iceberg area:writer bug requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6140 · Mở ngày 23/9/2026
Native Iceberg write silently drops S3 settings it cannot honour (credentials provider, SSE, ACL, tags, remote signing) instead of falling back Đang mở

area:Iceberg area:writer bug correctness requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

apache/datafusion-comet#6139 · Mở ngày 23/9/2026
Native Iceberg write merges -0.0 and 0.0 rows into one float/double identity partition Đang mở

area:Iceberg area:writer bug correctness requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6138 · Mở ngày 23/9/2026
Nested duplicate names in a metadata-free Parquet file bypass the native resolver when the file schema equals the requested schema Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

apache/datafusion-comet#6136 · Mở ngày 23/9/2026
CometNativeScanExec evaluates the inner (unrewritten) dynamic-pruning subquery from outputPartitioning: q5 fails with SubqueryAdaptiveBroadcastExec.execute(), q64 intermittently returns 0 rows at SF1000 Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

apache/datafusion-comet#6133 · 2 bình luận · Mở ngày 23/9/2026
Field id matching misses a container id after INT96 coercion drops container metadata Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

apache/datafusion-comet#6131 · Mở ngày 23/9/2026
Support scalar PySpark Arrow UDFs in Comet native execution via PyO3 Đang mở

enhancement requires-triage

apache/datafusion-comet#6129 · 1 người được giao · Mở ngày 23/9/2026
Investigate charging native Iceberg scan memory to the task memory pool Đang mở

area:Iceberg area:memory enhancement requires-triage

apache/datafusion-comet#6126 · 1 người được giao · Mở ngày 22/9/2026
Iceberg scan fails with a hard-wired 10s OpenDAL io_timeout that cannot be configured Đang mở

area:Iceberg area:scan bug requires-triage

apache/datafusion-comet#6124 · 1 người được giao · Mở ngày 22/9/2026
perf: reduce Parquet runtime filter schema guard overhead Đang mở

requires-triage

apache/datafusion-comet#6123 · 1 bình luận · 1 người được giao · Mở ngày 22/9/2026
Three dev/diffs weaken a local-shuffle-read assertion into a contradiction, breaking the Spark-only baseline Đang mở

requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 72/100

apache/datafusion-comet#6122 · Mở ngày 22/9/2026
Write blog post for 1.1.0 release Đang mở

enhancement requires-triage

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 35/100

apache/datafusion-comet#6120 · Mở ngày 22/9/2026
docs: add a user-facing Celeborn integration guide Đang mở

area:shuffle documentation enhancement requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100

apache/datafusion-comet#6118 · 1 bình luận · Mở ngày 22/9/2026
Charge native write buffers to the shared off-heap memory pool Đang mở

area:Iceberg area:memory area:writer enhancement requires-triage

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 38/100

apache/datafusion-comet#6115 · Mở ngày 22/9/2026
Native Iceberg writer keeps a dictionary page for high-cardinality columns where iceberg-java writes none Đang mở

area:Iceberg area:writer enhancement performance requires-triage

apache/datafusion-comet#6114 · 1 người được giao · Mở ngày 22/9/2026
Iceberg S3-family storage rebuilds the opendal Operator and signer on every file open Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

apache/datafusion-comet#6109 · Mở ngày 22/9/2026
Native Iceberg scan and write build a new FileIO, and a new storage client, for every task Đang mở

requires-triage

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100

apache/datafusion-comet#6105 · Mở ngày 22/9/2026
ci: shard the Iceberg extensions test task Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100

apache/datafusion-comet#6103 · Mở ngày 22/9/2026
ci: key the TPC dataset caches on pinned generators Đang mở

requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 72/100

apache/datafusion-comet#6102 · Mở ngày 22/9/2026
Shuffle schema cache can evict recent entries and retain oversized schemas Đang mở

bug requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 74/100

apache/datafusion-comet#6097 · Mở ngày 21/9/2026
native: `JVMClasses::with_env: JAVA_VM not initialized` aborts a multi-suite JVM Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 45/100

apache/datafusion-comet#6096 · Mở ngày 21/9/2026
Support Spark's `AtLeastNNonNulls` natively Đang mở

enhancement requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 65/100

apache/datafusion-comet#6093 · 4 bình luận · 1 người được giao · Mở ngày 21/9/2026
Native executePlan busy-polls at 100% CPU while a plan with a JVM-fed input waits on native I/O Đang mở

requires-triage

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 68/100

apache/datafusion-comet#6091 · Mở ngày 21/9/2026
Exempt testing-category and internal configs from the versioning policy Đang mở

documentation requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 74/100

apache/datafusion-comet#6088 · Mở ngày 21/9/2026
array_append: ANSI item error is swallowed when the array is NULL Đang mở

area:expressions bug requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 68/100

apache/datafusion-comet#6086 · Mở ngày 21/9/2026
to_unix_timestamp and make_timestamp advertise an allowIncompatible native opt-in that does not exist Đang mở

area:expressions bug priority:low requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 84/100

apache/datafusion-comet#6080 · Mở ngày 21/9/2026
Bug triage results: 2026-09-21 Đang mở

requires-triage

Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 25/100

apache/datafusion-comet#6077 · Mở ngày 21/9/2026
Parquet writer tests can capture a previous write's plan Đang mở

area:writer bug priority:low

apache/datafusion-comet#6075 · 1 bình luận · 1 người được giao · Mở ngày 21/9/2026
Add native Vortex scan support Đang mở

area:scan enhancement

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 32/100

apache/datafusion-comet#6070 · Mở ngày 21/9/2026
Remove memory accounting from Comet's on-heap mode Đang mở

area:memory area:shuffle enhancement

apache/datafusion-comet#6063 · 1 người được giao · Mở ngày 20/9/2026
ci: a transient Maven Central failure in lint-java is reported as a scalafix violation Đang mở

area:ci bug priority:low

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100

apache/datafusion-comet#6060 · Mở ngày 20/9/2026
Native Iceberg scan: support abfs/abfss (Azure Data Lake Storage Gen2) locations Đang mở

area:scan enhancement

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

apache/datafusion-comet#6058 · Mở ngày 20/9/2026
Allow row-based build sides (such as JDBC) to convert to Arrow for native BroadcastHashJoin Đang mở

enhancement

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 55/100

apache/datafusion-comet#6056 · Mở ngày 19/9/2026
Consider accounting for Comet in spark.executor.memoryOverhead when off-heap memory is enabled Đang mở

area:memory enhancement priority:medium user experience

apache/datafusion-comet#6050 · 2 bình luận · 1 người được giao · Mở ngày 19/9/2026
Variance and standard deviation return incorrect results for large nearby values Đang mở

area:aggregation bug correctness priority:critical

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100

apache/datafusion-comet#6044 · 1 người được giao · Mở ngày 19/9/2026

Đang hiển thị 100 mục mới nhất

Trang này chỉ liệt kê những gì được lập chỉ mục gần đây. Bộ lọc nâng cao có toàn bộ kho, thu hẹp theo ngôn ngữ, độ khó và thời lượng.

Mở bộ lọc nâng cao

apache/datafusion-comet

Đang hiển thị 100 mục mới nhất

Nhận issue mới trong hộp thư của bạn