Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

datalake_agent: Hadoop (filesystem) catalog

Aperta
#2,017 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
52/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
hadoop, spark
Ambito
data-engineering, databases, distributed-systems

Direzione di ricerca

Start with dependency B3 and the existing hadoop server-type whitelist route, then trace the volume warehouse path, version-hint handling, namespaces, and FileIO. Run the conformance suite on local FS and MinIO, verify Spark opens the same warehouse path, and add the concurrent-commit test whose outcome documents the S3 limitation.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

datalake

Part of #2008. Letters (A, B0–B7, C, D, E) are the PRs listed there; this is B7.

Scope
  • HadoopCatalog over the volume's warehouse path (version-hint.text per table), FileIO from the volume; namespaces are directories. The hadoop server type already in the whitelist routes here.
  • Documented limit: commits rely on an atomic rename, which object stores lack, so concurrent writers to one table are unsafe on S3. Documentation only, no warning at CREATE SERVER.
  • End-to-end on local FS and on MinIO, including a test that shows what two concurrent commits do on each.
Out of scope

HDFS as storage (follow-up of A).

Depends on

B3.

Acceptance
  • Conformance suite green on local FS and MinIO; Spark opens the same warehouse path.
  • The S3 concurrent-commit behaviour is documented from the test's outcome.
Lingua principale
C
Stelle
1.4k
Fork
248
Merge medio
4g 10h
PR unite (30g)
40

Guida per i contributori

Apri la guida per i contributori

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di apache/cloudberry

Tutte le issue di apache/cloudberry

Issue simili

Altre issue su C

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.