Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

datalake_agent: Hadoop (filesystem) catalog

Abierto
#2,017 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
52/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
hadoop, spark
Área
data-engineering, databases, distributed-systems

Línea de trabajo

Start with dependency B3 and the existing hadoop server-type whitelist route, then trace the volume warehouse path, version-hint handling, namespaces, and FileIO. Run the conformance suite on local FS and MinIO, verify Spark opens the same warehouse path, and add the concurrent-commit test whose outcome documents the S3 limitation.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

datalake

Part of #2008. Letters (A, B0–B7, C, D, E) are the PRs listed there; this is B7.

Scope
  • HadoopCatalog over the volume's warehouse path (version-hint.text per table), FileIO from the volume; namespaces are directories. The hadoop server type already in the whitelist routes here.
  • Documented limit: commits rely on an atomic rename, which object stores lack, so concurrent writers to one table are unsafe on S3. Documentation only, no warning at CREATE SERVER.
  • End-to-end on local FS and on MinIO, including a test that shows what two concurrent commits do on each.
Out of scope

HDFS as storage (follow-up of A).

Depends on

B3.

Acceptance
  • Conformance suite green on local FS and MinIO; Spark opens the same warehouse path.
  • The S3 concurrent-commit behaviour is documented from the test's outcome.
Lenguaje dominante
C
Estrellas
1.4k
Forks
248
Merge medio
4 d 10 h
PR fusionados (30 d)
40

Guía de contribución

Abrir la guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/cloudberry

Todos los issues de apache/cloudberry

Issues similares

Más issues de C

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.