[Client] Add the primary-key table bulk-load client SDK

Abierto
  • ¿Algo no está bien?
#4,225 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 2 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
5/5
Tiempo estimado
Más de una semana
Aptitud para principiantes
28/100
Tipo de issue
Nueva funcionalidad
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
java
Área
backend-api-design, data-engineering, distributed-systems

Línea de trabajo

Comienza por la conexión de Fluss y el protocolo de bulk-load del servidor; después, sigue los puntos de entrada Begin, GetInProgress, Commit y Abort. Revisa cómo se representan las sesiones de build, los bucket writers, los archivos de snapshot, los manifiestos y los reintentos de commit; se considera terminado cuando el SDK público cubre los flujos de trabajo locales y distribuidos indicados, y el contexto de build sigue siendo serializable y los recursos se cierran correctamente.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Search before asking
  • I searched in the issues and found nothing similar.
Description

Provide a public client SDK over the server-side bulk-load protocol.

The SDK should hide RPC messages, manifest assembly, snapshot file handling,
and Commit retry details while supporting both single-process builders and
distributed execution engines.

Scope
  • Expose BulkLoad through the Fluss connection.
  • Add a client for Begin, GetInProgress, Commit, and Abort.
  • Return an immutable and serializable build context from Begin.
  • Add openBuildSession as the entry point for local build resources.
  • Create bucket writers through the build session.
  • Route and validate rows against the frozen target metadata.
  • Deduplicate primary-key rows locally, with the last row for a key winning.
  • Build ordinary Fluss KV snapshot files for each bucket.
  • Support an explicit log end offset when required by the caller.
  • Assemble and publish the complete manifest internally.
  • Retry Commit within a caller-provided await budget when the outcome is
    retriable or unknown.
  • Close all writers still owned by a build session when the session is closed.
  • Keep credentials and process-local resources out of the serializable build
    context.
Willingness to contribute
  • I'm willing to submit a PR!
Lenguaje dominante
Java
Estrellas
2.2k
Forks
663
Merge medio
2 d 21 h
PR fusionados (30 d)
118

Preparar el entorno

  • Sin Dockerfile ni archivo de Docker Compose
  • Tiene una plantilla de pull request
  • Sin guía de contribución

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/fluss

Todos los issues de apache/fluss

Issues similares

Más issues de Java

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.