[BanyanDB] Data/Schema Import and Export
Los mantenedores suelen responder en 1 día
Evaluación
Este issue todavía no se ha evaluado.
Descripción
Search before asking
- I had searched in the issues and found no similar feature requirement.
Description
BanyanDB already supports snapshots, backup/restore, and lifecycle management. However, it still lacks an operations-oriented, cluster-level data import/export workflow.
The design is here: https://github.com/apache/skywalking-banyandb/tree/4b3fc26c5e5a37d0e96212c2e6cd299b5744095e/docs/design/0.12.0/data-export-import
It adds bydbctl data export and bydbctl data import, built around two channels: a CSV channel that replays logical rows and works across differing topologies and versions, and a native channel that relays part bytes through the liaison for speed but requires the source and target to match. Both are driven by a plan file, both support a dry run that touches nothing, and both can resume after an interruption.
The steps below are ordered so that each one ends with something demonstrable, and the two E2E steps close a channel before the next one opens.
- 1. Extend
databasev1.Nodeto expose supported file versions and timezone information. - 2. Build bydbctl and implement the export
PlanAPI to collect node information for dry run. - 3. Implement CSV export.
- 4. Implement CSV import.
- 5. Complete CSV import/export E2E.
- 6. Implement the
.bnccontainer format, with common read and write APIs. - 7. Add property file-chunk support to the file-chunk protocol.
- 8. Implement native import/export.
- 9. Complete native import/export E2E.
- 10. Add resume support to both workflows.
Use case
Using to export or import data from banyanDB cluster.
Related issues
No response
Are you willing to submit a pull request to implement this on your own?
- Yes I am willing to submit a pull request on my own!
Code of Conduct
- I agree to follow this project's Code of Conduct
- Lenguaje dominante
- Java
- Estrellas
- 25k
- Forks
- 6.6k
- Merge medio
- 16 h 55 min
- PR fusionados (30 d)
- 31
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de apache/skywalking
-
[BanyanDB] Flaky test: TestExportRelay_TwoRelaysShareOneRatePosiblemente ocupada @hanahmily la tomó hoy. Abiertodatabase test
Dificultad 3/5 1-2 días Aptitud para principiantes 66/100
apache/skywalking#14175 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[Bug] Trace profiling segment list becomes empty after the task finishes, while still inside the query windowPosiblemente ocupada @hanahmily la tomó hace 2 días. Abiertobug database
apache/skywalking#14172 · 3 comentarios · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
[Bug] BanyanDB trace block metadata format changed in 0.11 without a file format version bumpPosiblemente ocupada @hanahmily la tomó hace 3 días. Abiertobug database
apache/skywalking#14169 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
chore CLI database
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
apache/skywalking#14168 ·
Los mantenedores suelen responder en 1 día
-
[Bug] BanyanDB stream scans run out of query memory even with a small limitPosiblemente ocupada @hanahmily la tomó hace 6 días. Abiertobug database
apache/skywalking#14165 · 3 comentarios · 2 asignados ·
Los mantenedores suelen responder en 1 día
Todos los issues de apache/skywalking
Issues similares
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 67/100
quarkiverse/quarkus-google-cloud-services#1188 ·
Los mantenedores suelen responder en 1 día
-
Component: Frontend Component: Web Component Type: Maintenance
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
it-at-m/refarch-templates#1944 ·
Los mantenedores suelen responder en 2 días
-
priority: p2 type: bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
googleapis/java-genai#1372 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 60/100