distributed appending? (like `zarr.append()`)
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 25/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Stack tecnológico
- python
- Área
- distributed-systems
Línea de trabajo
Comience con el caso de uso de issue #67 y el callback de Python write_on_batch_end mostrado aquí, en el que varios procesos añaden embeddings. Determine si TensorStore ya expone una ruta adecuada de append o concurrent-write, y defina la finalización como una forma documentada de añadir datos desde varios procesos de pod sin escrituras en conflicto.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hello. First I'd like to refer to my previous issue #67, which explains my use case.
I want to append embeddings to tensorstore from multiple processes of pods. There is append() in zarr, but I couldn't find a equivalent function in tensorstore. How can I achieve the similar in tensorstore? below is my writing code. Thanks!
def write_on_batch_end(
self,
trainer,
pl_module,
prediction: Any,
batch_indices: List[int],
batch: Any,
batch_idx: int,
dataloader_idx: int,
):
embed = prediction
# append to storage
# this function is called from multiple processes
...
- Lenguaje dominante
- C++
- Estrellas
- 1.6k
- Forks
- 151
- Métricas de merge de PR
- Sin PR fusionados en 30 d
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de google/tensorstore
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
google/tensorstore#305 ·
-
Ship Python 3.15 wheelsAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 64/100
google/tensorstore#298 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 48/100
google/tensorstore#291 · 1 comentario · 1 reacción ·
-
Zarr3 rectilinear chunk gridAbierto
Dificultad 5/5 Más de una semana Aptitud para principiantes 25/100
google/tensorstore#288 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 48/100
google/tensorstore#279 ·
Todos los issues de google/tensorstore
Issues similares
-
documentation
Dificultad 1/5 1-3 horas Aptitud para principiantes 84/100
Los mantenedores suelen responder en 1 día
-
Lua File: add readWhole()Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 69/100
grumpycoders/pcsx-redux#2667 ·
-
GCC 15.2: -Wcast-qual warning - cast discards const qualifier from pointer target type (H5trace.c)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 73/100
Los mantenedores suelen responder en 1 día
-
bug module: copilot
Dificultad 2/5 1-3 horas Aptitud para principiantes 64/100
MaaAssistantArknights/MaaAssistantArknights#19250 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
LadybirdBrowser/ladybird#14486 ·
Los mantenedores suelen responder en 1 día