distributed appending? (like `zarr.append()`)
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 5/5
- Temps estimé
- Plus d'une semaine
- Accessibilité débutants
- 25/100
- Type d'issue
- Fonctionnalité
- Clarté
- À clarifier
- Activité
- À l'abandon
- Stack technique
- python
- Domaine
- distributed-systems
Piste de recherche
Commencez par le cas d’utilisation de issue #67 et le callback Python write_on_batch_end présenté ici, dans lequel plusieurs processus ajoutent des embeddings. Déterminez si TensorStore expose déjà une voie appropriée d’append ou de concurrent-write, et définissez l’achèvement comme un moyen documenté d’ajouter des données depuis plusieurs processus de pod sans écritures en conflit.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Hello. First I'd like to refer to my previous issue #67, which explains my use case.
I want to append embeddings to tensorstore from multiple processes of pods. There is append() in zarr, but I couldn't find a equivalent function in tensorstore. How can I achieve the similar in tensorstore? below is my writing code. Thanks!
def write_on_batch_end(
self,
trainer,
pl_module,
prediction: Any,
batch_indices: List[int],
batch: Any,
batch_idx: int,
dataloader_idx: int,
):
embed = prediction
# append to storage
# this function is called from multiple processes
...
- Langage dominant
- C++
- Étoiles
- 1.6k
- Forks
- 151
- Métriques de merge des PR
- Aucune PR mergée en 30 j
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Aucun modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de google/tensorstore
-
Difficulté 2/5 1-3 heures Accessibilité débutants 88/100
google/tensorstore#305 ·
-
Ship Python 3.15 wheelsOuverte
Difficulté 3/5 1-2 jours Accessibilité débutants 64/100
google/tensorstore#298 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 48/100
google/tensorstore#291 · 1 commentaire · 1 réaction ·
-
Zarr3 rectilinear chunk gridOuverte
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
google/tensorstore#288 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 48/100
google/tensorstore#279 ·
Toutes les issues de google/tensorstore
Issues similaires
-
documentation
Difficulté 1/5 1-3 heures Accessibilité débutants 84/100
Les mainteneurs répondent en général sous 1 jour
-
Lua File: add readWhole()Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 69/100
grumpycoders/pcsx-redux#2667 ·
-
GCC 15.2: -Wcast-qual warning - cast discards const qualifier from pointer target type (H5trace.c)Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 73/100
Les mainteneurs répondent en général sous 1 jour
-
bug module: copilot
Difficulté 2/5 1-3 heures Accessibilité débutants 64/100
MaaAssistantArknights/MaaAssistantArknights#19250 · 2 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
LadybirdBrowser/ladybird#14486 ·
Les mainteneurs répondent en général sous 1 jour