milvus-io/milvus

[Feature]: Support publishing data on hdfs into milvus in pyspark

Open

#20 001 ouverte le 24 oct. 2022

Voir sur GitHub
 (4 commentaires) (0 réactions) (1 assigné)Go (4 000 forks)batch import
good first issuekind/feature

Métriques du dépôt

Stars
 (44 298 stars)
Métriques de merge PR
 (Merge moyen 7j) (314 PRs mergées en 30 j)

Description

Is there an existing issue for this?

  • I have searched the existing issues

Is your feature request related to a problem? Please describe.

Now, I publish mode:

  1. Start a pod on k8s.
  2. Pull all parquet files into the pod from hdfs.
  3. Read the parquet files in pandas, then insert data into milvus.

This process consumes huge amount of memory. And if mem can not release, it will affect other process in the pod.

Describe the solution you'd like.

I want to publish data on hdfs into milvus in pyspark

Describe an alternate solution.

No response

Anything else? (Additional Context)

No response

Guide contributeur

Direction de recherche
Examine le connecteur PySpark existant pour Milvus et comprenez comment l'étendre pour lire depuis HDFS. Consultez l'API d'importation de données de Milvus et les modèles d'intégration HDFS.
Stack technique
pythongo
Domaine
backenddatadistributed systems
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
3-5 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
PySparkHDFSMilvusKubernetes
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
30