milvus-io/milvus

[Feature]: Support publishing data on hdfs into milvus in pyspark

Open

#20.001 aperta il 24 ott 2022

Vedi su GitHub
 (4 commenti) (0 reazioni) (1 assegnatario)Go (4000 fork)batch import
good first issuekind/feature

Metriche repository

Star
 (44.298 star)
Metriche merge PR
 (Merge medio 7g) (314 PR mergiate in 30 g)

Descrizione

Is there an existing issue for this?

  • I have searched the existing issues

Is your feature request related to a problem? Please describe.

Now, I publish mode:

  1. Start a pod on k8s.
  2. Pull all parquet files into the pod from hdfs.
  3. Read the parquet files in pandas, then insert data into milvus.

This process consumes huge amount of memory. And if mem can not release, it will affect other process in the pod.

Describe the solution you'd like.

I want to publish data on hdfs into milvus in pyspark

Describe an alternate solution.

No response

Anything else? (Additional Context)

No response

Guida contributor

Direzione di ricerca
Esamina il connettore PySpark esistente per Milvus e comprendi come estenderlo per leggere da HDFS. Esamina l'API di importazione dati di Milvus e i pattern di integrazione HDFS.
Tech stack
pythongo
Dominio
backenddatadistributed systems
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
3-5 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
PySparkHDFSMilvusKubernetes
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30