vespa-engine/vespa

Support feeding from Spark

Aperta

#9158 aperta il 23 apr 2019

Vedi su GitHubGuida contributor
 (6 commenti) (0 reazioni) (0 assegnatari)Java (561 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (4948 stelle)
Metriche merge PR
 (Merge medio 1g 22h) (209 PR mergiate in 30 g)

Descrizione

Today, the Hadoop integration tools for Vespa support Hadoop and Pig for feeding and querying Vespa. The Pig feeder is a thin wrapper around the Vespa HTTP client.

We should support feeding directly from Spark as well, to avoid Spark pipelines having to write to HDFS and run another Pig job for the actual feeding. Similarly to the Pig feeder, this could be implemented as a thin wrapper around the HTTP client.

Guida contributor

Direzione di ricerca
Studia il codice di integrazione esistente di Hadoop e Pig per capire come avvolgono il client HTTP Vespa, quindi implementa una DataSource o Foreach writer simile per Spark.
Tech stack
java
Dominio
backenddatabase
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60