vespa-engine/vespa

Support feeding from Spark

Ouverte

#9 158 ouverte le 23 avr. 2019

Voir sur GitHubGuide contributeur
 (6 commentaires) (0 réaction) (0 personne assignée)Java (561 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (4 948 étoiles)
Métriques de merge PR
 (Métriques PR en attente)

Description

Today, the Hadoop integration tools for Vespa support Hadoop and Pig for feeding and querying Vespa. The Pig feeder is a thin wrapper around the Vespa HTTP client.

We should support feeding directly from Spark as well, to avoid Spark pipelines having to write to HDFS and run another Pig job for the actual feeding. Similarly to the Pig feeder, this could be implemented as a thin wrapper around the HTTP client.

Guide contributeur

Direction de recherche
Étudiez le code d'intégration existant de Hadoop et Pig pour comprendre comment ils enveloppent le client HTTP Vespa, puis implémentez une DataSource ou un Foreach writer similaire pour Spark.
Stack technique
java
Domaine
backenddatabase
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
JavaGit
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
60