JanusGraph/janusgraph

Kryo registrator options for Spark

Aperta

#1194 aperta il 27 lug 2018

Vedi su GitHubGuida contributor
 (2 commenti) (0 reazioni) (0 assegnatari)Java (1137 fork)batch import
area/docsarea/sparkhelp wantedkind/enhancement

Metriche repository

Star
 (4985 stelle)
Metriche merge PR
 (Merge medio 3g 18h) (12 PR mergiate in 30 g)

Descrizione

This came up during a documentation review:

https://github.com/JanusGraph/janusgraph/blob/0.2/janusgraph-hadoop-parent/janusgraph-hadoop-core/src/test/resources/cassandra-read.properties#L30 Should we use:

spark.kryo.registrator=org.janusgraph.hadoop.serialize.JanusGraphKryoRegistrator

Or:

spark.kryo.registrator=org.apache.tinkerpop.gremlin.spark.structure.io.gryo.GryoRegistrator

JanusGraphKryoRegistrator only registers a serializer for Geoshape, while the TinkerPop GryoRegistrator handles many different classes. JanusGraphKryoRegistrator does not extend GryoRegistrator.

We need some clarity on how to configure the Kryo registrator to cover all required TinkerPop and JanusGraph classes. Also will need updates on the documentation and the properties files in the distribution.

Guida contributor

Direzione di ricerca
Confronta JanusGraphKryoRegistrator e GryoRegistrator per comprendere la copertura delle classi, quindi aggiorna la documentazione e i file delle proprietà per raccomandare una configurazione combinata o chiarire la relazione.
Tech stack
java
Dominio
backenddatabase
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
JavaSpark
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
60