JanusGraph/janusgraph

Kryo registrator options for Spark

Open

#1.194 geöffnet am 27. Juli 2018

Auf GitHub ansehen
 (2 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Java (1.137 Forks)batch import
area/docsarea/sparkhelp wantedkind/enhancement

Repository-Metriken

Stars
 (4.985 Stars)
PR-Merge-Metriken
 (Durchschn. Merge 3T 18h) (12 gemergte PRs in 30 T)

Beschreibung

This came up during a documentation review:

https://github.com/JanusGraph/janusgraph/blob/0.2/janusgraph-hadoop-parent/janusgraph-hadoop-core/src/test/resources/cassandra-read.properties#L30 Should we use:

spark.kryo.registrator=org.janusgraph.hadoop.serialize.JanusGraphKryoRegistrator

Or:

spark.kryo.registrator=org.apache.tinkerpop.gremlin.spark.structure.io.gryo.GryoRegistrator

JanusGraphKryoRegistrator only registers a serializer for Geoshape, while the TinkerPop GryoRegistrator handles many different classes. JanusGraphKryoRegistrator does not extend GryoRegistrator.

We need some clarity on how to configure the Kryo registrator to cover all required TinkerPop and JanusGraph classes. Also will need updates on the documentation and the properties files in the distribution.

Contributor Guide

Research-Richtung
Vergleichen Sie JanusGraphKryoRegistrator und GryoRegistrator, um die Klassenabdeckung zu verstehen, und aktualisieren Sie dann die Dokumentation und die Eigenschaftendateien, um eine kombinierte Konfiguration zu empfehlen oder die Beziehung zu klären.
Tech Stack
java
Domain
backenddatabase
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Meist klar
Voraussetzungen
JavaSpark
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
60