How to make existed snappy compressed file compatible with hadoop?

Offen
#214 3 Kommentare 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

Dieses Issue hat noch niemand übernommen.

Bewertung

Schwierigkeit
4/5
Geschätzter Aufwand
3-5 Tage
Anfängerfreundlichkeit
30/100
Issue-Typ
Feature
Klarheit
Größtenteils klar
Aktivitätsstatus
Veraltet
Tech-Stack
hadoop, java, spark

Rechercherichtung

Start by identifying the SnappyFramedOutputStream format mentioned in the issue and how Hadoop's Snappy codec expects input; then check how Spark reads that codec. The issue asks whether existing files can be converted, but does not specify a conversion interface or expected behavior, so clarify scope before implementation. Done means the produced files can be read through Hadoop's codec and Spark.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

question

I have output some snappy compressed file, and I need to read them via Spark.
It seems the snappy file made by SnappyFramedOutputStream cannot be read by hadoop. So can I convert them to satisfied with the hadoop snappy codec?

Vorherrschende Sprache
Java
Sterne
1.1k
Forks
261
Ø Merge
2 Min.
Gemergte PRs (30 T.)
2

Entwicklungsumgebung

Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus xerial/snappy-java

Alle Issues in xerial/snappy-java

Ähnliche Issues

Weitere Issues zu Java

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.