How to make existed snappy compressed file compatible with hadoop?
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 30/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- hadoop, java, spark
- Bereich
- data-engineering
Rechercherichtung
Start by identifying the SnappyFramedOutputStream format mentioned in the issue and how Hadoop's Snappy codec expects input; then check how Spark reads that codec. The issue asks whether existing files can be converted, but does not specify a conversion interface or expected behavior, so clarify scope before implementation. Done means the produced files can be read through Hadoop's codec and Spark.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
I have output some snappy compressed file, and I need to read them via Spark.
It seems the snappy file made by SnappyFramedOutputStream cannot be read by hadoop. So can I convert them to satisfied with the hadoop snappy codec?
- Vorherrschende Sprache
- Java
- Sterne
- 1.1k
- Forks
- 261
- Ø Merge
- 2 Min.
- Gemergte PRs (30 T.)
- 2
Entwicklungsumgebung
Dieses Projekt bietet weder Dev-Container noch Dockerfile noch Beitragsleitfaden – die Einrichtung liegt bei Ihnen. Beginnen Sie mit der README; die allgemeinen Schritte stehen in unserem Leitfaden für den ersten Beitrag.
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus xerial/snappy-java
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
xerial/snappy-java#658 · 3 Kommentare · 1 Reaktion ·
-
Schwierigkeit 3/5 1-2 Tage Anfängerfreundlichkeit 56/100
xerial/snappy-java#607 ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
xerial/snappy-java#604 · 1 Kommentar ·
-
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 45/100
xerial/snappy-java#603 · 3 Kommentare ·
-
Snappy error on Mac OS Ventura: "no native library is found for os.name=Mac and os.arch=aarch64"Offen
Schwierigkeit 4/5 3-5 Tage Anfängerfreundlichkeit 35/100
xerial/snappy-java#573 · 1 Reaktion ·
Alle Issues in xerial/snappy-java
Ähnliche Issues
-
hermes-queue
Schwierigkeit 1/5 1-3 Stunden Anfängerfreundlichkeit 85/100
chrisalunlloyd2-sudo/mindpalace#403 ·
Maintainer antworten meist innerhalb von 1 Tag
-
triage
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
xerial/sqlite-jdbc#1515 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Area/Configuration Type/Improvement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 68/100
ballerina-platform/static-code-analysis-tool#217 ·
Maintainer antworten meist innerhalb von 1 Tag
-
SequenceEncoder: a value ending with a backslash swallows the tokens after it (“No state for trait”)Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 80/100
vassalengine/vassal#15337 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 76/100
eclipse-dirigible/dirigible#8636 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag