How to make existed snappy compressed file compatible with hadoop?
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 4/5
- Temps estimé
- 3-5 jours
- Accessibilité débutants
- 30/100
- Type d'issue
- Fonctionnalité
- Clarté
- Plutôt claire
- Activité
- À l'abandon
- Stack technique
- hadoop, java, spark
- Domaine
- data-engineering
Piste de recherche
Start by identifying the SnappyFramedOutputStream format mentioned in the issue and how Hadoop's Snappy codec expects input; then check how Spark reads that codec. The issue asks whether existing files can be converted, but does not specify a conversion interface or expected behavior, so clarify scope before implementation. Done means the produced files can be read through Hadoop's codec and Spark.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
I have output some snappy compressed file, and I need to read them via Spark.
It seems the snappy file made by SnappyFramedOutputStream cannot be read by hadoop. So can I convert them to satisfied with the hadoop snappy codec?
- Langage dominant
- Java
- Étoiles
- 1.1k
- Forks
- 261
- Merge moyen
- 2 min
- PR mergées (30 j)
- 2
Préparer son environnement
Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de xerial/snappy-java
-
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
xerial/snappy-java#658 · 3 commentaires · 1 réaction ·
-
Difficulté 3/5 1-2 jours Accessibilité débutants 56/100
xerial/snappy-java#607 ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
xerial/snappy-java#604 · 1 commentaire ·
-
Difficulté 4/5 3-5 jours Accessibilité débutants 45/100
xerial/snappy-java#603 · 3 commentaires ·
-
Snappy error on Mac OS Ventura: "no native library is found for os.name=Mac and os.arch=aarch64"Ouverte
Difficulté 4/5 3-5 jours Accessibilité débutants 35/100
xerial/snappy-java#573 · 1 réaction ·
Toutes les issues de xerial/snappy-java
Issues similaires
-
hermes-queue
Difficulté 1/5 1-3 heures Accessibilité débutants 85/100
chrisalunlloyd2-sudo/mindpalace#403 ·
Les mainteneurs répondent en général sous 1 jour
-
triage
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
xerial/sqlite-jdbc#1515 ·
Les mainteneurs répondent en général sous 1 jour
-
Area/Configuration Type/Improvement
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
ballerina-platform/static-code-analysis-tool#217 ·
Les mainteneurs répondent en général sous 1 jour
-
SequenceEncoder: a value ending with a backslash swallows the tokens after it (“No state for trait”)Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 80/100
vassalengine/vassal#15337 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
eclipse-dirigible/dirigible#8636 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour