How to make existed snappy compressed file compatible with hadoop?

Ouverte
#214 3 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
30/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
À l'abandon
Stack technique
hadoop, java, spark

Piste de recherche

Start by identifying the SnappyFramedOutputStream format mentioned in the issue and how Hadoop's Snappy codec expects input; then check how Spark reads that codec. The issue asks whether existing files can be converted, but does not specify a conversion interface or expected behavior, so clarify scope before implementation. Done means the produced files can be read through Hadoop's codec and Spark.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

question

I have output some snappy compressed file, and I need to read them via Spark.
It seems the snappy file made by SnappyFramedOutputStream cannot be read by hadoop. So can I convert them to satisfied with the hadoop snappy codec?

Langage dominant
Java
Étoiles
1.1k
Forks
261
Merge moyen
2 min
PR mergées (30 j)
2

Préparer son environnement

Ce projet ne fournit ni conteneur de développement, ni Dockerfile, ni guide de contribution : l'installation est à votre charge. Commencez par son README, et consultez notre guide de la première contribution pour les étapes générales.

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de xerial/snappy-java

Toutes les issues de xerial/snappy-java

Issues similaires

Plus d'issues Java

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.