How to make existed snappy compressed file compatible with hadoop?
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 30/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Bastante claro
- Estado de actividad
- Estancado
- Stack tecnológico
- hadoop, java, spark
- Área
- data-engineering
Línea de trabajo
Start by identifying the SnappyFramedOutputStream format mentioned in the issue and how Hadoop's Snappy codec expects input; then check how Spark reads that codec. The issue asks whether existing files can be converted, but does not specify a conversion interface or expected behavior, so clarify scope before implementation. Done means the produced files can be read through Hadoop's codec and Spark.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
I have output some snappy compressed file, and I need to read them via Spark.
It seems the snappy file made by SnappyFramedOutputStream cannot be read by hadoop. So can I convert them to satisfied with the hadoop snappy codec?
- Lenguaje dominante
- Java
- Estrellas
- 1.1k
- Forks
- 261
- Merge medio
- 2 min
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de xerial/snappy-java
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
xerial/snappy-java#658 · 3 comentarios · 1 reacción ·
-
Dificultad 3/5 1-2 días Aptitud para principiantes 56/100
xerial/snappy-java#607 ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
xerial/snappy-java#604 · 1 comentario ·
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
xerial/snappy-java#603 · 3 comentarios ·
-
Snappy error on Mac OS Ventura: "no native library is found for os.name=Mac and os.arch=aarch64"Abierto
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
xerial/snappy-java#573 · 1 reacción ·
Todos los issues de xerial/snappy-java
Issues similares
-
hermes-queue
Dificultad 1/5 1-3 horas Aptitud para principiantes 85/100
chrisalunlloyd2-sudo/mindpalace#403 ·
Los mantenedores suelen responder en 1 día
-
triage
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
xerial/sqlite-jdbc#1515 ·
Los mantenedores suelen responder en 1 día
-
Area/Configuration Type/Improvement
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ballerina-platform/static-code-analysis-tool#217 ·
Los mantenedores suelen responder en 1 día
-
SequenceEncoder: a value ending with a backslash swallows the tokens after it (“No state for trait”)Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 80/100
vassalengine/vassal#15337 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 76/100
eclipse-dirigible/dirigible#8636 · 1 comentario ·
Los mantenedores suelen responder en 1 día