Include FAPEC compressor support to Parquet?
Mantenedores costumam responder em até 4 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 25/100
Direção de pesquisa
A issue não indica arquivos, testes nem pontos de entrada. Comece revisando como o suporte a codecs Parquet está estruturado e o proof of concept do FAPEC; em seguida, avalie as restrições de licenciamento e de uso exclusivo de binários para codificação e decodificação. O trabalho estará concluído quando um caminho de compatibilidade tiver sido decidido e um escopo concreto de implementação tiver sido definido.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Describe the enhancement requested
FAPEC is a high-performance data compression algorithm with many options, based on efficient entropy coding and including several pre-processing algorithms for time series, images, text, floats, etc.
It's already available for some formats like HDF5 and FITS. We're now investigating the possibility to include FAPEC as a new codec option for Parquet, which (we think) should provide better compression ratios (than the currently available codecs) mainly for integers and floats/doubles. We're now working on a proof-of-concept to evaluate how much would it actually improve.
If the outcome reveals a "significant enough" improvement, will it be possible to include this new option?
Note that FAPEC is a commercial product, so a valid license would be needed to generate Parquet files with this, and the compression library would have to be used in binary form for the adequate platform. (reading Parquet files compressed with FAPEC would always be free). Perhaps this would be a blocking issue...?
Component(s)
No response
- Linguagem predominante
- Java
- Estrelas
- 3.1k
- Forks
- 1.6k
- Merge médio
- 5d 13h
- PRs com merge (30d)
- 31
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de apache/parquet-java
-
Row-group copying collides for distinct column paths with the same dot stringTalvez já em andamento @costas-db assumiu há 20 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
apache/parquet-java#3829 ·
Mantenedores costumam responder em até 4 dias
-
Binary statistics truncation test ignores its configured truncation lengthTalvez já em andamento @dhruv-15-03 assumiu há 22 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
apache/parquet-java#3820 ·
Mantenedores costumam responder em até 4 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
apache/parquet-java#3767 ·
Mantenedores costumam responder em até 4 dias
-
Remove duplicate LICENSE and NOTICE files from benchmark JARsTalvez já em andamento @efegokdemir assumiu há 25 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
apache/parquet-java#3695 · 1 comentário ·
Mantenedores costumam responder em até 4 dias
-
null_count is omitted for large columns in parquet filesTalvez já em andamento @efegokdemir assumiu há 23 dias. AbertaType: bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
apache/parquet-java#3574 · 1 comentário ·
Mantenedores costumam responder em até 4 dias
Todas as issues de apache/parquet-java
Issues semelhantes
-
[Bug] Lock owned by another client (e.g. Text app) cannot be unlocked from the appTalvez já em andamento @falkloewert assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
oracle/graalvm-reachability-metadata#11026 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
checkstyle/checkstyle#22050 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
enhancement Improvement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
zowe/zowe-client-java-sdk#647 ·
-
RRX SAX: </rdf:RDF> inside rdf:parseType="Literal" ends the document ("Inconsistent parserMode:TOP")Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
apache/jena#4334 · 1 comentário ·
Mantenedores costumam responder em até 1 dia