ParquetMetadataConverter should never log at level WARN
Mantenedores costumam responder em até 4 dias
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 35/100
- Tipo de issue
- Bug
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- java
- Domínio
- data-engineering
Direção de pesquisa
Comece lendo parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java na linha referenciada e inspecione o comportamento da conversão de metadados ao redor. Verifique os testes relevantes de Converter e as convenções de logging; em seguida, confirme com os Maintainers se o aviso deve ser removido, rebaixado ou substituído por uma Exception. O trabalho estará concluído quando o comportamento acordado estiver implementado sem mudanças de compatibilidade não intencionais e coberto por um teste de regressão apropriado.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Describe the bug, including details regarding any error messages, version, and platform.
When ParquetMetadataConverter encounters a mismatch between logical and converted type, it logs a message at level WARN. https://github.com/apache/parquet-java/blob/eed26b4ea96881cc543b4233cdddece5d1d608d7/parquet-hadoop/src/main/java/org/apache/parquet/format/converter/ParquetMetadataConverter.java#L1864
This behavior does not make sense because one of two things must be true:
- This is an issue that can affect normal operation and the application needs to (potentially) respond to it
- This is not a concern for the calling application and it won't impact normal operation
If item 1 is true, then an exception should be thrown and the application choose to respond or not (possibly by logging). If item item 2 is true, then the log message should either be omitted entirely or be logged at level DEBUG (INFO level would still be too spammy)
I would be happy to submit a patch if there is consensus about which approach to take. Perhaps there should be a flag to control whether the exception should be thrown to avoid breaking existing code.
Component(s)
No response
- Linguagem predominante
- Java
- Estrelas
- 3.1k
- Forks
- 1.6k
- Merge médio
- 5d 13h
- PRs com merge (30d)
- 31
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Sem guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de apache/parquet-java
-
Row-group copying collides for distinct column paths with the same dot stringTalvez já em andamento @costas-db assumiu há 20 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
apache/parquet-java#3829 ·
Mantenedores costumam responder em até 4 dias
-
Binary statistics truncation test ignores its configured truncation lengthTalvez já em andamento @dhruv-15-03 assumiu há 22 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
apache/parquet-java#3820 ·
Mantenedores costumam responder em até 4 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
apache/parquet-java#3767 ·
Mantenedores costumam responder em até 4 dias
-
Remove duplicate LICENSE and NOTICE files from benchmark JARsTalvez já em andamento @efegokdemir assumiu há 25 dias. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
apache/parquet-java#3695 · 1 comentário ·
Mantenedores costumam responder em até 4 dias
-
null_count is omitted for large columns in parquet filesTalvez já em andamento @efegokdemir assumiu há 23 dias. AbertaType: bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
apache/parquet-java#3574 · 1 comentário ·
Mantenedores costumam responder em até 4 dias
Todas as issues de apache/parquet-java
Issues semelhantes
-
enhancement Improvement
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
zowe/zowe-client-java-sdk#647 ·
-
NullPointerException when a `DeserializationProblemHandler` returns `null` for `byte[]` (single value unwrapped) and `char[]` elementsTalvez já em andamento @Marti2203 assumiu hoje. Aberta
Dificuldade 2/5 Meio dia Facilidade para iniciantes 88/100
FasterXML/jackson-databind#6300 ·
Mantenedores costumam responder em até 1 dia
-
content good first issue
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 95/100
cpinitiative/usaco-guide#6699 ·
Mantenedores costumam responder em até 1 dia
-
BC remittance upload: a claim MSP refused (S03) is saved with a blank status instead of refused (F)Talvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Abertatype: bug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
carlos-emr/carlos#4933 ·
Mantenedores costumam responder em até 1 dia
-
[studio] Data source connection tests leak loading and results across modal sessionsTalvez já em andamento Um pull request vinculado a esta issue está aberto ou já foi mesclado. Abertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
apache/rocketmq-dashboard#6925 ·
Mantenedores costumam responder em até 3 dias