feat(avro): support LARGE_STRING, LARGE_BINARY, and LARGE_LIST in Avro datum writer

Aberta Para iniciantes
  • Algo errado?
#1,103 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 2 dias

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
2/5
Tempo estimado
1-3 horas
Facilidade para iniciantes
77/100
Tipo de issue
Funcionalidade
Clareza
Claramente especificada
Status de atividade
Ativa
Stack de tecnologia
cpp
Domínio
data

Direção de pesquisa

Leia os três TODOs em src/iceberg/avro/avro_data_util.cc nas linhas 751, 759 e 838, junto com os casos STRING, BINARY e LIST existentes aos quais eles se referem. Adicione o tratamento correspondente para os tipos grandes de array do Arrow, seguindo essas implementações. Os arrays LARGE_STRING, LARGE_BINARY e LARGE_LIST são gravados sem atingir um caso não tratado; o issue não especifica testes a serem executados.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

The Avro datum writer in src/iceberg/avro/avro_data_util.cc currently handles arrow::Type::STRING, arrow::Type::BINARY, and arrow::Type::LIST but not their large variants. If an Arrow array with one of these large types is passed to the writer, it hits an unhandled case and fails.

The affected lines are:

  • avro_data_util.cc:751 — TODO(gangwu): support LARGE_STRING
  • avro_data_util.cc:759 — TODO(gangwu): support LARGE_BINARY
  • avro_data_util.cc:838 — TODO(gangwu): support LARGE_LIST

The fix is to add case ::arrow::Type::LARGE_STRING, case ::arrow::Type::LARGE_BINARY, and case ::arrow::Type::LARGE_LIST handling, mirroring the existing non-large implementations but casting to arrow::LargeStringArray, arrow::LargeBinaryArray, and arrow::LargeListArray respectively.

I'd like to work on this.
Linguagem predominante
C++
Estrelas
227
Forks
142
Merge médio
3d 21min
PRs com merge (30d)
70

Preparar o ambiente

Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de apache/iceberg-cpp

Todas as issues de apache/iceberg-cpp

Issues semelhantes

Mais issues de C++

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.