Hacktoberfest 2026: as issues que os mantenedores marcaram para outubro, abertas e boas para iniciantes. Ver issues do Hacktoberfest

ADD gz decompression in parallel like pigz

Aberta
#624 0 comentários 0 reações 0 responsáveis Ver no GitHub

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
5/5
Tempo estimado
Mais de uma semana
Facilidade para iniciantes
30/100
Tipo de issue
Funcionalidade
Clareza
Precisa de esclarecimento
Status de atividade
Estagnada
Stack de tecnologia
python
Domínio
data-engineering

Direção de pesquisa

Comece pelo ponto de entrada ctx.read_csv descrito na issue e rastreie como a entrada .gz é descompactada. Determine onde a descompactação gzip paralela se encaixaria e como ela deve ser medida em comparação com os tempos relatados do pigz e do read_csv. Considera-se concluído quando o caminho solicitado de leitura de CSV gzip fornece descompactação paralela com desempenho validado.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

enhancement

Hi,

In our case, we would like to read a big CSV file compressed in .gz format.

We would like to use the read_csv function like this:

ctx.read_csv('myfile.csv.gz',file_extension=".csv.gz", delimiter=';', has_header=True, schema_infer_max_records=0, file_compression_type='gzip')

However, this decompression is not parallel like pigz (54 seconds) compared to 800 seconds when using the read_csv function.

If you could take a look...

Linguagem predominante
Python
Estrelas
605
Forks
176
Merge médio
1d 23h
PRs com merge (30d)
8

Guia de contribuição

Nenhum guia de contribuição indexado para este repositório

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de apache/datafusion-python

Todas as issues de apache/datafusion-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.