Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

`Arrow.write()` cannot handle large `Mmap`-ed table

Abierto
  • ¿Algo no está bien?
#413 0 comentarios 1 reacción 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
35/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Estancado
Stack tecnológico
julia
Área
data-engineering

Línea de trabajo

Empieza reproduciendo el problema con el archivo Arrow grande sin comprimir, una Mmap-ed table view y las dos llamadas a Arrow.write mostradas en el informe, bajo el límite de memoria indicado. Sigue Arrow.write desde la entrada de la vista y compara el comportamiento de la memoria a medida que crece la máscara; se considera terminado cuando la tabla filtrada se escribe correctamente sin el error de falta de memoria indicado.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

Premise:

  1. input file is large, uncompressed Arrow file
  2. we produce a mask and produce a view() over the Mmap-ed table
  3. use Arrow.write() to write filtered table to disk

This seems to take increasing memory as the content of the mask.

I know this doesn't work correctly because if I set memory limit first:

> ulimit -Sv 8000000

julia> using Arrow, DataFrames

julia> const df = @time DataFrame(Arrow.Table("./nanoAOD_nocomp.feather"); copycols=false);
  2.685720 seconds (4.84 M allocations: 321.109 MiB, 4.41% gc time, 100.89% compilation time)

julia> Arrow.write("/home/akako/Downloads/out.feather", @view df[1:1*10^4, :]);

julia> Arrow.write("/home/akako/Downloads/out.feather", @view df[1:2*10^4, :]);
ERROR: Internal error: encountered unexpected error in runtime:
OutOfMemoryError()
unknown function (ip: 0x7f9d7329fc99)
unknown function (ip: 0x7f9d732935b5)
jl_gc_alloc at /home/akako/Documents/github/dotFiles/homedir/.julia/juliaup/julia-1.9.0-rc1+0.x64.linux.gnu/bin/../lib/julia/libjulia-internal.so.1 (unknown line)
ijl_alloc_array_1d at /home/akako/Documents/github/dotFiles/homedir/.julia/juliaup/julia-1.9.0-rc1+0.x64.linux.gnu/bin/../lib/julia/libjulia-internal.so.1 (unknown line)
unknown function (ip: 0x7f9d5ec6259e)
unknown function (ip: 0x7f9d5e36c9dc)
unknown function (ip: 0x7f9d5e73ee1f)
unknown function (ip: 0x7f9d5e73ed98)
Lenguaje dominante
Julia
Estrellas
315
Forks
78
Sin PR fusionados en 30 d

Preparar el entorno

Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de apache/arrow-julia

Todos los issues de apache/arrow-julia

Issues similares

Más issues de Julia

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.