[memory]: Memory breakdown reporting and estimation functionality have to handle Hugepage allocations rounded to 2MB

Abierto
  • ¿Algo no está bien?
#386 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 5 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
48/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Activo
Stack tecnológico
cpp
Área
backend, performance

Línea de trabajo

Empieza leyendo IndexBuilder y el punto de entrada svs_index_builder_estimate_memory; después, inspecciona dispatch_vamana_memory_estimate alrededor de la línea 159 de dispatcher_vamana.cpp y su uso de SimpleDataBuilder. Compara el estimador con el comportamiento del asignador configurado. Se considera terminado cuando las asignaciones de hugepage incluyen un redondeo a 2 MiB y las estimaciones de asignadores personalizados dejan de ignorar el asignador, sin degradar el comportamiento en tiempo de ejecución.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

This is the fallout from IndexBuilder storing a live handle rather than a builder: the estimator has no way to know which allocator was configured, so it has to hardcode one. The result is that svs_index_builder_estimate_memory_dynamic is wrong for SVS_ALLOCATOR_KIND_HUGE_PAGE (2 MiB rounding is unaccounted for) and wrong for any custom allocator. dispatch_vamana_memory_estimate (~line 159 of dispatcher_vamana.cpp, unchanged here) is allocator-blind entirely — it still uses SimpleDataBuilder<index_type>{}.

Note that if the motivation for defaulting to lib::Allocator was to make the estimate line up with within_1pct(tracker.live_bytes, memory_usage) in the new tests, that's fixing the estimator's inaccuracy by degrading the runtime. Threading the kind through instead fixes both.

Originally posted by @ethanglaser in #380

Lenguaje dominante
C++
Estrellas
241
Forks
48
Merge medio
4 d 21 h
PR fusionados (30 d)
11

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de intel/ScalableVectorSearch

Todos los issues de intel/ScalableVectorSearch

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.