feature: support string and binary view types in schema serialization

Abierto
#10,997 0 comentarios 0 reacciones 0 asignados Ver en GitHub

Los mantenedores suelen responder en 2 días

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
55/100
Tipo de issue
Nueva funcionalidad
Claridad
Bien especificado
Estado de actividad
Activo
Stack tecnológico
rust

Línea de trabajo

Start with rust/lance-namespace/src/schema.rs and rust/lance/src/arrow/json.rs, then inspect the existing schema conversion and Arrow JSON tests. Check how nested fields, nullability, field and schema metadata, and extension metadata are handled. Add focused coverage for namespace value-schema conversion and Arrow JSON round trips; done means both support view types while preserving their distinct contracts.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

feature

String/binary View arrays are supported in parts of Lance, but schema serialization still has gaps: the namespace schema converter explicitly rejects Utf8View/BinaryView, and Lance Arrow JSON does not include these representations in its primitive type mapping.

Acceptance:

  • Support Utf8View and BinaryView in namespace schema conversion according to its value-schema contract (mapping to utf8/binary where appropriate).
  • Support explicit string_view/binary_view representations in Lance Arrow JSON serialization and deserialization so this interface can round-trip the Arrow representation.
  • Preserve nested fields, nullability, and field/schema metadata, including extension metadata.
  • Keep the two serializers' contracts distinct; do not claim namespace value-schema normalization preserves the original Arrow layout.
  • Add focused schema conversion/round-trip coverage. No canonical decimal model, dataset migration, or new table format flag is required.

Source references: namespace schema conversion, Lance Arrow JSON. Source inspection only.

Extracted from #9496 while closing #9570. Related to the View support tracked in #7069, but independently useful to schema consumers.

Lenguaje dominante
Rust
Estrellas
7.3k
Forks
929
Merge medio
2 d 22 h
PR fusionados (30 d)
572

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de lance-format/lance

Todos los issues de lance-format/lance

Issues similares

Más issues de Rust

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.