[BUG] Can not load vertices from parquet

Abierto
  • ¿Algo no está bien?
#4,647 3 comentarios 0 reacciones 0 asignados Ver en GitHub

Nadie ha tomado este issue todavía.

Evaluación

Dificultad
4/5
Tiempo estimado
3-5 días
Aptitud para principiantes
45/100
Tipo de issue
Error
Claridad
Bastante claro
Estado de actividad
Tranquilo
Stack tecnológico
kubernetes, python
Área
cloud, data-engineering, distributed-systems

Línea de trabajo

Comienza con los logs proporcionados de Kubernetes y Python y, a continuación, sigue los puntos de entrada session(), add_vertices(), add_edges() y Loader para las entradas de Parquet, hostPath y S3. Reproduce el fallo con las versiones documentadas de GraphScope, vineyard y Kubernetes. Se considera terminado cuando los vértices y las aristas se cargan correctamente desde los archivos Parquet montados y el ejemplo de S3, sin errores de vineyard ni de esquema.

Escrito por el modelo de indexación a partir del texto del issue.

Descripción

stale

Describe the bug
When loading a graph from local Parquet files mounted via hostPath volume into a K8s session, GraphScope fails with Object not exists in vineyard followed by Empty table list cannot be used for normalizing schema. The same setup works correctly with CSV files.

To Reproduce

  • Set up a K8s cluster (tested with K3s on single node Ubuntu)
  • Mount a local directory containing Parquet files as a hostPath volume
  • Create a GraphScope session with k8s_volumes pointing to the mount
  • Call add_vertices with a file:/// path to a .parquet file
import graphscope as gs

with gs.session(k8s_volumes={
        "data": {
            "type": "hostPath",
            "field": {
                "path": "/path/to/host/dataset",
                "type": "Directory"
            },
            "mounts": {
                "mountPath": "/dataset"
            }
        }
    }, k8s_image_tag='0.30.0', k8s_namespace='gs') as session:
    
    graph = session.g()
    graph = graph.add_vertices(
        'file:///dataset/vertices.parquet', 
        label='person',
        properties=['firstName', 'lastName', 'gender'],
        vid_field='id'
    )
    graph = graph.add_edges(
        'file:///dataset/edges.parquet',
        src_label='person',
        dst_label='person'
    )

Expected behavior
Graph should load from Parquet files the same way it loads from CSV files.

Environment

  • GraphScope version: v0.30.0
  • vineyard version: v0.24.2
  • OS: Ubuntu 24.04
  • Kubernetes: K3s v1.24.9+k3s1(single node)
  • Python 3.10.20
  • Graphscope python library: v0.29.0

Additional context
I faced the the same issue if load dataset from S3:

import graphscope as gs
from graphscope.framework.loader import Loader
import argparse

parser = argparse.ArgumentParser(description="Process command-line arguments.")
parser.add_argument("--s3-key", type=str)
parser.add_argument("--s3-secret", type=str)

args = parser.parse_args()

# Doesn't work
with gs.session(k8s_namespace='gs', k8s_image_tag='0.31.0') as session:
    print(session.info)
    graph = session.g()
    print("Graph loaded")
    graph = graph.add_vertices(Loader('s3://bucket-name/csv/vertices.csv', delimiter='|', key=args.s3_key, secret=args.s3_secret, endpoint_url='https://custom-endpoint.ru'), label='person')
    print("Vertices loaded")
    graph = graph.add_edges(Loader('s3://bucket-name/csv/edges.csv', delimiter='|', key=args.s3_key, secret=args.s3_secret, endpoint_url='https://custom-endpoint.ru'), src_label='person', dst_label='person')
    print("Edges loaded")

k8s.logs.txt
python.logs.txt

Lenguaje dominante
C++
Estrellas
3.6k
Forks
470
Sin PR fusionados en 30 d

Preparar el entorno

Abrir en Codespaces

Inicia el contenedor de desarrollo del proyecto en tu navegador, con tu propia cuenta de GitHub.

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de alibaba/GraphScope

Todos los issues de alibaba/GraphScope

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.