Hacktoberfest 2026: los issues que los mantenedores marcaron para octubre, abiertos y aptos para principiantes. Explorar issues de Hacktoberfest

can't run qwen3.6 27b in pipeline parallel

Abierto
  • ¿Algo no está bien?
#4,452 9 comentarios 0 reacciones 1 asignado Ver en GitHub

Los mantenedores suelen responder en 2 días

@mzegla ya está trabajando en esto.

Desde el 17/8/2026.

Evaluación

Este issue todavía no se ha evaluado.

Descripción

bug

Describe the bug
OVMS crashes as soon as I try to run 1 request
Hardware: 2x b580 (24GB)

To Reproduce
Steps to reproduce the behavior:
OpenVINO Model Server 2026.4.0.103456a0a
config.json

{
  "model_config_list": [
    {
      "config": {
        "name": "qwen3-6-27b-int4-ov_model",
        "base_path": "/models/ov/server/qwen3-6-27b-int4-ov",
        "target_device": "HETERO:GPU.0,GPU.1"
      }
    }
  ],
  "mediapipe_config_list": [
    {
      "name": "qwen3-6-27b-int4-ov",
      "graph_path": "/models/ov/server/qwen3-6-27b-int4-ov/graph.pbtxt"
    }
  ]
}

graph.pbxt

input_stream: "HTTP_REQUEST_PAYLOAD:input"
output_stream: "HTTP_RESPONSE_PAYLOAD:output"

node: {
  name: "LLMExecutor"
  calculator: "HttpLLMCalculator"
  input_stream: "LOOPBACK:loopback"
  input_stream: "HTTP_REQUEST_PAYLOAD:input"
  input_side_packet: "LLM_NODE_RESOURCES:llm"
  output_stream: "LOOPBACK:loopback"
  output_stream: "HTTP_RESPONSE_PAYLOAD:output"
  input_stream_info: {
    tag_index: 'LOOPBACK:0',
    back_edge: true
  }
  node_options: {
[type.googleapis.com / mediapipe.LLMCalculatorOptions]: {
    pipeline_type: VLM,
    models_path: "/models/ov/server/qwen3-6-27b-int4-ov/1",
    plugin_config: '{"DYNAMIC_QUANTIZATION_GROUP_SIZE": "32", "PERFORMANCE_HINT": "LATENCY", "KV_CACHE_PRECISION": "u8", "INFERENCE_PRECISION_HINT": "f16", "MODEL_DISTRIBUTION_POLICY": "PIPELINE_PARALLEL", "EXECUTION_MODE_HINT": "PERFORMANCE", "SCHEDULING_CORE_TYPE": "PCORE_ONLY", "ENABLE_CPU_PINNING": false, "DEVICE_PROPERTIES":{"GPU":{"MAX_PROMPT_LEN":2048}}}',
    enable_prefix_caching: false,
    cache_size: 1,
    max_num_batched_tokens: 2048,
    max_num_seqs: 1,
    device: "HETERO:GPU.0,GPU.1",
    tool_parser: "qwen3coder",
}
  }
  input_stream_handler {
    input_stream_handler: "SyncSetInputStreamHandler",
    options {
      [mediapipe.SyncSetInputStreamHandlerOptions.ext] {
        sync_set {
          tag_index: "LOOPBACK:0"
        }
      }
    }
  }
}

log.txt

Lenguaje dominante
C++
Estrellas
952
Forks
285
Merge medio
3 d 5 h
PR fusionados (30 d)
45

Preparar el entorno

Primeros pasos

  1. Lee el issue completo y luego la guía de contribución del proyecto.
  2. Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
  3. Haz un fork del repositorio y trabaja en una rama.
  4. Abre un pull request que haga referencia al número del issue.

Más de openvinotoolkit/model_server

Todos los issues de openvinotoolkit/model_server

Issues similares

Más issues de C++

Recibe los nuevos issues en tu correo

Un resumen breve de issues de GitHub para principiantes.