Hacktoberfest 2026：メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

can't run qwen3.6 27b in pipeline parallel

オープン
  • 何か問題がありますか？
#4,452 コメント 7 件 リアクション 0 件 担当者 1 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

@mzegla がすでに取り組んでいます。

2026年8月17日 から。

評価

この issue はまだ評価されていません。

説明

bug

Describe the bug
OVMS crashes as soon as I try to run 1 request
Hardware: 2x b580 (24GB)

To Reproduce
Steps to reproduce the behavior:
OpenVINO Model Server 2026.4.0.103456a0a
config.json

{
  "model_config_list": [
    {
      "config": {
        "name": "qwen3-6-27b-int4-ov_model",
        "base_path": "/models/ov/server/qwen3-6-27b-int4-ov",
        "target_device": "HETERO:GPU.0,GPU.1"
      }
    }
  ],
  "mediapipe_config_list": [
    {
      "name": "qwen3-6-27b-int4-ov",
      "graph_path": "/models/ov/server/qwen3-6-27b-int4-ov/graph.pbtxt"
    }
  ]
}

graph.pbxt

input_stream: "HTTP_REQUEST_PAYLOAD:input"
output_stream: "HTTP_RESPONSE_PAYLOAD:output"

node: {
  name: "LLMExecutor"
  calculator: "HttpLLMCalculator"
  input_stream: "LOOPBACK:loopback"
  input_stream: "HTTP_REQUEST_PAYLOAD:input"
  input_side_packet: "LLM_NODE_RESOURCES:llm"
  output_stream: "LOOPBACK:loopback"
  output_stream: "HTTP_RESPONSE_PAYLOAD:output"
  input_stream_info: {
    tag_index: 'LOOPBACK:0',
    back_edge: true
  }
  node_options: {
[type.googleapis.com / mediapipe.LLMCalculatorOptions]: {
    pipeline_type: VLM,
    models_path: "/models/ov/server/qwen3-6-27b-int4-ov/1",
    plugin_config: '{"DYNAMIC_QUANTIZATION_GROUP_SIZE": "32", "PERFORMANCE_HINT": "LATENCY", "KV_CACHE_PRECISION": "u8", "INFERENCE_PRECISION_HINT": "f16", "MODEL_DISTRIBUTION_POLICY": "PIPELINE_PARALLEL", "EXECUTION_MODE_HINT": "PERFORMANCE", "SCHEDULING_CORE_TYPE": "PCORE_ONLY", "ENABLE_CPU_PINNING": false, "DEVICE_PROPERTIES":{"GPU":{"MAX_PROMPT_LEN":2048}}}',
    enable_prefix_caching: false,
    cache_size: 1,
    max_num_batched_tokens: 2048,
    max_num_seqs: 1,
    device: "HETERO:GPU.0,GPU.1",
    tool_parser: "qwen3coder",
}
  }
  input_stream_handler {
    input_stream_handler: "SyncSetInputStreamHandler",
    options {
      [mediapipe.SyncSetInputStreamHandlerOptions.ext] {
        sync_set {
          tag_index: "LOOPBACK:0"
        }
      }
    }
  }
}

log.txt

主要言語
C++
スター
932
フォーク
278
平均マージ
3日 5時間
マージ済み PR（30日）
70

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

openvinotoolkit/model_server のほかの issue

openvinotoolkit/model_server の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。