sgl-project/sglang

[Feature] Support more multi-modal input for VLM

Open

#5,964 opened on 2025年5月2日

GitHub で見る
 (5 comments) (5 reactions) (1 assignee)Python (6,216 forks)auto 404
Multi-modalfeaturegood first issuehelp wanted

Repository metrics

Stars
 (28,442 stars)
PR merge metrics
 (平均マージ 2d 1h) (30d で 1,000 merged PRs)

説明

Motivation

The current endpoint only supports image data input, limiting its flexibility for diverse VLM use cases. We need additional input formats, particularly for RL applications: (Could be split into multiple PRs)

  • Pre-computed Image Embeddings
  • Pixel Values
  • Pixel Value Range Parameters (min_pixel/max_pixel) for qwen-vl

Welcome to propose more.

Benefits

  1. Enhanced flexibility for RL workflows
  2. Reduced preprocessing overhead
  3. Better integration with existing pipelines

コントリビューターガイド

調査方針
事前計算された画像埋め込みが現在どのように実装されているかを調査する（既に完了）。ピクセル値については、VLMモデルのフォワードパスと画像入力の処理方法を調査する。ピクセル値を埋め込みに変換する既存の関数を探す。qwen vlの実装でmin pixel/max pixelパラメータを確認する。
技術スタック
python
領域
backend
Issue 種別
機能
難度新しい貢献者にとっての実装難度です。1 は非常に小さな変更、5 は専門的な作業です。
3
推定時間経験ある貢献者が調査、実装、テスト、pull request 準備にかけるおおよその時間範囲です。
1-2日
活動状況Issue が今どれだけ取り組みやすいかを示します。新しい、活発、古い、ブロック中、またはメンテナー入力待ちなどです。
アクティブ
明確さ期待される変更、受け入れ条件、次の手順がどれだけ明確かを示します。
明確
前提条件
GitPython
初心者向け度初回貢献者にどれだけ取り組みやすいかを 1-100 で推定したスコアです。
40