Ability to control order of multi-modal context along with prompts
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
調査の方向性
この issue では、ファイル、テスト、エントリーポイントが示されていません。まず、現在画像をテキストより前に配置しているマルチモーダルコンテキストの組み立て箇所を見つけ、次に prompt とメディアがどのように表現されているかを確認してください。完了条件には、テキストと画像のインターリーブをサポートする、順序を定義する仕組みと、ここで説明されている順序の例を対象とするカバレッジを含める必要があります。
索引モデルが issue の本文から書いたものです。
説明
Priority Level
Medium (Nice to have)
Is your feature request related to a problem? Please describe.
Right now all images are packed before text prompts. There is no way to control the order of multi-modal context with text prompts.
Describe the solution you'd like
The desire is to have finer control over the exact order of multi-modal context:
<images> <text>
Page1 <image1> page2 <image2> <more text>
{“<image1”>: path, “<image2>”: path2}
“Page1 <image1> page2 <image2>”
“Frame 1 timestamp x” <video frame1>
<audio> <image> <video> <image> <image> <audio>
This is necessary when working with multi-modal data.
Describe alternatives you've considered
No response
Additional context
No response
- 主要言語
- Python
- スター
- 2.3k
- フォーク
- 211
- 平均マージ
- 3日 20時間
- マージ済み PR（30日）
- 47
環境構築
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA-NeMo/DataDesigner のほかの issue
-
task
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
NVIDIA-NeMo/DataDesigner#760 ·
メンテナーはふだん 1 日以内に返信
-
enhancement triaged
難易度 4/5 3〜5日 初心者へのやさしさ 40/100
NVIDIA-NeMo/DataDesigner#956 ·
メンテナーはふだん 1 日以内に返信
-
task
難易度 5/5 1週間以上 初心者へのやさしさ 42/100
NVIDIA-NeMo/DataDesigner#947 ·
メンテナーはふだん 1 日以内に返信
-
bug
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
NVIDIA-NeMo/DataDesigner#946 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
task
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
NVIDIA-NeMo/DataDesigner#885 ·
メンテナーはふだん 1 日以内に返信
NVIDIA-NeMo/DataDesigner の issue をすべて見る
似ている issue
-
bug status/needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
prowler-cloud/prowler#12887 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
area: desktop platform: macos priority: p3 status: ready type: enhancement
難易度 1/5 1時間未満 初心者へのやさしさ 92/100
use-agent-os/agent-os#3484 ·
メンテナーはふだん 2 日以内に返信
-
bug
難易度 2/5 1〜3時間 初心者へのやさしさ 86/100
open-telemetry/opentelemetry-python-contrib#5113 · コメント 2 件 · リアクション 2 件 ·
メンテナーはふだん 1 日以内に返信
-
external
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
langchain-ai/docs#6255 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
メンテナーはふだん 1 日以内に返信