Ability to control order of multi-modal context along with prompts
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 38/100
Hướng nghiên cứu
Issue không nêu tên tệp, bài kiểm thử hoặc điểm vào nào. Hãy bắt đầu bằng cách xác định phần lắp ghép ngữ cảnh đa phương thức hiện đang đặt hình ảnh trước văn bản, sau đó xem xét cách prompt và phương tiện được biểu diễn. Kết quả hoàn thành cần bao gồm một cơ chế xác định thứ tự hỗ trợ văn bản và hình ảnh xen kẽ, cùng với độ bao phủ cho các ví dụ về thứ tự được mô tả ở đây.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Priority Level
Medium (Nice to have)
Is your feature request related to a problem? Please describe.
Right now all images are packed before text prompts. There is no way to control the order of multi-modal context with text prompts.
Describe the solution you'd like
The desire is to have finer control over the exact order of multi-modal context:
<images> <text>
Page1 <image1> page2 <image2> <more text>
{“<image1”>: path, “<image2>”: path2}
“Page1 <image1> page2 <image2>”
“Frame 1 timestamp x” <video frame1>
<audio> <image> <video> <image> <image> <audio>
This is necessary when working with multi-modal data.
Describe alternatives you've considered
No response
Additional context
No response
- Ngôn ngữ chính
- Python
- Star
- 2.3k
- Fork
- 211
- Merge trung bình
- 3 ngày 20 giờ
- Pull request đã merge (30 ngày)
- 40
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của NVIDIA-NeMo/DataDesigner
-
task
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
NVIDIA-NeMo/DataDesigner#760 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
enhancement triaged
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 40/100
NVIDIA-NeMo/DataDesigner#956 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
task
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 42/100
NVIDIA-NeMo/DataDesigner#947 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
bug
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 52/100
NVIDIA-NeMo/DataDesigner#946 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
task
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 35/100
NVIDIA-NeMo/DataDesigner#885 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của NVIDIA-NeMo/DataDesigner
Issue tương tự
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
bug
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
qgis/QGIS-Plugins-Website#459 ·
-
bug severity:medium
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
Maintainer thường phản hồi trong vòng 2 ngày
-
bot-found bug priority: P3
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 84/100
madenvel/KalinkaPlayer#179 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
ls1intum/edutelligence#1098 ·
Maintainer thường phản hồi trong vòng 1 ngày