ggml-org/llama.cpp

Feature Request: support the multi-modal Bagel model

Open

#17.861 geöffnet am 8. Dez. 2025

Auf GitHub ansehen
 (1 Kommentar) (1 Reaktion) (0 zugewiesene Personen)C++ (110.169 Stars) (18.202 Forks)batch import
Review Complexity : Highenhancementhelp wantedmodelmtmd

Beschreibung

Prerequisites

  • I am running the latest code. Mention the version if possible as well.
  • I carefully followed the README.md.
  • I searched using keywords relevant to my issue to make sure that I am creating a new issue that is not already open (or closed).
  • I reviewed the Discussions, and have a new and useful enhancement to share.

Feature Description

support multi-modal Bagel

Motivation

https://github.com/bytedance-seed/BAGEL https://github.com/stepfun-ai/Step1X-Edit

Possible Implementation

No response

Contributor Guide

Tech Stack
cpp
Domain
aibackend
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
5
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
over 1 week
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
fresh
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
unclear
Voraussetzungen
C++llama.cpp architecturemulti modal model conceptsimage processing basics
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
10
Research-Richtung
Investigate existing multi modal support in llama.cpp (e.g., LLaVA or similar models) to understand the codebase structure. Review the repositories linked in the issue (BAGEL and Step1X Edit) to understand the model architecture and required changes. Look at files like `llama.cpp` and `llama.h` for inference code, and examine any existing multi modal implementation patterns. Engage with maintainers in the issue comments to clarify the expected integration approach.