Support for LFM2-VL models
Maintainer antworten meist innerhalb von 1 Tag
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 45/100
- Issue-Typ
- Feature
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Veraltet
- Tech-Stack
- python
- Bereich
- ai, machine-learning
Rechercherichtung
Sehen Sie sich die vorhandenen multimodalen Handler in llama-cpp-python an, wahrscheinlich im Quellverzeichnis für Bindings. Verstehen Sie, wie Vision-Encoder (mmproj) integriert werden. Lesen Sie die llama-cpp-Dokumentation zu den Besonderheiten von LFM2-VL-Modellen. Testen Sie das Laden eines Modells im GGUF-Format und fügen Sie einen Handler zur Verarbeitung von Vision-Eingaben hinzu.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
Is your feature request related to a problem? Please describe.
LiquidAI provides LFM2-VL models (450M, 1.6B, 3B) as GGUF formats (Q4_0, Q8_0, F16) supported in llama-cpp.
It would be great to make them work in Python via llama-cpp-python, i.e. implement the multi-modal handler for them:
https://llama-cpp-python.readthedocs.io/en/latest/#multi-modal-models
Describe the solution you'd like
Support for LFM2-VL models (handler allowing to use mmproj of the vision encoder).
- Vorherrschende Sprache
- Python
- Sterne
- 10.6k
- Forks
- 1.5k
- Ø Merge
- 3 Std. 57 Min.
- Gemergte PRs (30 T.)
- 4
Entwicklungsumgebung
- Kein Dockerfile und keine Docker-Compose-Datei
- Keine Pull-Request-Vorlage
- Beitragsleitfaden lesen
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus abetlen/llama-cpp-python
-
Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently dropsEvtl. vergeben @Belal0066 hat das vor 16 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 88/100
abetlen/llama-cpp-python#2371 ·
Maintainer antworten meist innerhalb von 1 Tag
-
uv add llama-cpp-python wheels fails for versions above 0.3.30Evtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2352 · 1 Kommentar · 2 Reaktionen ·
Maintainer antworten meist innerhalb von 1 Tag
-
Docs: consolidate build-from-source and GPU backend guideEvtl. vergeben Ein verknüpfter Pull Request ist offen oder bereits gemergt. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
abetlen/llama-cpp-python#2314 ·
Maintainer antworten meist innerhalb von 1 Tag
-
Llama.embed() calls LlamaBatch.add_sequence with old 3-arg signature; missing logits_arrayEvtl. wieder frei @lxcxjxhx hat das vor 93 Tagen übernommen, und es ist kein Pull Request offen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2211 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
Llama() silently accepts and discards `embedding` kwarg; .embed() then raises confusinglyEvtl. vergeben @Anai-Guo hat das vor 34 Tagen übernommen. Offen
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 65/100
abetlen/llama-cpp-python#2210 ·
Maintainer antworten meist innerhalb von 1 Tag
Alle Issues in abetlen/llama-cpp-python
Ähnliche Issues
-
HTML: <template> content is extracted as document textEvtl. vergeben @ryanmeowy hat das heute übernommen. Offenbug html
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 82/100
docling-project/docling#4714 · 2 Kommentare ·
Maintainer antworten meist innerhalb von 1 Tag
-
[BUG] Qdrant RAG client applies score_threshold to raw cosine similarity, not the 0-1 score it returnsEvtl. vergeben @roydonsequeira hat das heute übernommen. Offenbug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
Maintainer antworten meist innerhalb von 1 Tag
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
ashhart/TensorFold#536 ·
Maintainer antworten meist innerhalb von 1 Tag
-
area/install-update comp/cli duplicate P2 python:uv sweeper:risk-compatibility type/bug
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 62/100
NousResearch/hermes-agent#135440 · 1 Kommentar ·
Maintainer antworten meist innerhalb von 1 Tag
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 85/100
Deepak3699/Ai_Mentor#244 ·
Maintainer antworten meist innerhalb von 1 Tag