ggml-org/llama.cpp

server: exit failure if `--embedding` is set with an incoherent `--ubatch-size`

Geschlossen

#6.263 geöffnet am 23.03.2024

Auf GitHub ansehenContributor Guide
 (8 Kommentare) (1 Reaktion) (0 zugewiesene Personen)C++ (21.825 Forks)batch import
enhancementgood first issuehelp wanted

Repository-Metriken

Stars
 (124.401 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Context

there is no advantage to increase n_batch above n_ubatch with embeddings models with pooling, because the entire batch must fit in a physical batch (ie. n_ubatch). n_batch is always >= n_ubatch.

Proposition

Exit failure if --embedding is set and --ubatch-size != --batch-size in the server example. Probably also in the retrieval example in #6193.

Aldo probably KV bert.context_size must be taken into account.

Contributor Guide

Research-Richtung
Fügen Sie im Serverbeispiel eine Validierung hinzu, dass bei gesetztem embedding ubatch size gleich batch size sein muss, andernfalls einen Fehler ausgeben und beenden. Erwägen Sie auch die Überprüfung der Konsistenz von KV bert.context size.
Tech Stack
ccpp
Domain
backendapi
Issue Type
Fehler
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 Stunden
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
C++Git
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
70