ggml-org/llama.cpp

server: support control vectors

Geschlossen

#6.316 geöffnet am 26.03.2024

Auf GitHub ansehenContributor Guide
 (1 Kommentar) (4 Reaktionen) (0 zugewiesene Personen)C++ (21.822 Forks)batch import
enhancementgood first issue

Repository-Metriken

Stars
 (124.374 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 6T 8h) (389 gemergte PRs in 30 T)

Beschreibung

Motivation

It would be nice to support control vectors in the servers.

Requirements

  • Configure gpt_params::control_vectors from common
  • Tests the feature using the framework

References

  • A first attemp has been made here: #6289

Contributor Guide

Research-Richtung
Untersuchen Sie den vorherigen Versuch in #6289, um die Implementierung der Steuerungsvektoren zu verstehen. Sehen Sie sich den Server Quellcode im Repository an, um zu sehen, wie gpt params konfiguriert sind. Die Anforderungen sind, control vectors zu gpt params hinzuzufügen und sicherzustellen, dass die Tests bestehen. Überprüfen Sie das Testframework, das für andere Funktionen verwendet wird.
Tech Stack
cpp
Domain
backend
Issue Type
Funktion
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 Tage
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Frisch
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
C++llama.cpp codebasecontrol vectors concept
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
55