ggml-org/llama.cpp

server: support control vectors

Chiusa

#6316 aperta il 26 mar 2024

Vedi su GitHubGuida contributor
 (1 commento) (4 reazioni) (0 assegnatari)C++ (21.781 fork)batch import
enhancementgood first issue

Metriche repository

Star
 (124.194 stelle)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

Motivation

It would be nice to support control vectors in the servers.

Requirements

  • Configure gpt_params::control_vectors from common
  • Tests the feature using the framework

References

  • A first attemp has been made here: #6289

Guida contributor

Direzione di ricerca
Esamina il precedente tentativo in #6289 per comprendere l'implementazione dei vettori di controllo. Guarda il codice sorgente del server nel repository per vedere come sono configurati i gpt params. I requisiti sono aggiungere control vectors a gpt params e assicurarsi che i test passino. Controlla il framework di test utilizzato per altre funzionalità.
Tech stack
cpp
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Nuova
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
C++llama.cpp codebasecontrol vectors concept
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
55