ggml-org/llama.cpp

server: support control vectors

Fermée

#6 316 ouverte le 26 mars 2024

Voir sur GitHubGuide contributeur
 (1 commentaire) (4 réactions) (0 personne assignée)C++ (21 786 forks)batch import
enhancementgood first issue

Métriques du dépôt

Stars
 (124 222 étoiles)
Métriques de merge PR
 (Merge moyen 6j 8h) (389 PRs mergées en 30 j)

Description

Motivation

It would be nice to support control vectors in the servers.

Requirements

  • Configure gpt_params::control_vectors from common
  • Tests the feature using the framework

References

  • A first attemp has been made here: #6289

Guide contributeur

Direction de recherche
Examinez la tentative précédente dans #6289 pour comprendre l'implémentation des vecteurs de contrôle. Regardez le code source du serveur dans le dépôt pour voir comment les gpt params sont configurés. Les exigences sont d'ajouter control vectors aux gpt params et de s'assurer que les tests réussissent. Vérifiez le framework de test utilisé pour d'autres fonctionnalités.
Stack technique
cpp
Domaine
backend
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Récente
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
C++llama.cpp codebasecontrol vectors concept
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
55