ggml-org/llama.cpp

server: support control vectors

已關閉

#6,316 建立於 2024年3月26日

在 GitHub 查看貢獻者指南
 (1 則留言) (4 個反應) (0 位負責人)C++ (21,812 個分叉)batch import
enhancementgood first issue

倉庫指標

星標
 (124,339 顆星)
PR 合併指標
 (平均合併 6天 8小時) (30 天內合併 389 個 PR)

描述

Motivation

It would be nice to support control vectors in the servers.

Requirements

  • Configure gpt_params::control_vectors from common
  • Tests the feature using the framework

References

  • A first attemp has been made here: #6289

貢獻者指南

研究方向
檢查 #6289 中的先前嘗試，以了解控制向量的實作。查看儲存庫中的伺服器原始碼，了解 gpt params 是如何設定的。要求是將 control vectors 新增到 gpt params 並確保測試通過。檢查其他功能使用的測試框架。
技術棧
cpp
領域
backend
議題類型
功能
難度面向新貢獻者的預計實作難度，1 表示很小改動，5 表示專家級工作。
3
預計時間有經驗貢獻者完成調查、實作、測試並準備 pull request 的粗略時間範圍。
1-2 天
活動狀態議題目前的可參與程度：新鮮、活躍、陳舊、阻塞或等待維護者輸入。
新近可參與
清晰度議題是否清楚說明預期改動、驗收標準和下一步。
清晰
前置要求
C++llama.cpp codebasecontrol vectors concept
新手友善度1-100 的估計分數，表示該議題對首次貢獻者的友善程度。
55