ggml-org/llama.cpp

server: support control vectors

已关闭

#6,316 创建于 2024年3月26日

在 GitHub 查看贡献者指南
 (1 条评论) (4 个反应) (0 位负责人)C++ (21,764 个派生)batch import
enhancementgood first issue

仓库指标

星标
 (124,134 个星标)
PR 合并指标
 (平均合并 6天 8小时) (30 天内合并 389 个 PR)

描述

Motivation

It would be nice to support control vectors in the servers.

Requirements

  • Configure gpt_params::control_vectors from common
  • Tests the feature using the framework

References

  • A first attemp has been made here: #6289

贡献者指南

研究方向
检查 #6289 中的先前尝试，以了解控制向量的实现。查看仓库中的服务器源代码，了解 gpt params 是如何配置的。要求是将 control vectors 添加到 gpt params 并确保测试通过。检查其他功能使用的测试框架。
技术栈
cpp
领域
backend
议题类型
功能
难度面向新贡献者的预计实现难度，1 表示很小改动，5 表示专家级工作。
3
预计时间有经验贡献者完成调查、实现、测试并准备 pull request 的粗略时间范围。
1-2 天
活动状态议题当前的可参与程度：新鲜、活跃、陈旧、阻塞或等待维护者输入。
新近可参与
清晰度议题是否清楚说明期望改动、验收标准和下一步。
清晰
前置要求
C++llama.cpp codebasecontrol vectors concept
新手友好度1-100 的估计分数，表示该议题对首次贡献者的友好程度。
55