KV_cache offload
还没有人认领这个 Issue。
评估
- 难度
- 3/5
- 预计耗时
- 1-2 天
- 新手友好度
- 25/100
- Issue 类型
- 缺陷
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- huggingface, python
调研方向
从链接的 zero_inference README 中的示例 3 开始，使用 transformers 版本 4.48.0.dev0 重现 Llama2 演示。追踪预期由何处提供 set_kv_cache_offload，然后验证文档中的示例与已安装的版本是否兼容。完成的标准是记录清楚原因和可复现的解决方案。
由索引模型根据 Issue 内容生成。
描述
Hi, I am using the latest huggingface transformers (version==4.48.0.dev0). When I tried to run the demo from here, I have this error: AttributeError: 'LlamaForCausalLM' object has no attribute 'set_kv_cache_offload'.
Does anyone know the solution to solve this issue? Thanks!
- 主要语言
- Python
- 星标
- 6.8k
- 派生
- 1.1k
- 平均合并
- 2 天 16 小时
- 30 天内合并 PR
- 1
环境准备
我们还没有检查这个项目的环境配置文件。先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
deepspeedai/DeepSpeedExamples 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 52/100
deepspeedai/DeepSpeedExamples#996 ·
-
难度 4/5 3-5 天 新手友好度 25/100
deepspeedai/DeepSpeedExamples#995 ·
-
难度 2/5 1-3 小时 新手友好度 52/100
deepspeedai/DeepSpeedExamples#989 ·
-
moe example 404未关闭
难度 4/5 3-5 天 新手友好度 25/100
deepspeedai/DeepSpeedExamples#984 ·
-
难度 4/5 3-5 天 新手友好度 42/100
deepspeedai/DeepSpeedExamples#979 · 6 条评论 ·
查看 deepspeedai/DeepSpeedExamples 的全部 Issue
相似的 Issue
-
good first issue
难度 2/5 1-3 小时 新手友好度 88/100
-
难度 2/5 1-3 小时 新手友好度 88/100
vllm-project/vllm-metal#822 ·
维护者通常 1 天内回复
-
vector-store
难度 1/5 1-3 小时 新手友好度 90/100
维护者通常 1 天内回复
-
[Bug]: chunk_span_bounds and _validated_chunk_spans reject Pydantic models ChunkSpan and AudioFile未关闭
难度 2/5 1-3 小时 新手友好度 78/100
BasedHardware/omi#19047 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复