Integrate with LiteLLM - Evaluate 100+LLMs, 92% faster
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 15/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
该 issue 提议使用 LiteLLM 作为 benchmark 和评估运行的 proxy，但没有指定任何 repository 文件、测试、入口点或验收标准。首先查看 LiteLLM proxy 文档和 repository 的评估入口点；要完成这项工作，maintainer 需要定义集成范围以及应如何对其进行验证。
由索引模型根据 Issue 内容生成。
描述
Hi @xudafeng @jglee2046
I'm the maintainer of LiteLLM. we allow you to create a proxy server to call 100+ LLMs to make it easier to run benchmark / evals
I'm making this issue because I believe LiteLLM makes it easier for you to run benchmarks and evaluate LLMs (I'd love your feedback if it does not)
Try it here: https://docs.litellm.ai/docs/simple_proxy
https://github.com/BerriAI/litellm
Using LiteLLM Proxy Server
Creating a proxy server
Ollama models
$ litellm --model ollama/llama2 --api_base http://localhost:11434
Hugging Face Models
$ export HUGGINGFACE_API_KEY=my-api-key #[OPTIONAL]
$ litellm --model claude-instant-1
Anthropic
$ export ANTHROPIC_API_KEY=my-api-key
$ litellm --model claude-instant-1
Palm
$ export PALM_API_KEY=my-palm-key
$ litellm --model palm/chat-bison
Set api base to proxy
openai.api_base = "http://0.0.0.0:8000"
Using to run an eval on lm harness:
python3 -m lm_eval \
--model openai-completions \
--model_args engine=davinci \
--task crows_pairs_english_age
- 主要语言
- Python
- 星标
- 655
- 派生
- 48
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
这个项目没有提供开发容器、Dockerfile 或贡献指南，环境需要你自己搭建：先看它的 README，通用步骤见我们的新手贡献指南。
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
codefuse-ai/codefuse-devops-eval 的其他 Issue
-
难度 1/5 1 小时以内 新手友好度 20/100
-
ToolLearning数据集未关闭
难度 4/5 3-5 天 新手友好度 15/100
-
难度 3/5 1-2 天 新手友好度 30/100
-
难度 1/5 1 小时以内 新手友好度 25/100
codefuse-ai/codefuse-devops-eval#22 · 1 条评论 ·
-
tool call模型未关闭
难度 5/5 一周以上 新手友好度 20/100
查看 codefuse-ai/codefuse-devops-eval 的全部 Issue
相似的 Issue
-
难度 1/5 1-3 小时 新手友好度 88/100
fossasia/visdom-dev#69 ·
维护者通常 3 天内回复
-
难度 2/5 1-3 小时 新手友好度 75/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 1 天内回复
-
BUG: PROD: v1.3.0-beta Onboarding Profile Picture Misaligns When Name Validation Error Appears可能已有人在做 @RitikaSen27 今天认领。 未关闭bug good first issue
难度 2/5 1-3 小时 新手友好度 82/100
AOSSIE-Org/PictoPy#1647 · 2 条评论 ·
维护者通常 2 天内回复
-
[oblt-aw][autodoc] Update workflow docs for gh-aw v0.92.5 and detector permission scope可能已有人在做 @github-actions 今天认领。 未关闭
难度 1/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复