Integrate with LiteLLM - Evaluate 100+LLMs, 92% faster
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 5/5
- Tempo estimado
- Mais de uma semana
- Facilidade para iniciantes
- 15/100
- Tipo de issue
- Funcionalidade
- Clareza
- Precisa de esclarecimento
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- machine-learning, testing-qa
Direção de pesquisa
A issue propõe usar o LiteLLM como proxy para execuções de benchmark e avaliação, mas não nomeia nenhum arquivo do repositório, teste, ponto de entrada ou critério de aceitação. Comece revisando a documentação do proxy do LiteLLM e os pontos de entrada de avaliação do repositório; para concluir, os maintainers precisariam definir o escopo da integração e como ela deveria ser validada.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Hi @xudafeng @jglee2046
I'm the maintainer of LiteLLM. we allow you to create a proxy server to call 100+ LLMs to make it easier to run benchmark / evals
I'm making this issue because I believe LiteLLM makes it easier for you to run benchmarks and evaluate LLMs (I'd love your feedback if it does not)
Try it here: https://docs.litellm.ai/docs/simple_proxy
https://github.com/BerriAI/litellm
Using LiteLLM Proxy Server
Creating a proxy server
Ollama models
$ litellm --model ollama/llama2 --api_base http://localhost:11434
Hugging Face Models
$ export HUGGINGFACE_API_KEY=my-api-key #[OPTIONAL]
$ litellm --model claude-instant-1
Anthropic
$ export ANTHROPIC_API_KEY=my-api-key
$ litellm --model claude-instant-1
Palm
$ export PALM_API_KEY=my-palm-key
$ litellm --model palm/chat-bison
Set api base to proxy
openai.api_base = "http://0.0.0.0:8000"
Using to run an eval on lm harness:
python3 -m lm_eval \
--model openai-completions \
--model_args engine=davinci \
--task crows_pairs_english_age
- Linguagem predominante
- Python
- Estrelas
- 655
- Forks
- 48
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de codefuse-ai/codefuse-devops-eval
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 20/100
-
ToolLearning数据集Aberta
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 15/100
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 30/100
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 25/100
codefuse-ai/codefuse-devops-eval#22 · 1 comentário ·
-
tool call模型Aberta
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 20/100
Todas as issues de codefuse-ai/codefuse-devops-eval
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 62/100
foxglove/mcap#1907 · 1 comentário ·
Mantenedores costumam responder em até 1 dia
-
namespace operations
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 72/100
EclipseFdn/open-vsx.org#14623 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
developmentseed/titiler-cmr#261 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 78/100
andrewyng/openworker#774 ·
Mantenedores costumam responder em até 1 dia
-
aggfuncAberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
worldbank/blackmarblepy#160 ·