camel-ai/camel

[Feature Request] Cookbook for benchmark running

Aberta

#1.457 aberto em 17 de jan. de 2025

Ver no GitHubGuia do colaborador
 (7 comentários) (0 reação) (1 responsável)Python (2.020 forks)auto 404
P1cookbookgood first issue

Métricas do repositório

Stars
 (17.486 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Required prerequisites

Motivation

Build a cookbook to showcase how the integrated benchmarks in camel is used. Showcase the power of ChatAgent with different models or modules added.

https://github.com/camel-ai/camel/tree/master/camel/benchmarks

https://github.com/camel-ai/camel/tree/master/examples/benchmarks

  • apibank @Salman will try to work on it. Showcase ChatAgent with different models and tools
  • apibench
  • gaia @harryeqs
  • nexus
  • ragbench

Solution

No response

Alternatives

No response

Additional context

No response

Guia do colaborador

Direção de pesquisa
Crie um cookbook demonstrando como usar os benchmarks integrados (apibank, apibench, gaia, nexus, ragbench) com ChatAgent e diferentes modelos/ferramentas. Consulte os exemplos existentes em examples/benchmarks e camel/benchmarks.
Pilha de tecnologia
python
Domain
aibackend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
PythonGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70