Qwen3 Integration
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 4/5
- Tempo estimado
- 3-5 dias
- Facilidade para iniciantes
- 15/100
- Tipo de issue
- Funcionalidade
- Clareza
- Razoavelmente clara
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- ai-infra-agents
Direção de pesquisa
This is an open question about benchmark results rather than a defined code change, and it has no comments or linked work. Start by finding the Generic agent prompt and the webarena and webarena-verified benchmark configs in the repository, then check whether a Qwen model backend can be configured. Done would mean a reproducible run with recorded scores, or a maintainer confirming the expected baseline.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
I have attempted to reproduce Qwen/Qwen3-Coder-30B-A3B-Instruct 's performance on webarena and webarena-verified. However, using the Generic agent prompt, I achieved extremely low performance. Has anyone benchmarked Qwen/Qwen3-Coder-30B-A3B-Instruct on any of the benchmarks integrated here?
- Linguagem predominante
- Python
- Estrelas
- 644
- Forks
- 134
- Métricas de merge de PRs
- Nenhum PR com merge em 30d
Preparar o ambiente
Este projeto não oferece contêiner de desenvolvimento, Dockerfile nem guia de contribuição, então a configuração fica por sua conta: comece pelo README e veja nosso guia da primeira contribuição para os passos gerais.
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de ServiceNow/AgentLab
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 48/100
ServiceNow/AgentLab#340 ·
-
Dificuldade 5/5 Mais de uma semana Facilidade para iniciantes 25/100
ServiceNow/AgentLab#339 ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 22/100
ServiceNow/AgentLab#331 ·
-
Dificuldade 3/5 1-2 dias Facilidade para iniciantes 25/100
ServiceNow/AgentLab#324 · 2 reações ·
-
Dificuldade 4/5 3-5 dias Facilidade para iniciantes 18/100
ServiceNow/AgentLab#323 ·
Todas as issues de ServiceNow/AgentLab
Issues semelhantes
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 72/100
521xueweihan/HelloGitHub#4150 ·
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
aws-samples/sample-per-model-bedrock#595 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
Mantenedores costumam responder em até 1 dia
-
bug connectors
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 67/100
pyinfra-dev/pyinfra#2036 ·
Mantenedores costumam responder em até 9 dias
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
Mantenedores costumam responder em até 1 dia