GoogleCloudPlatform/kubectl-ai

Add github action to run lightweight evals as presubmit job

Aberta

#119 aberto em 28 de abr. de 2025

Ver no GitHubGuia do colaborador
 (5 comentários) (0 reação) (1 responsável)Go (708 forks)auto 404
good first issue

Métricas do repositório

Stars
 (7.532 estrelas)
Métricas de merge de PR
 (Nenhuma PRs mesclada em 30d)

Description

We want to run a few eval tasks (may be difficulty level easy) as pre-submit tasks to ensure that new PRs are getting some basic e2e tests.

Details:

  • The pre-submit job should bring up a kind cluster
  • The pre-submit job should also bring up ollama or llamacpp server
  • Run evals with the difficulty level easy or to begin with --task-pattern=scale
  • Add contributing section in the README.md to use this job as e2e test

Guia do colaborador

Direção de pesquisa
Configure um workflow do GitHub Actions que cria um cluster kind, instala o servidor Ollama e executa tarefas de avaliação com nível de dificuldade 'easy' ou padrão 'scale'. Documente no README.
Pilha de tecnologia
godockerkubernetesgithub actions
Domain
devopsbackendtesting
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
GitDockerKubernetes basicsGitHub Actions
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40