GoogleCloudPlatform/kubectl-ai

Add github action to run lightweight evals as presubmit job

Ouverte

#119 ouverte le 28 avr. 2025

Voir sur GitHubGuide contributeur
 (5 commentaires) (0 réaction) (1 personne assignée)Go (708 forks)auto 404
good first issue

Métriques du dépôt

Stars
 (7 532 étoiles)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

We want to run a few eval tasks (may be difficulty level easy) as pre-submit tasks to ensure that new PRs are getting some basic e2e tests.

Details:

  • The pre-submit job should bring up a kind cluster
  • The pre-submit job should also bring up ollama or llamacpp server
  • Run evals with the difficulty level easy or to begin with --task-pattern=scale
  • Add contributing section in the README.md to use this job as e2e test

Guide contributeur

Direction de recherche
Configurez un workflow GitHub Actions qui crée un cluster kind, installe le serveur Ollama et exécute des tâches d'évaluation avec le niveau de difficulté 'easy' ou le motif 'scale'. Documentez dans le README.
Stack technique
godockerkubernetesgithub actions
Domaine
devopsbackendtesting
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
1-2 jours
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Claire
Prérequis
GitDockerKubernetes basicsGitHub Actions
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
40