GoogleCloudPlatform/kubectl-ai

evals: we should ensure resources in eval tasks must not contain hints to help with the eval tasks

Aperta

#298 aperta il 2 giu 2025

Vedi su GitHubGuida contributor
 (0 commenti) (0 reazioni) (0 assegnatari)Go (708 fork)auto 404
enhancementhelp wanted

Metriche repository

Star
 (7532 stelle)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

We want to ensure the eval tasks represent realistic scenario and we have observed that name/namespaces of the k8s resources used in the task contains hint to make AI Models aware that these are part of evals or some sort of test. I think this affects the model's performance on the task, so we need to fix it for all the existing tasks.

Guida contributor

Direzione di ricerca
Esamina tutti i file delle attività di valutazione nel repository, individua i nomi e gli spazi dei nomi delle risorse Kubernetes e rinomina quelli che contengono parole indizio (ad esempio 'eval', 'test', 'kubectl ai') con nomi neutri. Assicurati che non rimangano riferimenti a valutazioni o test nelle definizioni delle risorse.
Tech stack
go
Dominio
devops
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitKubernetes basics
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70