`--provider openai-codex` is offered by commands whose answerer or generator refuses it

Aperta
  • Qualcosa non va?
#404 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
56/100
Tipo di issue
Bug
Chiarezza
Specificata chiaramente
Stato di attività
Attiva
Stack tecnologico
python
Ambito
ai, cli

Direzione di ricerca

Start by reading the definitions of ANSWER_PROVIDERS and CALLER_PROVIDERS in dokimi.llm, then trace how the listed commands validate --provider and route it to the LLM. The issue offers two paths: accept openai-codex or remove it from command choices; accepting it requires confirming the model works through chat completions. Done means the commands no longer offer a provider they reject, with tests covering the selected behavior.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Found in the review of #384 (https://github.com/intel/dokimi/pull/384#discussion_r4473774384). Pre-existing: main behaves the same.

--provider on these commands takes llm.ANSWER_PROVIDERS, which includes openai-codex. The class each command builds checks llm.CALLER_PROVIDERS, which does not. So the run stops with ValueError: Unsupported provider: 'openai-codex':

Command Refused by
answers generate Answerer
questions generate QuestionGenerator
personas discover PersonaGenerator
evaluate, benchmark run, benchmark batch EvaluationPipeline → PersonaGenerator, QuestionGenerator, Answerer

dokimi.llm already routes the provider (openai/<model>, key OPENAI_API_KEY). The callers' tuples have left it out since before #384; that PR only merged the four copies into one constant.

Two ways to fix it, one PR:

  1. Accept it: add openai-codex to CALLER_PROVIDERS, with one test per command above that it reaches dokimi.llm with the openai/ route.
  2. Stop offering it: build these commands' --provider choices from CALLER_PROVIDERS (argparse then exits 2 before the run starts).

Option 1 needs someone to confirm that the models openai-codex names answer on that route through chat completions; if that is not known, option 2 is the safe one.

Lingua principale
Python
Stelle
11
Fork
9
Merge medio
1g 11h
PR unite (30g)
335

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di intel/dokimi

Tutte le issue di intel/dokimi

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.