Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

RULER scoring + training tightly coupled to Litellm/OpenAI, cannot cleanly use ChatOllama/ChatNVIDIA as judge/inference models

Aperta
  • Qualcosa non va?
#475 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
ollama, python
Ambito
ai, machine-learning

Direzione di ricerca

Inizia con ruler_score_group e i relativi helper, quindi esamina init_chat_model e la issue separata a cui fa riferimento. Traccia i punti in cui le assunzioni relative a LiteLLM e OpenAI entrano in RULER e nell’addestramento; il lavoro è completato quando il progetto supporta provider LangChain BaseChatModel come ChatOllama e ChatNVIDIA oppure documenta un percorso di integrazione per una judge_fn arbitraria.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

bug

Description

In my setup, I want to:

  • Use a local Ollama server (and potentially NVIDIA’s API in the future) as:

    • The main agent model (for rollouts).
    • The judge model (for RULER scoring).

However, the current ART stack makes this very difficult because:

  • RULER scoring (ruler_score_group and related helpers) rely on Litellm in a way that expects OpenAI-style models.
  • init_chat_model also wraps everything in a ChatOpenAI instance (see separate issue).
  • This means I cannot simply pass ChatOllama or ChatNVIDIA (LangChain chat models) as the inference/judge model for training.

Practically:

  • If I try to step away from OpenAI and use:

    • Local Ollama for inference
    • Non-OpenAI providers as judges

  • I run into incompatibilities where:

    • RULER expects Litellm’s OpenAI-style model identifiers and behavior.
    • ART’s helpers are “too bound” to OpenAI semantics.

What I’d like

  • A more provider-agnostic design for:

    • RULER scoring
    • Training
    • init_chat_model

  • The ability to cleanly use:

    • ChatOllama (LangChain)
    • ChatNVIDIA
    • or other LangChain BaseChatModel implementations

  • Without having to hack around Litellm / OpenAI assumptions.

Why this matters

  • ART is otherwise a great framework for agent RL.

  • Many users want to move to:

    • Local models (Ollama)
    • Different clouds (NVIDIA, etc.)

  • Tight coupling to OpenAI via Litellm in the RULER path makes this significantly harder.

Request

  • Please consider:

    • Abstracting RULER to accept any LangChain-compatible ChatModel for structured scoring.
    • Or providing a documented way to plug in non-OpenAI judgment models (e.g. a “judge_fn” that uses arbitrary models).
Lingua principale
Python
Stelle
10.8k
Fork
997
Merge medio
10h 1m
PR unite (30g)
117

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenPipe/ART

Tutte le issue di OpenPipe/ART

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.