Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

RFC: Deprecate allow_training_without_logprobs option

Aperta
  • Qualcosa non va?
#528 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
30/100
Tipo di issue
Refactoring
Chiarezza
Abbastanza chiara
Stato di attività
Ferma
Stack tecnologico
python
Ambito
machine-learning

Direzione di ricerca

Inizia esaminando la proposta e il PR #527 correlato, quindi individua ogni utilizzo dell’opzione allow_training_without_logprobs nel codice Python. Verifica se qualche utente dipende dall’opzione e se la sua rimozione è accettata; il lavoro è completo quando un maintainer prende una decisione, seguita dalla rimozione completa dell’opzione e del relativo percorso di training alternativo.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

discussion

Summary

We're considering removing the allow_training_without_logprobs option from ART. This RFC is to gather community feedback before making this change.

Background

The allow_training_without_logprobs option allows training without requiring generation logprobs from the model. However, this approach has several drawbacks:

  1. Importance sampling requires logprobs for stable training: In our experiments and in the wider RL community, having generation logprobs is essential for importance sampling, which is critical for stable training results. Training without them leads to less reliable outcomes.

  2. Code complexity: Maintaining this alternative path adds complexity to the codebase and makes it harder to reason about the training flow.

  3. Subtle bugs: The additional code path creates opportunities for subtle bugs. For example, in PR #527 we discovered tool-call tokenization issues that were partially enabled by this mode's complexity.

Proposal

Remove the allow_training_without_logprobs option entirely, simplifying the codebase and ensuring all users benefit from the more robust training path that uses logprobs.

Request for Feedback

Is anyone in the community actively using allow_training_without_logprobs with good results?

If you're using this option and it's working well for your use case, please let us know:

  • What is your use case?
  • Why do you need to train without logprobs?
  • What results are you seeing?

If we don't hear from users who depend on this feature, we plan to remove it in an upcoming release.

Related: #527

Lingua principale
Python
Stelle
10.8k
Fork
989
Merge medio
10h 1m
PR unite (30g)
117

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di OpenPipe/ART

Tutte le issue di OpenPipe/ART

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.