Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

[Feature] GRPO-based Agent Evolution

Aperta
#9 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
5/5
Tempo stimato
Più di una settimana
Idoneità per principianti
25/100
Tipo di issue
Funzionalità
Chiarezza
Da chiarire
Stato di attività
Tranquilla
Stack tecnologico
python
Ambito
ai, machine-learning

Direzione di ricerca

Inizia leggendo la pipeline esistente di evoluzione di LoRA basata su SFT e la roadmap del progetto. Determina dove sono definite le fasi di raccolta delle traiettorie e di addestramento, quindi chiarisci con i maintainer l’ambito di GRPO, i segnali di ricompensa e i criteri di valutazione; l’issue non definisce ancora un’implementazione concreta né un test di completamento.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

Currently Ultron seems to rely on SFT-based LoRA training for evolution.

Have you considered introducing a GRPO stage after SFT?

A possible pipeline could be:

Trajectory Collection
→ SFT LoRA
→ GRPO Optimization

Reward signals could come from:

  • Task success
  • Tool execution success
  • Planning efficiency
  • Skill reuse quality

I think reinforcement learning may be a natural next step for Agent Evolution because it optimizes trajectories instead of only imitating them.

In addition, compared with pure SFT, reinforcement learning may help preserve previously acquired capabilities while optimizing new behaviors, potentially reducing catastrophic forgetting during continuous evolution.

Curious whether this has already been discussed in the roadmap.

Lingua principale
Python
Stelle
180
Fork
24
Nessuna PR unita negli ultimi 30g

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di modelscope/ultron

Tutte le issue di modelscope/ultron

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.