Make `LanguageModelSession` transcript observable while streaming responses
I maintainer di solito rispondono entro 6 giorni
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 45/100
Direzione di ricerca
Inizia individuando LanguageModelSession.transcript e l’API LanguageModel.streamResponse. Esamina come vengono rappresentate le risposte in streaming e le voci del transcript, quindi determina come rendere disponibili durante lo stream il ragionamento intermedio, i messaggi e le chiamate agli strumenti; il lavoro è completato quando tali voci sono osservabili tramite il transcript della sessione durante lo streaming.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
As described by @belozierov in https://github.com/mattt/AnyLanguageModel/issues/98#issuecomment-3830901075:
During an LLM request, the model may perform many turns, producing intermediate outputs such as reasoning, user-visible messages, tool calls, etc. Ideally, these intermediate steps should be observable by the user via
LanguageModelSession.For this to work, it would be useful to update
LanguageModelSession.transcriptwhileLanguageModel.streamResponseis running.One possible approach would be for
LanguageModel.streamResponseto return not just a stream ofContent, but an enum that can represent eitherContentorTranscript.Entry, whereTranscript.Entryvalues would be appended toLanguageModelSession.transcriptduring the stream.
- Lingua principale
- Swift
- Stelle
- 938
- Fork
- 93
- Merge medio
- 2g 3h
- PR unite (30g)
- 59
Preparare l'ambiente
Non abbiamo ancora controllato i file di configurazione di questo progetto. Parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di huggingface/AnyLanguageModel
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 30/100
huggingface/AnyLanguageModel#210 · 5 commenti · 3 reazioni ·
I maintainer di solito rispondono entro 6 giorni
-
enhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
huggingface/AnyLanguageModel#114 · 3 commenti ·
I maintainer di solito rispondono entro 6 giorni
-
enhancement
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
huggingface/AnyLanguageModel#93 ·
I maintainer di solito rispondono entro 6 giorni
-
enhancement
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
huggingface/AnyLanguageModel#82 ·
I maintainer di solito rispondono entro 6 giorni
-
Audio input support?Apertaenhancement
Difficoltà 5/5 Più di una settimana Idoneità per principianti 35/100
huggingface/AnyLanguageModel#38 · 2 commenti ·
I maintainer di solito rispondono entro 6 giorni
Tutte le issue di huggingface/AnyLanguageModel
Issue simili
-
area:dictation bug good first issue P2
Difficoltà 2/5 1-3 ore Idoneità per principianti 90/100
uttrflow/uttrflow-swift#1956 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
callstackincubator/appduct#129 ·
I maintainer di solito rispondono entro 1 giorno
-
clawsweeper:not-repro-on-main impact:ux-friction issue-rating: 🦪 silver shellfish P2
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
steipete/CodexBar#4040 · 1 commento · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
mozilla-mobile/firefox-ios#35827 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
solana-foundation/pay-kit#341 ·
I maintainer di solito rispondono entro 1 giorno