MEAI: OpenAI - Expose 'cache_write_tokens'
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 68/100
Direzione di ricerca
Inizia individuando le MEAI OpenAI usage mappings per Chat Completions e la Responses API; nell’issue non è indicato alcun percorso di file o test. Confronta le strutture di risposta documentate e determina dove viene rappresentato cache_write_tokens per ciascuna API. Il lavoro è completato quando la proprietà è esposta per l’endpoint OpenAI, mentre il comportamento di Azure OpenAI rimane invariato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
In OpenAI 5.6 models or later, OpenAI have introduced cache_write_tokens that indicate how many tokens was billed at 1.25x
In a raw call to OpenAI API it looks like this:
Chat Completion Response:
usage": {
"prompt_tokens": 9657,
"completion_tokens": 78,
"total_tokens": 9735,
"prompt_tokens_details": {
"cached_tokens": 0,
"cache_write_tokens": 9654, <--- New Property in 5.6 models
"audio_tokens": 0
},
"completion_tokens_details": {
"reasoning_tokens": 37,
"audio_tokens": 0,
"accepted_prediction_tokens": 0,
"rejected_prediction_tokens": 0
}
}
Responses API Response
"usage": {
"input_tokens": 9658,
"input_tokens_details": {
"cache_write_tokens": 9655, <--- New Property in 5.6 models
"cached_tokens": 0
},
"output_tokens": 42,
"output_tokens_details": {
"reasoning_tokens": 25
},
"total_tokens": 9700
},
It could be nice if MEAI for OpenAI could expose this new property
Note: Only OpenAI's own API Endpoint have exposed this yet... Azure OpenAI are yet to expose the property.
- Lingua principale
- C#
- Stelle
- 3.2k
- Fork
- 895
- Merge medio
- 2g 22h
- PR unite (30g)
- 26
Preparare l'ambiente
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di dotnet/extensions
-
area-ai untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
dotnet/extensions#7790 ·
I maintainer di solito rispondono entro 1 giorno
-
area-ai untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
dotnet/extensions#7783 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
area-telemetry untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
dotnet/extensions#7757 ·
I maintainer di solito rispondono entro 1 giorno
-
untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
dotnet/extensions#7714 · 1 reazione ·
I maintainer di solito rispondono entro 1 giorno
-
area-ai enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
dotnet/extensions#7626 · 4 commenti ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di dotnet/extensions
Issue simili
-
P2 testing
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 90/100
I maintainer di solito rispondono entro 1 giorno
-
area-Infrastructure-coreclr os-ios os-maccatalyst os-tvos untriaged
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
dotnet/runtime#134766 · 3 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
0 - Backlog Bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
BrighterCommand/Brighter#4444 ·
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
area:frontend bug FE P3
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
klasolsson81/jobbliggaren#1915 ·
I maintainer di solito rispondono entro 1 giorno