[polish] 为 OpenAI 渠道增加低延迟（Fast mode）选项

Aperta
  • Qualcosa non va?
#1,165 2 commenti 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

@mvanhorn ci sta già lavorando.

Dal 22/10/2026.

  • #1251 di @mvanhorn — aperta

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
55/100
Tipo di issue
Funzionalità
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
rust, tauri
Ambito
api, backend

Direzione di ricerca

The OpenAI channel request builders for Chat Completions and Responses are the entry points; the existing ark handling that sends service_tier (added in #1125) is the pattern to copy. Look at how per-channel settings are stored and where the diagnostic log records the request tier. Done when the setting is saved per channel, service_tier is sent only when enabled in both request formats, and the response's returned tier is logged.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

现象

我通常每次语音输入约 10 秒，ASR 完成后，LLM 润色还需要等待约 2～4 秒，整段润色完成后才会写入目标输入框。这段等待会明显影响连续使用体验。

OpenLess 已通过 #1125 支持火山方舟的低延迟选项，但当前实现仅对 ark 渠道发送 service_tier，希望将这一能力扩展到 OpenAI 渠道。

OpenAI 官方的 Chat Completions 和 Responses API 均支持 Fast mode，启用方式是在请求体顶层增加：

{
  "service_tier": "fast"
}

它可以在保留现有模型和 reasoning 设置的情况下使用。官方文档

我用一段模拟中文语音转写进行了小规模对照：固定 gpt-6.1-sol、reasoning=low、相同输入与简短润色规则，交替请求顺序，共测试 6 组、12 次请求。

指标（中位数） 普通档 Fast mode
首字等待 1.83 秒 1.39 秒
整段请求完成 2.41 秒 1.73 秒

6 组均为 Fast 更快，配对节省时间的中位数约为 0.69 秒。所有响应实际档位均符合请求，每次都是 130 输入 tokens、29 输出 tokens，缓存命中和推理 tokens 均为 0。

这是单一模拟输入的小样本结果，不代表实际使用中一定能获得相同比例的提速；测试也不包含 ASR 和目标输入框写入耗时。

影响

使用 OpenAI 进行语音输入润色时，希望能够自行选择以更高的 API 费用换取较短的等待时间。

建议接受标准
  • OpenAI 渠道增加可选的“低延迟推理（Fast mode）”设置，按渠道保存。
  • 未启用时不额外发送 service_tier，保持现有行为；启用时发送 "service_tier": "fast"。
  • Chat Completions 和 Responses 两种请求格式均支持该设置。
  • 设置旁说明 Fast mode 会增加费用，并提供官方价格说明，由用户主动选择。
  • 在现有诊断信息中记录请求档位与响应实际返回的 service_tier，便于确认是否生效；未返回时如实记录。
TODO / 不确定项
  • 第三方 OpenAI-compatible 服务对该参数的支持和计费方式可能不同，不应自动向所有兼容接口添加该字段。
  • 不同模型及服务区域的支持范围需按官方文档确认，不支持时应提供明确错误提示。

相关需求：支持火山方舟低延迟请求参数 #1125。

Lingua principale
Rust
Stelle
3.7k
Fork
349
Merge medio
2g 14h
PR unite (30g)
97

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di Open-Less/openless

Tutte le issue di Open-Less/openless

Issue simili

Altre issue su Rust

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.