Feature request: add max_len=8192 parameter support 功能请求：增加对max_len=8192的支持
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 82/100
Direzione di ricerca
Inizia in backend/server/main.py, alle righe indicate, e analizza la definizione di InferenceRequest. Traccia il percorso della richiesta fino alla chiamata di inferenza laya-multilingual, quindi aggiungi il supporto per max_len=8192 e verifica che le richieste con contesto lungo accettino il parametro e utilizzino il limite di token aumentato.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Current API don't support max_len=8192 parameter, which can increase the max token limit for laya-multilingual.
For some long context case, the quality of result is quite low. It would be much more helpful if you can add the support of this.
I suppose just add a property in InferenceRequest and add the support here
现在的API不支持 max_len=8192 这个可以让 laya-multilingual 的输入上限增加到8192个token。
现在过长的上下文的结果，质量很低。如果能支持这个参数，估计会有很大改善。
我觉得，只要在 InferenceRequest 里面加一个对此支持的属性，然后再在这个函数调用里加上参数就好了。
非常感谢你做了这个可以直接在Docker里用的image，直接部署非常方便！
- Lingua principale
- TypeScript
- Stelle
- 72
- Fork
- 48
- Merge medio
- 14m
- PR unite (30g)
- 55
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di 1Panel-dev/laya-server
-
建议加SKILL指导Agent使用Aperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 20/100
1Panel-dev/laya-server#60 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di 1Panel-dev/laya-server
Issue simili
-
area/frontend good first issue kind/cooldown
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
voidzero-dev/oxc-angular-compiler#511 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
langchain-ai/deepagentsjs#898 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
anomalyco/models.dev#8509 · 2 commenti ·
I maintainer di solito rispondono entro 1 giorno
-
bug documentation P2 UI/UX
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
I maintainer di solito rispondono entro 1 giorno