Correct way to access the logit_bias feature
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 4/5
- Tempo stimato
- 3-5 giorni
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia dalla chiamata a self.model.act e dalla gestione della relativa configurazione, usando la riproduzione con Qwen3-14b e il token 1678 come caso di test. Confronta la forma fornita di logit_bias con il comportamento delle API di LM Studio e OpenAI, quindi stabilisci se l’SDK lo applica o se la limitazione è specifica del modello; il lavoro è completato quando il comportamento previsto viene riprodotto o documentato chiaramente.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
It seems the OpenAI API supports the attribute .logit_bias, which allows us to encourage or discorage / ban certain words: https://help.openai.com/en/articles/5247780-using-logit-bias-to-alter-token-probability-with-the-openai-api and the lmstudio API also supports it:
https://lmstudio.ai/docs/app/api/endpoints/openai
However, when I try to use it, it seems to have no effect.
For instance, the word "time" for Qwen3-14b is token no. 1678:
token = a.tokenize("time")
print(token)
[1678]
But if I try to pass logit_bias to Qwen 3, it ignores logit_bias completely:
self.model.act(
chat_object,
tool_list, # Pass the actual tools list
config={
"temp": 0.2,
"maxTokens": MAX_HISTORY_LENGTH,
"logit_bias": {"1678":-100},
},
on_prediction_fragment=self._stream_response,
)
[USER (10:08 AM)]: Complete this sentence: "Once upon a..."
[AI (10:08 AM)]: Once upon a time, there lived a curious little girl who loved exploring the enchanted forest behind her cottage.
Is this the right way to access logit_bias? Or is it a specific model issue?
- Lingua principale
- Python
- Stelle
- 881
- Fork
- 166
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di lmstudio-ai/lmstudio-python
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
lmstudio-ai/lmstudio-python#186 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 65/100
lmstudio-ai/lmstudio-python#184 ·
-
Reasoning parametersAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 45/100
lmstudio-ai/lmstudio-python#183 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 48/100
lmstudio-ai/lmstudio-python#182 · 1 reazione ·
-
error code: 502Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 32/100
lmstudio-ai/lmstudio-python#180 ·
Tutte le issue di lmstudio-ai/lmstudio-python
Issue simili
-
wr.dynamodb.read_items returns [{}] for a single partition value that does not existForse già presa @auraseb l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
aws/aws-sdk-pandas#3520 ·
I maintainer di solito rispondono entro 2 giorni
-
requires triage typing
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
sqlalchemy/sqlalchemy#13704 ·
I maintainer di solito rispondono entro 1 giorno
-
Edit tool converts CRLF files to LFForse già presa @RaphaelFakhri l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
huggingface/tau#774 ·
I maintainer di solito rispondono entro 1 giorno
-
show ignores the row limit when a column or table name contains "limit"Forse già presa @RaphaelFakhri l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
What happened to `check.py`?Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 67/100
linebender/resvg#1179 · 1 commento ·
I maintainer di solito rispondono entro 2 giorni