llama.cpp backend: allow `--reasoning on|off` in runtime flag allowlist

オープン初心者向け

#1,064 2026年9月19日に作成コメント 0 件リアクション 0 件担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度: 1/5
見積もり時間: 1時間未満
初心者へのやさしさ: 90/100

issue の種類: 機能追加
明瞭さ: 明確に書かれている
活発さ: 活発
技術スタック: go
領域: backend

調査の方向性

既存の llama.cpp の推論関連フラグが定義されている pkg/inference/runtime_flags_allowlist.go から始めます。allowlist のエントリを、文書化されている llama-server --reasoning on|off|auto フラグと比較し、その後、docker model configure -- --reasoning off が以前の拒否なしに受け付けられることを確認します。

索引モデルが issue の本文から書いたものです。

説明

llama.cpp's llama-server (verified on build 9879 / 72874f559) exposes a first-class server flag:

--reasoning [on|off|auto]   Use reasoning/thinking in the chat (default: auto = detect from template)

docker model configure rejects it:

$ docker model configure <model> -- --reasoning off
runtime flag "--reasoning" is not allowed for backend "llama.cpp"

It's missing from pkg/inference/runtime_flags_allowlist.go (which already allows --reasoning-format, --reasoning-budget, --reasoning-preserve, --chat-template-kwargs).

Why it matters: for hybrid thinking models (Qwen 3.5/4B family), the current way to pin a model non-thinking at the server level is --chat-template-kwargs '{"enable_thinking": false}'. On current builds this logs a deprecation warning at every server start:

W Setting 'enable_thinking' via --chat-template-kwargs is deprecated. Use --reasoning on / --reasoning off instead.

The flag is a simple enum, touches no files or external resources, and fits the existing allowlist security model (cf. #1032 for the reasoning-preserve flags).

Related: #1028 (request-body reasoning_effort: none), #1032 (reasoning-preserve flags).

主要言語: Go
スター: 651
フォーク: 155
PR マージ指標: 30日以内にマージされた PR はありません

コントリビューションガイド

このリポジトリのコントリビューションガイドは索引されていません

はじめの一歩

issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
リポジトリをフォークし、ブランチを切って変更します。
issue 番号を参照したプルリクエストを送ります。

docker/model-runner のほかの issue

Docker Model Runner (llama.cpp backend) returns HTTP 500 "does not match the expected peg-native format" when a single chat turn requires 2+ sequential tool/function calls オープン

難易度 4/5 3〜5日初心者へのやさしさ 68/100

docker/model-runner#1063 · 2026年9月18日に作成
OrcaRouter provider support for the Docker Model Runner gateway オープン

難易度 4/5 3〜5日初心者へのやさしさ 42/100

docker/model-runner#1059 · 2026年9月9日に作成
Using CPU inference there is no way to control how much ram of the host is used オープン

難易度 4/5 3〜5日初心者へのやさしさ 45/100

docker/model-runner#1058 · 2026年9月8日に作成
Docker Model Runner: `docker model bench` leaves the loaded llama.cpp model returning only `?` tokens (CUDA, GTX 1650) オープン

難易度 4/5 3〜5日初心者へのやさしさ 48/100

docker/model-runner#1056 · 2026年9月4日に作成
Docker Model Runner on Windows fails to provision com.docker.nv-gpu-info.exe, breaking llama.cpp CUDA backend after Docker Desktop 4.82.0 オープン

難易度 4/5 3〜5日初心者へのやさしさ 55/100

docker/model-runner#1054 · 2026年9月1日に作成

docker/model-runner の issue をすべて見る

似ている issue

GrafeasNote is a duplicate resource of ContainerAnalysisNote オープン

難易度 1/5 1時間未満初心者へのやさしさ 84/100

GoogleCloudPlatform/k8s-config-connector#13349 · 2026年9月21日に作成
[receiver/receiverhelper] skip WithLinks when the parent span context is invalid オープン

enhancement needs triage

難易度 2/5 1〜3時間初心者へのやさしさ 68/100

open-telemetry/opentelemetry-collector#15998 · 2026年9月21日に作成
🧹 Use PodSet wrappers in DRA tests オープン

kind/cleanup

難易度 2/5 1〜3時間初心者へのやさしさ 88/100

kubernetes-sigs/kueue#15947 · 2026年9月21日に作成
Custom provider credential is written as `PROVIDER_API_KEY` (apiserver) but the AgentRun controller injects only allowlisted keys, so every custom provider fails with HTTP 401 オープン

難易度 2/5 1〜3時間初心者へのやさしさ 78/100

sympozium-ai/sympozium#627 · 2026年9月21日に作成
A recording that opens with an all-zero last_throw emits a zeroed discThrown at frame 0 オープン

難易度 2/5 1〜3時間初心者へのやさしさ 86/100

EchoTools/tape#60 · 2026年9月21日に作成

Go の issue をもっと見る