Seven llama_sampler_init_* bindings admit keyword arguments that the ctypes function object silently drops
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 2/5
- Tiempo estimado
- 1-3 horas
- Aptitud para principiantes
- 88/100
Línea de trabajo
Comienza en llama_cpp/llama_cpp.py, en las siete definiciones de llama_sampler_init_* alrededor de las líneas 4553-4606, y después lee ctypes_function en llama_cpp/_ctypes_extensions.py:146-152 para confirmar cómo se crean las funciones exportadas. Haz que los siete parámetros de binding sean positional-only, igual que en las definiciones circundantes, y verifica que sus firmas ya no inviten a realizar llamadas con argumentos de palabra clave.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Summary
In llama_cpp/llama_cpp.py, seven bindings are declared as defs whose parameters are NOT
positional-only, while every other decorated binding in the file uses /:
line (main d736646) |
def |
|---|---|
| 4553 | def llama_sampler_init_dist(seed: int) -> llama_sampler_p |
| 4560 | def llama_sampler_init_top_k(k: int) -> llama_sampler_p |
| 4570 | def llama_sampler_init_top_p(p: float, min_keep: int) -> llama_sampler_p |
| 4580 | def llama_sampler_init_min_p(p: float, min_keep: int) -> llama_sampler_p |
| 4590 | def llama_sampler_init_typical(p: float, min_keep: int) -> llama_sampler_p |
| 4596 | def llama_sampler_init_temp(t: float) -> llama_sampler_p |
| 4606 | def llama_sampler_init_temp_ext(t: float, delta: float, exponent: float) -> llama_sampler_p |
ctypes_function (llama_cpp/_ctypes_extensions.py:146-152) replaces the def with the
ctypes function object:
def decorator(f):
if enabled:
func = getattr(lib, name)
func.argtypes = argtypes
func.restype = restype
functools.wraps(f)(func)
return func
so the name the module exports IS getattr(lib, "llama_sampler_init_top_k"). A ctypes
function object without paramflags binds no argument by name, but functools.wraps and
the (f: F) -> F typing make inspect.signature, pyright and IDEs show the def's
signature — which invites keyword calls the object cannot honour.
What happens (CPython 3.12.10, ctypes)
>>> import ctypes; lib = ctypes.CDLL(None); f = lib.abs
>>> f.argtypes = [ctypes.c_int]; f.restype = ctypes.c_int
>>> f(-3, x=1) # an extra keyword is DROPPED silently
3
>>> f(x=-3) # all-keyword: refused
TypeError: this function takes at least 1 argument (0 given)
Applied to these bindings:
llama_sampler_init_top_k(k=40)— type-checks clean, raisesTypeErrorat run time.llama_sampler_init_top_p(0.9, min_keep=2)— type-checks clean, runs, and passes ONE
positional to a two-parameter C function:min_keepis silently dropped and the C side
reads whatever the register/stack held for it.
No caller inside the repository is affected today (_internals.py:705-732 and the server
pass positionals), so this is a latent API hazard rather than a current bug — but the
signature is public and the failure is invisible to every static check.
Fix
Make the seven defs positional-only, as the other bindings already are:
def llama_sampler_init_top_k(k: int, /) -> llama_sampler_p: ...
(Alternatively, build the functions through a CFUNCTYPE prototype with paramflags,
which does bind by name — but the one-character fix matches the file's convention.)
Found with SemLinker, a cross-language contract checker we are developing; happy to send a PR.
- Lenguaje dominante
- Python
- Estrellas
- 10.6k
- Forks
- 1.5k
- Merge medio
- 6 h 43 min
- PR fusionados (30 d)
- 2
Guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de abetlen/llama-cpp-python
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
abetlen/llama-cpp-python#2352 ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
abetlen/llama-cpp-python#2211 · 2 comentarios ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
abetlen/llama-cpp-python#2210 ·
-
Improve error messages Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
abetlen/llama-cpp-python#2145 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 75/100
abetlen/llama-cpp-python#2135 · 4 reacciones ·
Todos los issues de abetlen/llama-cpp-python
Issues similares
-
enhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 70/100
canonical/paas-charm#368 · 1 comentario ·
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
tech debt
Dificultad 2/5 1-3 horas Aptitud para principiantes 75/100
-
addition to tracking list Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
StevenBlack/hosts#3256 ·
-
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
qualcomm/qai-appbuilder#275 ·