Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

/models REST endpoint lacks context size

Aperta
  • Qualcosa non va?
#4,609 1 commento 0 reazioni 0 assegnatari Vedi su GitHub

I maintainer di solito rispondono entro 1 giorno

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
68/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
cpp
Ambito
ai, api

Direzione di ricerca

Start at the REST /v1/models endpoint and trace how its model metadata response is assembled. Compare the current response with the expected context-size fields shown in the report, then run the curl request against a configured model to verify that the context window is exposed and available to clients.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

enhancement

Describe the bug
the models endpoint only shows the configured model name and a timestamp. the lack of a context window size makes it impossible for agentic software to know when to trigger auto-compaction.

To Reproduce

$ curl ovms_server:8081/v1/models
{"data":[{"id":"Ornith-1.5-35B-A3B-Uncensored-OpenVINO-INT4","object":"model","created":1790460054,"owned_by":"OVMS"}],"object":"list"}

Expected behavior

$curl llamacpp_server:8081/v1/models
{"object":"list","data":[{"id":"/home/user/models/offmonreal-Ornith-1.5-35B_Q4_K_M_imatrix_MTP.gguf","object":"model","created":1790459973,"owned_by":"llamacpp","meta":{"vocab_type":2,"n_vocab":248320,"n_ctx_train":262144,"n_embd":2048,"n_params":34660610688,"size":21155768832},"max_model_len":262144}],"models":[{"slug":"/home/user/models/offmonreal-Ornith-1.5-35B_Q4_K_M_imatrix_MTP.gguf","display_name":"/home/user/models/offmonreal-Ornith-1.5-35B_Q4_K_M_imatrix_MTP.gguf","description":null,"default_reasoning_level":null,"supported_reasoning_levels":[],"shell_type":"default","visibility":"list","supported_in_api":true,"priority":0,"additional_speed_tiers":[],"service_tiers":[],"default_service_tier":null,"availability_nux":null,"upgrade":null,"base_instructions":"","model_messages":null,"supports_reasoning_summaries":false,"default_reasoning_summary":"auto","support_verbosity":false,"default_verbosity":null,"apply_patch_tool_type":null,"web_search_tool_type":"text","truncation_policy":{"mode":"tokens","limit":262144},"supports_parallel_tool_calls":false,"supports_image_detail_original":false,"context_window":262144,"max_context_window":262144,"auto_compact_token_limit":235929,"effective_context_window_percent":95,"experimental_supported_tools":[],"input_modalities":["text"],"supports_search_tool":false,"use_responses_lite":false,"auto_review_model_override":null,"tool_mode":null,"multi_agent_version":null}]}

Logs
Logs from OVMS, ideally with --log_level DEBUG. Logs from client.

Configuration
2026.04 from last week
https://huggingface.co/vonvonhero/Ornith-1.5-35B-A3B-Uncensored-OpenVINO-INT4

Additional context
Add any other context about the problem here.

Lingua principale
C++
Stelle
932
Fork
278
Merge medio
3g 5h
PR unite (30g)
70

Preparare l'ambiente

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di openvinotoolkit/model_server

Tutte le issue di openvinotoolkit/model_server

Issue simili

Altre issue su C++

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.