bug(mcp): handle malformed and partial reranker responses safely
I maintainer di solito rispondono entro 4 giorni
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 85/100
Direzione di ricerca
Inizia da docs-agent-mcp/mcp-server/reranker_client.py e segui il modo in cui analizza le risposte del reranker e combina i punteggi con i risultati della ricerca. Controlla gli scenari simulati con JSON non valido e risposte parziali descritti nell’issue. Il lavoro è terminato quando gli errori preservano i risultati originali, i risultati validi con punteggio vengono ordinati per punteggio, i risultati senza punteggio mantengono il loro ordine relativo e i dizionari dei risultati non vengono modificati.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Area
mcp
What happened
The MCP reranker client does not safely handle all responses from the TEI reranking service.
There are two issues:
- Malformed JSON response
The response.json() call can raise a ValueError when the reranking service returns invalid JSON, such as an HTML error page.
This exception can escape the reranking function instead of gracefully falling back to the original search results.
- Partial reranker response
When the reranker returns scores for only some of the search hits, the current implementation combines cross-encoder scores with the original retrieval distances and sorts them together.
These values can use different score scales, such as BM25 distances and cross-encoder scores. Comparing and sorting them together can produce an incorrect ranking.
Expected behavior
- Invalid JSON and request failures should preserve the original search results.
- Invalid reranker entries should be ignored safely.
- Valid scored hits should be sorted by cross-encoder score in descending order.
- Unscored hits should retain their original relative order.
- Original hit dictionaries should not be mutated.
- If no valid scores are returned, the original result order should be preserved.
Reproduction
Environment
- Repository:
kubeflow/docs-agent - Component: MCP reranker client
- Environment: Local development
- Python: 3.11.9
- Kubernetes cluster: Not required for reproducing these client-side cases.
Reproduction scenarios
Scenario 1: Malformed JSON
- Configure or mock the reranking HTTP request.
- Make the mocked reranker response contain invalid JSON, such as an HTML error page.
- Call the reranking function.
- Observe whether JSON decoding raises an exception instead of preserving the original hits.
Scenario 2: Partial reranker response
- Prepare multiple search hits with their original retrieval distances.
- Mock a reranker response that returns valid scores for only some of those hits.
- Call the reranking function.
- Observe whether scored and unscored hits are sorted together using incompatible score scales.
No live TEI service or Kubernetes cluster is required for these mocked reproduction scenarios.
Note: The issue was investigated through local code analysis. The reported test results below are from the proposed local fix; a live TEI integration reproduction has not been performed.
Suspected files
docs-agent-mcp/mcp-server/reranker_client.py
- Lingua principale
- Python
- Stelle
- 49
- Fork
- 122
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di kubeflow/docs-agent
-
bug(pipelines): shortcode stripping deletes text between a {{< >}} shortcode and the next {{% %}}Forse già presa @Ashborne-lab l’ha presa 4 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 70/100
kubeflow/docs-agent#293 ·
I maintainer di solito rispondono entro 4 giorni
-
bug(mcp): release-date version rerank matches 1.1 against 1.10, v2.1.1 and 11.1Forse già presa @Aryan-Pardeshi l’ha presa 23 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
kubeflow/docs-agent#279 ·
I maintainer di solito rispondono entro 4 giorni
-
bug(mcp): Milvus search failures escape the tool boundaryForse già presa @sanjayy0612 l’ha presa 66 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
kubeflow/docs-agent#251 ·
I maintainer di solito rispondono entro 4 giorni
-
bug(frontend): the chat widget calls two functions that no longer existForse già presa @Neilblaze l’ha presa 71 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
kubeflow/docs-agent#247 ·
I maintainer di solito rispondono entro 4 giorni
-
fix: update API server paths in README to point to legacy directoryForse già presa @pratik-naik003 l’ha presa 105 giorni fa. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
kubeflow/docs-agent#225 · 1 reazione ·
I maintainer di solito rispondono entro 4 giorni
Tutte le issue di kubeflow/docs-agent
Issue simili
-
Update the demo docsAperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
pulp/pulp_workflow#78 ·
-
Invalid syntax in sshtunnelApertaBug
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
pgadmin-org/pgadmin4#10797 ·
I maintainer di solito rispondono entro 2 giorni
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 66/100
gcivil-nyu-org/team5-mon-fall26#132 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 76/100
gcivil-nyu-org/team4-mon-fall26#291 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 73/100
gcivil-nyu-org/team3-mon-fall26#147 ·
I maintainer di solito rispondono entro 2 giorni