LLM sometimes generates incorrect Markdown strings, need to improve parse_args logic
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 2/5
- Tempo stimato
- 1-3 ore
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia con la logica extract_codeblock mostrata e riproduci la risposta Markdown malformata contenente solo due backtick prima di exec_shell. Determina il comportamento del parser necessario per questa risposta, quindi verifica che i blocchi di codice validi continuino a funzionare e che il comando malformato non produca più l'errore "No API call found".
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Describe the bug
LLM(I am using GPT-4-mini with Openrouter) sometimes generates commands like this:
8 │ │ {
1 │ │ │ "role": "assistant",
2 │ │ │ "content": "``exec_shell(\"kubectl get pods -n test-social-network\")```"
3 │ │ },
4 │ │ {
5 │ │ │ "role": "env",
6 │ │ │ "content": "Error parsing response: No API call found!"
7 │ │ },
Notice that there are only 2 ticks before the exec_shell. It repeats the same mistake for the entire run.
The logic for extracting code block:
def extract_codeblock(self, response: str) -> str:
"""Extract a markdown code block from a string.
Args:
response (str): The response string.
Returns:
str: The extracted code block.
"""
outputlines = response.split("\n")
indexlines = [i for i, line in enumerate(outputlines) if "```" in line]
if len(indexlines) < 2:
return ""
return "\n".join(outputlines[indexlines[0] + 1 : indexlines[1]])
The function will return an empty string from the above command, thus "No API call" error.
It does not always happen.
Instead of additional prompting, it is more robust to address this issue on the parser side.
- Lingua principale
- Python
- Stelle
- 989
- Fork
- 176
- Merge medio
- 7g 15h
- PR unite (30g)
- 3
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di microsoft/AIOpsLab
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Regarding to the case #162 Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
Tutte le issue di microsoft/AIOpsLab
Issue simili
-
agent-ready documentation needs-triage
Difficoltà 1/5 1-3 ore Idoneità per principianti 88/100
-
documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 92/100
-
instance instance add
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
searxng/searx-instances#939 · 1 commento ·
-
area-deployment area-integrations triage:bot-seen
Difficoltà 2/5 Mezza giornata Idoneità per principianti 86/100