Alerting and stopping API request on failure
Los mantenedores suelen responder en 1 día
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 4/5
- Tiempo estimado
- 3-5 días
- Aptitud para principiantes
- 35/100
Línea de trabajo
Comienza inspeccionando los endpoints generate y chat y el parámetro keep_alive; después, revisa los issues anteriores #287 y #492 para comprobar el comportamiento relacionado con la cancelación. Define cómo un endpoint de cancelación de la API debe detener la ejecución en curso y eliminar el trabajo pendiente de la cola, y verifica que las solicitudes posteriores puedan ejecutarse sin terminar Ollama manualmente.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Context: I've been developing a local RAG system with FastAPI using Ollama as the brains for embeddings and response creation. I've implemented asyncio within to avoid overloading the API but still have found an edge case where the process keeps running even after an error occurs blocking the API, so to test again after reviving the FastAPI server I need to open Windows Task Manager and kill the Ollama process to be able to make new requests.
Desire: Having a endpoint within the API that cancels any ongoing excecution and clears any queue pending so it can be called when handling errors.
Previous issues: I started by checking open issues realted to this and found two (287 and 492) that asked for something similar, however they are at least 1y old and had no good responses.
Other suggestions: People suggest using the generate and chat endpoints with parameter keep_alive set to 0, however I believe this may not be the solution since it requires the request to be taken and addressed.
- Lenguaje dominante
- Python
- Estrellas
- 10.6k
- Forks
- 1.2k
- Merge medio
- 1 h 45 min
- PR fusionados (30 d)
- 2
Preparar el entorno
Este proyecto no incluye contenedor de desarrollo, Dockerfile ni guía de contribución, así que la configuración corre por tu cuenta: empieza por su README y consulta nuestra guía para la primera contribución para los pasos generales.
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de ollama/ollama-python
-
GenerateResponse/ChatResponse silently drop the server's prompt_eval_cached_count fieldPosiblemente ocupada @pfolex la tomó hace 3 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 95/100
ollama/ollama-python#779 ·
Los mantenedores suelen responder en 1 día
-
GenerateResponse/ChatResponse silently drop the server's prompt_eval_cached_count fieldPosiblemente ocupada @shuaiyafei la tomó hace 5 días. Abierto
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
ollama/ollama-python#773 ·
Los mantenedores suelen responder en 1 día
-
Empty tools: [] triggers tool-calling on Llama 3.x client-side templatesPosiblemente ocupada @Mrun25 la tomó hace 8 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
ollama/ollama-python#767 · 2 comentarios ·
Los mantenedores suelen responder en 1 día
-
TokenLogprob/Logprob drop server bytes fieldPosiblemente ocupada @vineoy la tomó hace 28 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
ollama/ollama-python#750 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
convert_function_to_tool exposes *args and **kwargs as required string parametersPosiblemente ocupada @aniketkrs la tomó hace 21 días. Abierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 88/100
ollama/ollama-python#735 ·
Los mantenedores suelen responder en 1 día
Todos los issues de ollama/ollama-python
Issues similares
-
parse names a key after a top-level multi() threshold Bitcoin Core v31.1 refuses as not validAbierto
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
btclib-org/btclib-wallet#587 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
Judgment-Pack/judgment-pack-spec#275 ·
Los mantenedores suelen responder en 1 día
-
ai-generated
Dificultad 2/5 1-3 horas Aptitud para principiantes 77/100
Los mantenedores suelen responder en 1 día
-
documentation good first issue priority: low size: XS
Dificultad 1/5 1-3 horas Aptitud para principiantes 92/100
yeongseon/azure-functions-doctor-python#651 ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
Changaco/python-libarchive-c#146 ·