Alerting and stopping API request on failure
メンテナーはふだん 1 日以内に返信
まだ誰も着手していません。
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 35/100
調査の方向性
まず generate エンドポイントと chat エンドポイント、および keep_alive パラメーターを調査し、次にキャンセルに関連する動作について過去の Issue #287 と #492 を確認します。API のキャンセルエンドポイントが進行中の実行を停止し、キューで保留中の処理をクリアする方法を定義し、その後のリクエストを Ollama を手動で終了せずに実行できることを検証します。
索引モデルが issue の本文から書いたものです。
説明
Context: I've been developing a local RAG system with FastAPI using Ollama as the brains for embeddings and response creation. I've implemented asyncio within to avoid overloading the API but still have found an edge case where the process keeps running even after an error occurs blocking the API, so to test again after reviving the FastAPI server I need to open Windows Task Manager and kill the Ollama process to be able to make new requests.
Desire: Having a endpoint within the API that cancels any ongoing excecution and clears any queue pending so it can be called when handling errors.
Previous issues: I started by checking open issues realted to this and found two (287 and 492) that asked for something similar, however they are at least 1y old and had no good responses.
Other suggestions: People suggest using the generate and chat endpoints with parameter keep_alive set to 0, however I believe this may not be the solution since it requires the request to be taken and addressed.
- 主要言語
- Python
- スター
- 10.6k
- フォーク
- 1.2k
- 平均マージ
- 1時間 45分
- マージ済み PR（30日）
- 2
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
ollama/ollama-python のほかの issue
-
GenerateResponse/ChatResponse silently drop the server's prompt_eval_cached_count field対応中かも @pfolex が 4 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 95/100
ollama/ollama-python#779 ·
メンテナーはふだん 1 日以内に返信
-
GenerateResponse/ChatResponse silently drop the server's prompt_eval_cached_count field対応中かも @shuaiyafei が 7 日前に担当しました。 オープン
難易度 1/5 1時間未満 初心者へのやさしさ 88/100
ollama/ollama-python#773 ·
メンテナーはふだん 1 日以内に返信
-
Empty tools: [] triggers tool-calling on Llama 3.x client-side templates対応中かも @Mrun25 が 10 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
ollama/ollama-python#767 · コメント 2 件 ·
メンテナーはふだん 1 日以内に返信
-
TokenLogprob/Logprob drop server bytes field対応中かも @vineoy が 29 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
ollama/ollama-python#750 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
convert_function_to_tool exposes *args and **kwargs as required string parameters対応中かも @aniketkrs が 23 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 88/100
ollama/ollama-python#735 ·
メンテナーはふだん 1 日以内に返信
ollama/ollama-python の issue をすべて見る
似ている issue
-
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
Graphify-Labs/graphify#4860 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
:bug: Bug
難易度 2/5 1〜3時間 初心者へのやさしさ 84/100
scikit-image/scikit-image#8377 ·
メンテナーはふだん 1 日以内に返信
-
Ingredient import validation accepts negative nutrient values and NaN対応中かも @LukeSekai が今日担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 82/100
wger-project/wger#2564 ·
メンテナーはふだん 2 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 68/100
apache/ponymail-foal#351 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 68/100
メンテナーはふだん 4 日以内に返信