Context usage indicator in the chat window

オープン
#42,309 コメント 1 件 リアクション 1 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
55/100
issue の種類
機能追加
明瞭さ
おおむね明確
活発さ
活発
技術スタック
typescript
領域
ai, frontend

調査の方向性

チャットウィンドウから開始し、現在の会話データを Logs & Ann. に表示されるトークン数と比較します。モデル設定がコンテキストサイズをどのように公開しているかを確認します。チャットに現在のコンテキスト使用量がパーセンテージまたはバーとして表示され、ホバー時にトークン数が表示されるようになれば、この機能は完了です。エージェントの会話におけるツール出力も含めます。

索引モデルが issue の本文から書いたものです。

説明

💪 enhancement
Self Checks
  • I have read the Contributing Guide and Language Policy.
  • I have searched for existing issues search for existing issues, including closed ones.
  • I confirm that I am using English to submit this report, otherwise it will be closed.
  • Please do not modify this template :) and fill in all the required fields.
1. Is this request related to a challenge you're experiencing? Tell me about your story.

I am building a lot of agents with the new Agent v2, especially the interaction with workflows and custom tools.
Really loving it so far.

The chat window is my main entry point for talking to access-scoped agents with specialized tools. Automations run with the same agent but talking through the chat window lets useres do one-off requests and analysis for example.

The problem is that I have no idea how full the context is. A conversation gets long, or the agent reads a big file with a tool, and the context fills up without me seeing any of it. I am just guessing.

That matters for two reasons.

  • Cost, because the history gets sent along on every turn.
  • Quality, because the closer a model gets to its limit, the dumber it gets.

Right now the only way to check is to open Logs & Ann. and read the token count per message, which is not something you do in the middle of a conversation.

So currently its hard to judge if i should start a new conversation or not.

2. Additional context or comments

Ideal would be a something in the chat window that shows how much of the model's context the current conversation is using.
A percentage or a small bar, with the token count on hover.

The data is already there. Every message stores its prompt tokens, and the model's context size is known from the model config.

It would help most in agent apps, where tool outputs are part of the history too, so the context grows a lot faster than you would guess from just looking at the messages on screen.

Thanks for building this awesome tool! Really love the direction its going!

3. Can you help us with this feature?
  • I am interested in contributing to this feature.
主要言語
TypeScript
スター
157k
フォーク
24.7k
平均マージ
22時間 32分
マージ済み PR(30日)
611

コントリビューションガイド

コントリビューションガイドを開く

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

langgenius/dify のほかの issue

langgenius/dify の issue をすべて見る

似ている issue

TypeScript の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。