CodeReviewModification never shows the programmer the six review regulations, so fixes are made blind to the checklist they are re-reviewed against
まだ誰も着手していません。
評価
調査の方向性
CompanyConfig/Default/PhaseConfig.json の CodeReviewComment と CodeReviewModification のプロンプトから始め、次に ChatChainConfig.json を確認して、3 サイクルのレビュー制限を理解します。修正プロンプトを更新し、6 つの規定を含めたうえで、コメントに対応する際にそれらを維持するよう Programmer に求めます。完了の条件は、再レビューに使用されるものと同じチェックリストを Programmer が受け取ることです。同じプロンプトパターンになっているか、派生設定を調べてください。
索引モデルが issue の本文から書いたものです。
説明
Branch: chatdev1.0 (Default company config). Line numbers below refer to that branch; the same prompts exist on other configs derived from Default.
Summary
In CompanyConfig/Default/PhaseConfig.json, the CodeReviewComment phase prompt (lines 134–153) gives the Code Reviewer six regulations (lines 146–151: imports, implemented methods, comments, bugs, task conformance, interaction logic) and instructs them to "check the above regulations one by one" — but then to "propose one comment with the highest priority" (line 152).
The CodeReviewModification phase prompt (lines 155–178) passes the Programmer only:
"Comments on Codes:",
"\"{comments}\"",
(lines 166–167). The six-regulation checklist itself never reaches the modification prompt. So in each review cycle:
- the reviewer knows all six regulations but reports only one violation;
- the programmer fixes that one violation without knowing the other five criteria the next
CodeReviewCommentpass will judge the code against.
Triggering condition
ChatChainConfig.json caps the CodeReview ComposedPhase at cycleNum: 3 (lines 31–48), so at most three single comments are ever applied per run. Whenever the code has more than three regulation violations — or a fix regresses a different regulation (e.g. adding a method without importing what it needs) — known violations survive the entire review loop and ship in the final software. Unimplemented methods and missing imports, the exact things regulations 1) and 2) exist to catch, are the common survivors.
Suggested fix
Pure prompt change to CompanyConfig/Default/PhaseConfig.json: include the same six regulations in the CodeReviewModification phase prompt (before or after "Comments on Codes:"), and ask the Programmer to keep all regulations satisfied while addressing the comment. This lets each modification avoid regressing the criteria it will immediately be re-reviewed against, making the three cycles count. No code changes needed.
Found during an academic study that writes behavioral specifications of multi-agent systems and statically analyzes them; the reviewer-to-programmer information loss surfaced when specifying what each phase's prompt actually carries between roles.
- 主要言語
- Python
- スター
- 34.3k
- フォーク
- 4.3k
- PR マージ指標
- 30日以内にマージされた PR はありません
コントリビューションガイド
このリポジトリのコントリビューションガイドは索引されていません
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
OpenBMB/ChatDev のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 76/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 85/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 35/100
-
難易度 5/5 1週間以上 初心者へのやさしさ 35/100
-
難易度 4/5 3〜5日 初心者へのやさしさ 52/100
OpenBMB/ChatDev の issue をすべて見る
似ている issue
-
area: harness bug status: needs-triage
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
Human-Agent-Society/reef#625 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 70/100
-
難易度 1/5 1時間未満 初心者へのやさしさ 80/100
learningequality/kolibri#15351 · コメント 2 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
-
Name consistency オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 75/100
eellak/triplestore#65 · コメント 1 件 ·