Code review skill produces wildly different results between Claude and Codex
Maintainer thường phản hồi trong vòng 1 ngày
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 4/5
- Thời gian dự kiến
- 1-2 ngày
- Mức phù hợp với người mới
- 47/100
- Loại issue
- Lỗi
- Độ rõ ràng
- Khá rõ ràng
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- typescript
- Lĩnh vực
- developer-experience
Hướng nghiên cứu
The report describes inconsistent findings from /ce-code-review in Codex and Claude and mentions a possible connection to issue #799, but names no implementation files or tests. Start by reading the skill implementation and issue #799, then compare how reviewer outputs are collected and synthesized across the two integrations. Done means the same diff produces a consistent, adequately reconciled report, with a regression check covering the reported behavior.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hi there,
First of all, thank you for creating such a great plugin. I've been using it for some time now and it's been great.
I've primarily been a Claude user, but lately I've been testing Codex and I've noticed a big difference in how the /ce-code-review skill behaves between the two.
When used against the same task/commit diff, Codex tends to return single-digit findings, while Claude usually produces double-digit findings. The difference between the two is pretty significant.
When I asked Codex why there was such a difference between the results, it said:
I did not spawn the full applicable reviewer set for the final diff.
I did not create/read a fresh run artifact and then synthesize from every reviewer output.
I over-applied the “validate and drop weak findings” mindset before showing you the raw-to-final mapping.
Claude Code has a more direct implementation path for this CE skill; in Codex I had to manually emulate it with spawn_agent, and I under-emulated it.
This isn't a one-off, it consistently happens every time I run the skill. Is this a bug or a limitation of Codex? I'm also not sure if it's related to this https://github.com/EveryInc/compound-engineering-plugin/issues/799 ?
Edit: here's some more comments from Codex:
Why results diverged:
Claude artifacts include raw reviewer output, not just final merged findings. Many items are testing_gaps or residual_risks, not primary findings. My final report only surfaced the main actionable findings and summarized coverage too tightly.
A lot of Claude’s raw findings violate the skill’s strict merge schema: severity values like high/medium/low, confidence values like 90/95/80. Under the skill’s Stage 5 validation, those are supposed to be dropped or normalized before final synthesis. I dropped some instead of salvaging/normalizing useful content.
I demoted or omitted several “coverage-only” items that Claude preserved, ....
Reviewer nondeterminism is real here. Different harness, model tiering, and agent implementations produced different issue discovery. But that does not fully excuse it: several Claude findings are valid and I should have caught or at least surfaced them as testing gaps/residual risks.
I also compressed the final report too much after applying the one safe fix. The skill asks for richer Coverage, Deployment Notes, and residual/actionable tables. My final answer was materially thinner than the Claude artifact set.
So the honest answer: I did spawn the required agents, but my synthesis pass was stricter and less complete than it should have been. The biggest actual miss is not agent coverage; it is that I failed to reconcile valid raw signals into the final report.
- Ngôn ngữ chính
- TypeScript
- Star
- 25.6k
- Fork
- 2.1k
- Merge trung bình
- 3 giờ 57 phút
- Pull request đã merge (30 ngày)
- 170
Chuẩn bị môi trường
Dự án này không cung cấp dev container, Dockerfile hay hướng dẫn đóng góp, nên bạn cần tự thiết lập môi trường: hãy bắt đầu từ README và xem hướng dẫn đóng góp lần đầu của chúng tôi để biết các bước chung.
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của EveryInc/compound-engineering-plugin
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
EveryInc/compound-engineering-plugin#2085 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 66/100
EveryInc/compound-engineering-plugin#795 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 80/100
EveryInc/compound-engineering-plugin#2084 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 48/100
EveryInc/compound-engineering-plugin#2083 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Host support: DeepSeek Harness (dsh)Có thể đã có người làm Có pull request liên kết đang mở hoặc đã được merge. Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
EveryInc/compound-engineering-plugin#2072 ·
Maintainer thường phản hồi trong vòng 1 ngày
Tất cả issue của EveryInc/compound-engineering-plugin
Issue tương tự
-
bug impact:low Team: SecuritySolution Team:Defend Workflows v9.6.0
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
elastic/kibana#306401 · 3 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
agentes-chat/agentes-chat#927 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
[Bug]: Webapp workspace fails to render in Safari — "Can't find variable: requestIdleCallback"Đang mởcomp/desktop P2 type/bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 78/100
NousResearch/hermes-agent#157702 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 76/100
Maintainer thường phản hồi trong vòng 1 ngày
-
e2e-failure ready-to-code
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
redhat-developer/rhdh-plugin-export-overlays#4794 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày