Feature request: add an option to summarize and analyze agent trace with LLM after each run
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- ai, observability, testing
Hướng nghiên cứu
Bắt đầu bằng cách xem xét eval pipeline và các script được tham chiếu trong issue, sau đó xác định nơi một phân tích tùy chọn sau khi chạy có thể nhận agent traces và ngữ cảnh đánh giá. Được coi là hoàn tất khi pipeline có thể tùy chọn tạo bản tóm tắt và phân tích bằng LLM, giúp diễn giải hành vi của agent cũng như kết quả benchmark hoặc fault-injection.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
https://github.com/microsoft/AIOpsLab/issues/101
I have developed some scripts to do this, but it may be valuable to integrate this into the eval pipeline.
Currently, we lack observability in agent behaviors:
- Traces are long, and nobody bothers to read them
- Traces alone are not enough. We also need the evaluation and fault-injection logic to understand the run better.
- Many times, the agent did the right thing, but there are bugs in the benchmark itself.
For summary and analysis, we can feed the context to the most advanced LLM with a better reasoning capability and a larger context length at a low cost(because it is one-step).
- Ngôn ngữ chính
- Python
- Star
- 989
- Fork
- 176
- Merge trung bình
- 7 ngày 15 giờ
- Pull request đã merge (30 ngày)
- 3
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của microsoft/AIOpsLab
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 72/100
-
Regarding to the case #162 Đang mở
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100
Tất cả issue của microsoft/AIOpsLab
Issue tương tự
-
bug
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
stephrobert/dsoxlab#238 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
sublimehq/package_control#1780 ·
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100
nwg-piotr/nwg-displays#145 ·