Anima: live PH monitoring in conversational agent — overfitting detection every 50 interactions
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 5/5
- Thời gian dự kiến
- Hơn một tuần
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tính năng
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Ít trao đổi
- Công nghệ
- python
- Lĩnh vực
- machine-learning
Hướng nghiên cứu
Issue không nêu tên tệp, test hay entry point nào trong mlcommons/algorithmic-efficiency; trước tiên hãy xác định liệu phần công việc Anima được đề xuất thuộc về repository này hay chỉ thuộc các project được liên kết. Sử dụng vòng lặp 50 tương tác được mô tả, khoảng cách H0 và việc ghi log các cặp nhầm lẫn để xác định phạm vi tích hợp và xác thực; được xem là hoàn tất khi phạm vi đó đã được thống nhất và hành vi monitoring có thể được kiểm chứng.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Anima — Conversational consciousness agent
Anima integrates Persistent Homology into a live inference loop. Every 50 interactions it:
- Computes H0 persistence on class-mean direction vectors
- Checks H0 gap (train vs test proxy) for overfitting
- Logs top-3 confusion pairs from merge order
This enables self-monitoring — the agent detects when its own representations are degrading, without external validation.
Key metric: H0 gap predicts overfitting with r=0.998 correlation.
Related projects
- logout — Main research project (350+ hypotheses)
- ph-training — Standalone training pipeline
- Ngôn ngữ chính
- Python
- Star
- 425
- Fork
- 78
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Chuẩn bị môi trường
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của mlcommons/algorithmic-efficiency
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 30/100
-
Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 38/100
mlcommons/algorithmic-efficiency#924 · 5 bình luận ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
-
Topological overfitting detection: H0 gap catches overfitting before accuracy diverges (r=0.998)Đang mở
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 15/100
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 48/100
Tất cả issue của mlcommons/algorithmic-efficiency
Issue tương tự
-
Broken links found in docsĐang mởdocs pydanty:is-working
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100
pydantic/pydantic-ai#8863 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100
run-llama/llama_index#23278 ·
Maintainer thường phản hồi trong vòng 2 ngày
-
documentation from-review-extraction github-actions priority: low severity:nit
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
LearningCircuit/local-deep-research#6946 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 82/100
oracle/langchain-oracle#323 ·
Maintainer thường phản hồi trong vòng 1 ngày
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100
tenstorrent/tt-metal#58057 · 1 bình luận ·
Maintainer thường phản hồi trong vòng 1 ngày