Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

Classification: AI peer matching experiment

Đang mở
  • Có gì không ổn?
#1,106 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
25/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Ít trao đổi
Công nghệ
machine-learning, python
Lĩnh vực
backend, machine-learning

Hướng nghiên cứu

Bắt đầu với pipeline AI Assessments hiện có và tìm hiểu cách pipeline này tiếp nhận các hướng dẫn hoặc rubric cũng như tạo ra các bucket có điểm số. Tập hợp bộ dữ liệu dummy được đề xuất gồm khoảng 30 truyện ngắn và hướng dẫn viết của bộ dữ liệu đó, sau đó chạy quá trình organic bucketing ban đầu và so sánh với các phân loại của Deodar. Hoàn tất có nghĩa là ghi lại liệu thử nghiệm có đủ đáng tin cậy để biện minh cho việc lặp lại prompt và rubric hay không.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Is your feature request related to a problem?
Deodar's Use Case 1 (submission cleanup) is on hold due to low volume. The real issue is Use Case 2: classifying writers for peer matching, as new writers need credible feedback and peer groups of similar skill. The challenge is whether AI can classify 50–100+ writers reliably.

Describe the solution you'd like

  • Assemble a dummy set of ~30 short stories (good/middling/bad) with guidelines.
  • Experiment with AI by:
    1. Providing samples and guidelines to the AI for organic bucketing.
    2. Comparing AI's buckets with Deodar's.
    3. Asking AI to propose a rubric and provide scoring and feedback.
  • Use prompt engineering without model training; iterate the rules for improvement.
  • Ensure existing AI Assessments pipeline is utilized for classification tasks.
  • Kaapi to assist with prompt structure and initial rounds, and provide access for self-iteration afterwards.
Original issue

Context

Deodar's Use Case 1 (submission cleanup) is parked — volume (~700–800/year) doesn't justify AI. The real problem is Use Case 2: classifying writers for peer matching. New writers need credible feedback and want peer groups at or above their own skill. Deodar can bucket 30–40 stories by hand; the question is whether AI can do this reliably at 50–100+ writers. The AI's job is classification at the entry point only — assign a writer to the right room; everything after is human-to-human.

Consent blocker & workaround

Deodar needs to take permission from writers at submission and the stories are the writers' own product, so real submissions can't be sent. Workaround: Deodar assembles a dummy set of ~30 short stories (good/middling/bad, free to share) plus a written guideline (not a rubric) on what makes writing good/bad and what characterises Indian fiction.

First experiment

  1. Give the AI the 30 samples + guideline; let it bucket organically into top/middle/bottom.
  2. Compare its buckets against Deodar's.
  3. Ask the AI to propose its own rubric; score and give feedback per story; sample-check; iterate.
  • No model training — entirely prompt engineering (3–6 page prompts workable). First round will underperform; value is in iterating the rules.
  • Platform fit: the existing AI Assessments pipeline works (opinionated toward assessment, but classification uses the same rubric-in/scored-buckets-out mechanism). Kaapi stays involved for 2–3 iterations, then hands Deodar a UI to self-iterate.

Notes

  • Product shape (login → upload → AI feedback emailed; gated persona → room assignment) is exploratory, not committed. Platform must disclose AI is the first-level reader.
  • Volume assumptions (50–100 simultaneous writers) are aspirational; market viability unvalidated; no internal deadline.

Next steps (Kaapi)

  • Help structure the prompt and rubric; run the first rounds jointly; provide self-serve platform access once early rounds show promise.
Ngôn ngữ chính
Python
Star
18
Fork
10
Merge trung bình
3 ngày 20 giờ
Pull request đã merge (30 ngày)
14

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của ProjectTech4DevAI/kaapi-backend

Tất cả issue của ProjectTech4DevAI/kaapi-backend

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.