Spoken-note eval slice (role-played, STT-transcribed)

Đang mở
  • Có gì không ổn?
#92 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Lĩnh vực
machine-learning, mobile, testing-qa

Hướng nghiên cứu

Read the linked rebuild design and issues #65, #71, and #91 first, then use the app's /label flow on the Note 9S for the role-played recordings. Add the separate v1.1 slice without changing the frozen set, and report sample-sized metrics in RESULTS.md with consent evidence and no customer PII committed.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area:data type:eval

Part of the JobTrail v2 rebuild · design doc · all drafts · draft #31

Depends on: #65, #71, #91

Scope

  • Record ~50 spoken notes role-played by the owner (plus friends/family if willing) using the #91 personas and condition matrix — varied pace, fillers, background noise; transcribe with the app's STT on the Note 9S; label via /label; tag source (role-played-owner, role-played-other) and condition.

  • Add to test set as a separate, versioned slice (v1.1) — the original frozen set stays unchanged.

  • Report results by slice; if spoken (STT-transcribed) notes differ materially from synthetic text, say so prominently. Never describe this slice as "real users".

Acceptance criteria

  • Slice metrics in RESULTS.md with sample sizes.

  • Consent recorded for every non-owner recording; no customer PII in committed data.

Definition of done (all issues)

Definition of done (every issue):

  • Acceptance criteria met with evidence linked in the closing comment (test run, results JSON, screenshot/recording).

  • needs-device issues: benchmark JSON + short screen recording from the named device committed under evidence/<issue#>/.

  • No claim in README/docs that isn't backed by a committed artifact.

  • CI green.

Device shorthand: Note 9S = Redmi Note 9S 6 GB (Snapdragon 720G, CPU-only), the minimum-spec device. iPhone = iPhone 16 Pro.

Budget rule: free tiers first (Gemini API free tier, Kaggle/Colab free GPUs, HF Hub, Vercel Hobby). Any script calling a cloud model must throttle to free-tier limits, checkpoint/resume, and log token usage. Paid spend only with owner approval, capped at a few dollars.

Ngôn ngữ chính
Python
Star
0
Fork
0
Merge trung bình
2 ngày 20 giờ
Pull request đã merge (30 ngày)
32

Chuẩn bị môi trường

  • Không có Dockerfile hay tệp Docker Compose
  • Có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Taleef7/JobTrail

Tất cả issue của Taleef7/JobTrail

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.