Phase 4: Resource ingestion pipeline for automated content discovery

Đang mở

#40 mở ngày 2/10/2026 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

@Aryan-Techie đang làm issue này rồi.

Từ ngày 20/10/2026.

#111 của @Aryan-Techie — đang mở

Đánh giá

Độ khó: 5/5
Thời gian dự kiến: Hơn một tuần
Mức phù hợp với người mới: 25/100

Loại issue: Tính năng
Độ rõ ràng: Cần làm rõ
Mức độ hoạt động: Sôi nổi
Công nghệ: github, typescript
Lĩnh vực: backend, database, devops, full-stack

Hướng nghiên cứu

Start by reading src/lib/ingestion/run-ingestion.ts, src/lib/ingestion/sources/index.ts, and src/lib/ingestion/classify-match.ts, then trace the cron route and the admin actions. Review vercel.json and the existing ingestion flow before deciding how to divide the source adapters, scheduling, matching, monitoring, and review-workflow work. Done means the listed ingestion stages and priority sources operate through admin approval.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

enhancement

Description

The codebase already has a partial ingestion pipeline implementation in src/lib/ingestion/. This issue tracks completing it for automated content discovery from external sources.

Current State (from codebase exploration)

src/lib/ingestion/types.ts - TypeScript types for candidates
src/lib/ingestion/sources/index.ts - Source adapters (GitHub Student Pack, etc.)
src/lib/ingestion/classify-match.ts - Duplicate detection logic
src/lib/ingestion/run-ingestion.ts - Main ingestion orchestration
src/lib/ingestion/queries.ts - Database queries for candidates
src/app/api/cron/ingest-resources/route.ts - Cron endpoint
src/app/admin/(dashboard)/ingestion/page.tsx - Admin review UI
src/app/admin/(dashboard)/ingestion/actions.ts - Approve/reject actions

What's Needed to Complete

Source implementations: Complete adapters for:
- GitHub Student Pack (official API or scraping)
- Major cloud providers (AWS, Azure, GCP student pages)
- Popular tool vendor pages (JetBrains, Figma, Notion, etc.)
Scheduling: Vercel Cron to run ingestion weekly
Deduplication improvement: Better matching logic in classify-match.ts
Admin review workflow: Already partially built, needs polish
Source monitoring: Track which sources are healthy/stale

Files to Enhance

src/lib/ingestion/sources/ - add more source adapters
src/lib/ingestion/classify-match.ts - improve matching algorithm
src/app/api/cron/ingest-resources/route.ts - ensure cron works
vercel.json - add ingestion cron schedule

Ingestion Flow

Cron triggers /api/cron/ingest-resources
For each source: fetch raw data → normalize → classify (new vs possible duplicate)
Store in ingestion_candidates table with matchType and matchedResourceId
Admin reviews in /admin/ingestion → Approve (creates resource) or Reject
Approved candidates → inserted into resources with approved = true

Priority Sources

GitHub Student Pack (official partner list)
AWS / Azure / GCP student pages
Major IDE vendors (JetBrains, VS Code extensions)
Design tools (Figma, Canva, Framer, Sketch)
Productivity tools (Notion, Linear, Raycast, etc.)

Notes

This reduces manual admin work for keeping directory fresh
Complements community submissions (Phase 4)
Can run more frequently than link-health cron

Ngôn ngữ chính: TypeScript
Star: 1
Fork: 6
Merge trung bình: 1 ngày 41 phút
Pull request đã merge (30 ngày): 28

Chuẩn bị môi trường

Không có Dockerfile hay tệp Docker Compose
Có mẫu pull request
Đọc hướng dẫn đóng góp

Bắt đầu từ đâu

Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
Fork repository và làm thay đổi trên một nhánh.
Mở pull request có tham chiếu số hiệu của issue.

Issue khác của Your-Voldemort/StudentStack

Feature (Phase 3): Accountless localStorage eligibility profile ('Only what I'm eligible for' toggle) + auth sync & per-user ICS
Có thể đã có người làm @Aryan-Techie đã nhận 1 ngày trước. Đang mở
- Có gì không ổn?
enhancement

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 25/100

Your-Voldemort/StudentStack#84 · 1 bình luận · Mở ngày 14/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Feature (Phase 2): Implement named ingestion sources (RSS feeds, GitHub markdown/YAML lists, Apify actors) & deadline expiry rules
Có thể đã có người làm @Aryan-Techie đã nhận 1 ngày trước. Đang mở
- Có gì không ổn?
enhancement

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 18/100

Your-Voldemort/StudentStack#83 · 1 bình luận · Mở ngày 14/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Feature (Phase 4): Expand public API (/api/resources filters & /api/resources/[slug]), add API & Agents page + llms.txt, and community freshness/credits
Có thể đã có người làm @Aryan-Techie đã nhận 1 ngày trước. Đang mở
- Có gì không ổn?
enhancement

Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 12/100

Your-Voldemort/StudentStack#82 · 2 bình luận · Mở ngày 14/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Content/Data (Phase 1): Import student_resources.json (tensorboy 91 net-new rows), curate 40+ flagship deadlines, and seed mentorship programs
Có thể đã có người làm @Aryan-Techie đã nhận hôm nay. Đang mở
- Có gì không ổn?
enhancement

Độ khó 4/5 Hơn một tuần Mức phù hợp với người mới 22/100

Your-Voldemort/StudentStack#79 · 1 bình luận · Mở ngày 14/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
Feature (Phase 1): Extend resources schema for opportunities (kind, opensAt, recurrence, amount, provider, eligibility)
Có thể đã có người làm @Aryan-Techie đã nhận 1 ngày trước. Đang mở
- Có gì không ổn?
enhancement

Độ khó 4/5 3-5 ngày Mức phù hợp với người mới 35/100

Your-Voldemort/StudentStack#78 · 4 bình luận · Mở ngày 14/10/2026

Maintainer thường phản hồi trong vòng 1 ngày

Tất cả issue của Your-Voldemort/StudentStack

Issue tương tự

Le glossaire donne au 手卷 une entrée à lui
Đang mở
- Có gì không ổn?
ready-for-agent

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 68/100

xavxyz/bei-shan-lin-shui#57 · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[BUG] rag: sentence content can cross the reported sentence boundaries
Có thể đã có người làm @LJK-ikun đã nhận hôm nay. Đang mở
- Có gì không ổn?
bug

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 75/100

VoltAgent/voltagent#1469 · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
[Bug]: preview_evaluate accepts returnByValue:false but returns no usable object reference
Đang mở
- Có gì không ổn?
bug needs-triage

Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 70/100

pingdotgg/t3code#22946 · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
README: the Resource URI Schemas example's file://documents/* pattern only matches that literal URI
Đang mở
- Có gì không ổn?
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 88/100

platformatic/mcp#361 · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày
最近文档这个弹窗，左右宽度没有最小宽度限制
Đang mở
- Có gì không ổn?
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 65/100

siyuan-note/siyuan#20799 · 7 bình luận · Mở ngày 21/10/2026

Maintainer thường phản hồi trong vòng 1 ngày

Thêm issue về TypeScript

Phase 4: Resource ingestion pipeline for automated content discovery

Có gì không ổn?

Đánh giá

Hướng nghiên cứu

Mô tả

Description

Current State (from codebase exploration)

What's Needed to Complete

Files to Enhance

Ingestion Flow

Priority Sources

Notes

Chuẩn bị môi trường

Bắt đầu từ đâu

Issue khác của Your-Voldemort/StudentStack

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Issue tương tự

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Có gì không ổn?

Nhận issue mới trong hộp thư của bạn