yoshuawuyts/components

[component] chunker — Text → chunks for retrieval

Open

#7 aperta il 1 mag 2026

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Rust (1 fork)github user discovery
good first issue

Metriche repository

Star
 (1 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Goal

Component to split Markdown/semantic text into offset chunks for chunked retrieval (RAG). Might use headings/paragraphs as boundaries or basic token counts with overlaps.

Scope/Features

  • Input: string
  • Output: structured array of chunks (text, offset/indices)
  • Configurable: chunk size, overlap, min paragraph, etc.

Rough WIT shape

  • split(input: string, params: chunk_params) -> list<chunk>
  • Chunk struct: {text, start, end, ...}

Labels

  • good first issue

Guida contributor

Direzione di ricerca
Studia le definizioni WIT esistenti e le implementazioni dei componenti nel repository. Comprendi i requisiti dello chunker: dimensione del chunk configurabile, sovrapposizione e gestione dei confini Markdown. Implementa la funzione di split in Rust, testala e assicurati che si adatti al modello del componente. Documenta i parametri e il formato di output.
Tech stack
rustwasm
Dominio
backendai
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Git
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
85