apache/seatunnel

[Feature] Connector prepare for RAG

Open

#9713 aperta il 18 ago 2025

Vedi su GitHub
 (3 commenti) (4 reazioni) (0 assegnatari)Java (1432 fork)batch import
featuregood first issuehelp wantedllm

Metriche repository

Star
 (6897 star)
Metriche merge PR
 (Merge medio 13g 21h) (143 PR mergiate in 30 g)

Descrizione

Search before asking

  • I had searched in the feature and found no similar feature requirement.

Description

As a multimodal data integration tool, we hope that SeaTunnel can support parsing complex file types, converting their contents into structured file streams, and ultimately writing them into a vector library through embedding. This issue tracks related tasks.

For chunking please refer Please refer https://docs.dify.ai/en/guides/knowledge-base/create-knowledge-and-upload-documents/chunking-and-cleaning-text and https://docs.llamaindex.ai/en/stable/examples/node_parsers/semantic_chunking/

Usage Scenario

No response

Related issues

No response

Are you willing to submit a PR?

  • Yes I am willing to submit a PR!

Code of Conduct

Guida contributor

Direzione di ricerca
Rivedi l'architettura dei connettori SeaTunnel e i connettori di parsing di file esistenti. Comprendi i metodi di chunking dai riferimenti. Proponi un design per il connettore RAG.
Tech stack
java
Dominio
backend
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Oltre 1 settimana
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
GitJava
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
20