Minio + Unstructured + Weaviate
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 20/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Ambito
- data-engineering, databases
Direzione di ricerca
Non sono indicati file, test o punti di ingresso. Inizia controllando la documentazione esistente sull’input dell’API e sull’ingestion per le origini compatibili con S3, i trigger di streaming e l’output di Weaviate; per considerare il lavoro completato, sarebbe necessario definire un’integrazione circoscritta oppure fornire una risposta documentata sulle funzionalità supportate.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Hey everyone,
I have 2 questions:
Is it possible to establish a connection directly between my self-hosted unstructured API and S3 via a connector ? The goal would be to request the API with s3 url instead of local file, which will allow the API to access my s3 data provider.
Also I need something else but is it possible to set up a streaming unstructured ETL? For example when I add new data in S3 then unstructured process it immediately and could ingest data in an another database (weaviate in my case)
I have one weaviate container, an unstructured-api container running and my minio container that is S3 compatible.
Thank you for your help !
- Lingua principale
- Python
- Stelle
- 953
- Fork
- 192
- Merge medio
- 1g 1h
- PR unite (30g)
- 5
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di Unstructured-IO/unstructured-api
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 45/100
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 39/100
-
Dependency DashboardAperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 15/100
Tutte le issue di Unstructured-IO/unstructured-api
Issue simili
-
good first issue priority: low size: XS testing
Difficoltà 1/5 1-3 ore Idoneità per principianti 86/100
cubrid-lab/cubrid-mcp-server#385 ·
I maintainer di solito rispondono entro 1 giorno
-
good first issue priority: low size: S testing
Difficoltà 2/5 1-3 ore Idoneità per principianti 85/100
cubrid-lab/cubrid-cookbook-python#447 ·
I maintainer di solito rispondono entro 1 giorno
-
Python PointcloudAperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 62/100
ArduCAM/Arducam_tof_camera#125 ·
-
area:curator enhancement
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
CassioDalla/Scrinalia#150 ·
I maintainer di solito rispondono entro 1 giorno
-
documentation good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100