Minio + Unstructured + Weaviate
Nadie ha tomado este issue todavía.
Evaluación
- Dificultad
- 5/5
- Tiempo estimado
- Más de una semana
- Aptitud para principiantes
- 20/100
- Tipo de issue
- Nueva funcionalidad
- Claridad
- Necesita aclaración
- Estado de actividad
- Estancado
- Área
- data-engineering, databases
Línea de trabajo
No se nombran archivos, pruebas ni puntos de entrada. Empieza por revisar la documentación existente sobre la entrada de la API y la ingesta para fuentes compatibles con S3, activadores de streaming y salida a Weaviate; para darlo por terminado, habría que decidir una integración acotada y definida, o proporcionar una respuesta documentada sobre las capacidades compatibles.
Escrito por el modelo de indexación a partir del texto del issue.
Descripción
Hey everyone,
I have 2 questions:
Is it possible to establish a connection directly between my self-hosted unstructured API and S3 via a connector ? The goal would be to request the API with s3 url instead of local file, which will allow the API to access my s3 data provider.
Also I need something else but is it possible to set up a streaming unstructured ETL? For example when I add new data in S3 then unstructured process it immediately and could ingest data in an another database (weaviate in my case)
I have one weaviate container, an unstructured-api container running and my minio container that is S3 compatible.
Thank you for your help !
- Lenguaje dominante
- Python
- Estrellas
- 953
- Forks
- 192
- Merge medio
- 1 d 1 h
- PR fusionados (30 d)
- 5
Preparar el entorno
- Incluye un Dockerfile o un archivo de Docker Compose
- Sin plantilla de pull request
- Leer la guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de Unstructured-IO/unstructured-api
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 35/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
-
Dificultad 4/5 3-5 días Aptitud para principiantes 39/100
-
Dependency DashboardAbierto
Dificultad 3/5 1-2 días Aptitud para principiantes 15/100
Todos los issues de Unstructured-IO/unstructured-api
Issues similares
-
[Resource]: LoreAbiertoresource-submission validation-passed
Dificultad 1/5 Menos de una hora Aptitud para principiantes 88/100
hesreallyhim/awesome-claude-code#3234 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
openminion/openminion#376 ·
Los mantenedores suelen responder en 1 día
-
Type: ☹︎ Bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
posit-dev/great-tables#1028 ·
Los mantenedores suelen responder en 1 día
-
integration: apple_tv
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
home-assistant/core#188282 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
A "since" range is worded as a career: "the past two seasons" says "regular season career (2025 on)"AbiertoP4: low
Dificultad 2/5 1-3 horas Aptitud para principiantes 65/100
jeffknupp/association#538 ·