arc53/DocsGPT

🚀 Feature Extract and process images from source uploads

Open

#1451 aperta il 23 nov 2024

Vedi su GitHub
 (8 commenti) (3 reazioni) (3 assegnatari)Python (1359 fork)batch import
applicationbackendenhancementhacktoberfesthelp wantedpython

Metriche repository

Star
 (13.691 star)
Metriche merge PR
 (Merge medio 8g 11h) (35 PR mergiate in 30 g)

Descrizione

🔖 Feature description

@dartpain Basically allow our AI's to eat images. good place to start is just open ai llms, even docsgpt free service should work

🎤 Why is this feature needed ?

Accept image and encoded base64

  • Maybe user wants to send a message with an image when chatting with AI

✌️ How do you aim to achieve this?

  • When a source has an image, for example there is a link (publicly accessible) in markdown file that was ingested, we can pass it to llm inside classic rag retriever when its generating an answer.

🔄️ Additional Information

No response

👀 Have you spent some time to check if this feature request has been raised before?

  • I checked and didn't find similar issue

Are you willing to submit PR?

Yes I am willing to submit a PR!

Guida contributor

Direzione di ricerca
Investiga come catturare le immagini dagli upload delle sorgenti (ad esempio, link Markdown) e codificarle in base64 prima di passarli al LLM nel recuperatore RAG.
Tech stack
python
Dominio
backendfull stack
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
PythonBasic understanding of LLMs and RAG
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
70