arc53/DocsGPT

🚀 Feature Extract and process images from source uploads

Open

#1.451 aberto em 23 de nov. de 2024

Ver no GitHub
 (8 comments) (3 reactions) (3 assignees)Python (1.359 forks)batch import
applicationbackendenhancementhacktoberfesthelp wantedpython

Métricas do repositório

Stars
 (13.691 stars)
Métricas de merge de PR
 (Mesclagem média 8d 11h) (35 fundiu PRs em 30d)

Description

🔖 Feature description

@dartpain Basically allow our AI's to eat images. good place to start is just open ai llms, even docsgpt free service should work

🎤 Why is this feature needed ?

Accept image and encoded base64

  • Maybe user wants to send a message with an image when chatting with AI

✌️ How do you aim to achieve this?

  • When a source has an image, for example there is a link (publicly accessible) in markdown file that was ingested, we can pass it to llm inside classic rag retriever when its generating an answer.

🔄️ Additional Information

No response

👀 Have you spent some time to check if this feature request has been raised before?

  • I checked and didn't find similar issue

Are you willing to submit PR?

Yes I am willing to submit a PR!

Guia do colaborador

Direção de pesquisa
Investigue como capturar imagens de uploads de origem (por exemplo, links em Markdown) e codificá las em base64 antes de passá las para o LLM no recuperador RAG.
Pilha de tecnologia
python
Domain
backendfull stack
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Principalmente claro
Prerequisites
PythonBasic understanding of LLMs and RAG
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
70