Llava15ChatHandler - Cache Image Encoding

Aberta
#2,222 0 comentários 0 reações 0 responsáveis Ver no GitHub

Mantenedores costumam responder em até 1 dia

Ninguém assumiu esta issue ainda.

Avaliação

Dificuldade
3/5
Tempo estimado
1-2 dias
Facilidade para iniciantes
45/100
Tipo de issue
Funcionalidade
Clareza
Razoavelmente clara
Status de atividade
Estagnada
Stack de tecnologia
python
Domínio
performance

Direção de pesquisa

Examine o código-fonte de Llava15ChatHandler para entender como a codificação de imagens é realizada atualmente a cada turno. O objetivo é armazenar em cache o resultado codificado. Comece examinando o fluxo de processamento de imagens e identificando onde armazenar e reutilizar o cache. Verifique se já existem mecanismos de cache na base de código. Uma implementação bem-sucedida evitará recodificar imagens em conversas com vários turnos, melhorando a velocidade de inferência, especialmente na CPU.

Escrita pelo modelo de indexação a partir do texto da issue.

Descrição

Is your feature request related to a problem? Please describe.
In multi-turn conversations that include images, the image encoding is performed on each turn. This slows down inference considerably, especially when running with pure CPU.

Describe the solution you'd like
Once an image has been encoded, the result can be reused, rather than re-encoding every turn.

Describe alternatives you've considered
Storing a detailed description of the image in the conversation history, and popping out the image_url part. This is not as flexible however, if wanting to query about something specfic later on that wasn't captured in the saved description.

Additional context
I have implemented a solution locally editing the source code (with some heavy AI assistance, as I am not an expert on low level LLM coding) and seem to have this feature working, by storing chunk signatures instead of immediately processing and manipulating the kv_cache_seq_rm, but not really sure if its a safe/sustainable approach.

I could share the source code or raise a draft PR if it'd be useful.

Thanks!

Linguagem predominante
Python
Estrelas
10.7k
Forks
1.5k
Merge médio
1h 40min
PRs com merge (30d)
5

Preparar o ambiente

Primeiros passos

  1. Leia a issue inteira e depois o guia de contribuição do projeto.
  2. Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
  3. Faça um fork do repositório e trabalhe em uma branch.
  4. Abra um pull request que referencie o número da issue.

Mais de abetlen/llama-cpp-python

Todas as issues de abetlen/llama-cpp-python

Issues semelhantes

Mais issues de Python

Receba novas issues na sua caixa de entrada

Um resumo curto de issues do GitHub para quem está começando.