Investigate image support with Transformers
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 25/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Ferma
- Stack tecnologico
- python
- Ambito
- ai, machine-learning
Direzione di ricerca
Inizia esaminando il componente HuggingFaceLocalChatGenerator e i requisiti dei modelli Transformers Image-Text-to-Text. Confronta l’estensione del componente attuale con lo sviluppo di un componente dedicato, considerando le alternative indicate Ollama e vLLM. Il lavoro è completato quando sono stati definiti l’ambito supportato e la direzione di implementazione consigliata.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
We would like to use some models via Transformers that support multimodal user messages.
- We want to support (some) Image-Text-to-Text models
- The current component (
HuggingFaceLocalChatGenerator) might not easy/practical to extend, and it might make sense to develop a dedicated component - I would not give this investigation high-priority: for multimodal open models, it's better to first focus on Ollama that provides more standardization and does not require GPU; I would also expect users who have GPU to run vLLM (currently in Haystack it can be done via OpenAI with some limitations)
- Lingua principale
- Python
- Stelle
- 26.8k
- Fork
- 3.3k
- Merge medio
- 1g 4h
- PR unite (30g)
- 244
Preparare l'ambiente
- Nessun Dockerfile né file Docker Compose
- Ha un modello di pull request
- Leggi la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di deepset-ai/haystack
-
CSVToDocument accepts an unsupported conversion_mode and silently converts in row modeForse già presa @Lesereingrape l’ha presa 27 giorni fa. ApertaP3
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
deepset-ai/haystack#13070 ·
I maintainer di solito rispondono entro 1 giorno
-
PPTXToDocument drops soft line breaks when link_format is markdown or plainForse già presa @bogdankostic l’ha presa 17 giorni fa. ApertaP3
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
deepset-ai/haystack#13043 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
InMemoryDocumentStore: count_unique_metadata_by_filter and get_metadata_field_unique_values disagree on int/float/bool valuesForse già presa @julian-risch l’ha presa 27 giorni fa. ApertaP3
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
deepset-ai/haystack#13040 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
AutoMergingRetriever raises ValueError when a matched document has no parent (for example the root document)Forse già presa @julian-risch l’ha presa 28 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
deepset-ai/haystack#13029 · 2 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
CSVToDocument row mode fails on CR-separated CSV inputForse già presa @julian-risch l’ha presa 27 giorni fa. ApertaP3
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
deepset-ai/haystack#13022 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di deepset-ai/haystack
Issue simili
-
Context/namespace resources fail in-cluster: "Invalid kube-config file. No configuration found."Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
-
bug documentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
awslabs/visual-asset-management-system#880 ·
I maintainer di solito rispondono entro 1 giorno
-
netbox status: needs owner type: documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 74/100
netbox-community/netbox#23533 ·
I maintainer di solito rispondono entro 1 giorno
-
app: scripts status: backlog type: documentation
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
netbox-community/netbox-scripts#68 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 91/100
marin-community/marin#10765 ·
I maintainer di solito rispondono entro 1 giorno