mmap=true
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 3/5
- Tempo stimato
- 1-2 giorni
- Idoneità per principianti
- 45/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Abbastanza chiara
- Stato di attività
- Ferma
- Ambito
- machine-learning
Direzione di ricerca
Inizia da ColPaliModel.from_index e segui il percorso di caricamento dell’indice, incluso il punto di ingresso _load_index_with_mmap e la relativa chiamata a torch.load. Verifica come viene selezionato map_location, soprattutto per Apple Silicon. Il lavoro è completato quando torch.load può usare mmap=True mantenendo il vincolo documentato sul caricamento su CPU.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
Need to be able to set mmap=true for torch.load() for us humble people without very good computers.
That is all.
For those that need a Fix now just make your own ColPaliModel
class CustomColPaliModel(ColPaliModel):
...
def from_index(
...
instance._load_index_with_mmap(index_path)
return instance
}
...
def _load_index_with_mmap(self, index_path: Path):
...
loaded_tensor = torch.load(file, map_location=map_location, mmap=True)
...
If you are using Apple Silicon do NOT use 'mps' when loading the index. Only 'cpu'. mmap does not work otherwise.
- Lingua principale
- Python
- Stelle
- 851
- Fork
- 91
- Metriche di merge delle PR
- Nessuna PR unita negli ultimi 30g
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di AnswerDotAI/byaldi
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 35/100
AnswerDotAI/byaldi#95 ·
-
How to Load Locally Downloaded Models (vidore/colqwen2-v1.0-hf or vidore/colqwen2-v1.0) in byaldi?Aperta
Difficoltà 4/5 3-5 giorni Idoneità per principianti 25/100
AnswerDotAI/byaldi#94 · 2 commenti ·
-
Difficoltà 4/5 3-5 giorni Idoneità per principianti 30/100
AnswerDotAI/byaldi#93 · 2 commenti ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
AnswerDotAI/byaldi#92 ·
-
VectorDB IntegrationAperta
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
AnswerDotAI/byaldi#91 ·
Tutte le issue di AnswerDotAI/byaldi
Issue simili
-
comp/tools P2 type/bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
NousResearch/hermes-agent#142908 · 1 commento ·
-
[oblt-aw][autodoc] Fix malformed headings in new Buildkite docs pagesForse già presa @github-actions l’ha presa oggi. Apertadocumentation
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 83/100
I maintainer di solito rispondono entro 1 giorno
-
[Bug]: fileUploadMatrix.test.ts URL case does a real DNS lookup and fails offlineForse già presa @r2jaff l’ha presa oggi. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
ComposioHQ/composio#5054 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 88/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
pytorch/tensordict#3286 ·
I maintainer di solito rispondono entro 1 giorno