Request to Modify Code to Enable TEXT_SPLITTER_EMBEDDING_MODEL Customization through Configuration File
@sumitkbh ci sta già lavorando.
Dal 18/1/2024.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
I am looking to create a Chinese RAG demo service using RetrievalAugmentedGeneration.
However, I encountered an issue where the default SentenceTransformersTokenTextSplitter model used in the RetrievalAugmentedGeneration/common/utils.py file is hardcoded as 'intfloat/e5-large-v2'. This model generates a significant number of [UNK] tokens when processing Chinese text.
I would like the ability to specify a specific model for the text splitter, similar to how the embedding model can be specified through the config.yaml file.
Thank you for your assistance and support.
- Lingua principale
- Jupyter Notebook
- Stelle
- 4.2k
- Fork
- 1.1k
- Merge medio
- 10h 15m
- PR unite (30g)
- 1
Guida per i contributori
Apri la guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di NVIDIA/GenerativeAIExamples
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 70/100
NVIDIA/GenerativeAIExamples#361 · 2 commenti ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
NVIDIA/GenerativeAIExamples#299 ·
-
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
NVIDIA/GenerativeAIExamples#437 ·
-
hyperlink not working Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 45/100
NVIDIA/GenerativeAIExamples#400 ·
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 10/100
NVIDIA/GenerativeAIExamples#399 ·