Request to Modify Code to Enable TEXT_SPLITTER_EMBEDDING_MODEL Customization through Configuration File
@sumitkbh がすでに取り組んでいます。
2024年1月18日 から。
評価
この issue はまだ評価されていません。
説明
I am looking to create a Chinese RAG demo service using RetrievalAugmentedGeneration.
However, I encountered an issue where the default SentenceTransformersTokenTextSplitter model used in the RetrievalAugmentedGeneration/common/utils.py file is hardcoded as 'intfloat/e5-large-v2'. This model generates a significant number of [UNK] tokens when processing Chinese text.
I would like the ability to specify a specific model for the text splitter, similar to how the embedding model can be specified through the config.yaml file.
Thank you for your assistance and support.
- 主要言語
- Jupyter Notebook
- スター
- 4.2k
- フォーク
- 1.1k
- 平均マージ
- 10時間 15分
- マージ済み PR（30日）
- 1
コントリビューションガイド
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
NVIDIA/GenerativeAIExamples のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 70/100
NVIDIA/GenerativeAIExamples#361 · コメント 2 件 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
NVIDIA/GenerativeAIExamples#299 ·
-
難易度 3/5 1〜2日 初心者へのやさしさ 35/100
NVIDIA/GenerativeAIExamples#437 ·
-
難易度 1/5 1時間未満 初心者へのやさしさ 45/100
NVIDIA/GenerativeAIExamples#400 ·
-
難易度 5/5 1週間以上 初心者へのやさしさ 10/100
NVIDIA/GenerativeAIExamples#399 ·