Hacktoberfest 2026:メンテナが10月に向けて印を付けた、オープンで初心者向けの issue。 Hacktoberfest の issue を見る

Problem resolving some symbols when using the library in an Android C++ project (I am compiling using ndk)

オープン
#31 コメント 3 件 リアクション 0 件 担当者 0 名 GitHub で見る

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
35/100
issue の種類
バグ
明瞭さ
おおむね明確
活発さ
停滞
技術スタック
android, cpp

調査の方向性

Android の例とライブラリのリンク設定から始め、次に src/sentencepiece_tokenizer.cc、tokenizers_cpp.h、生成された静的 .a ファイルを調べます。NDK のリンクコマンドを再現し、どの SentencePiece シンボルが利用可能でリンクされているかを比較します。Android C++ 例が正常にリンクされ、報告された未定義シンボルエラーなしで実行できれば完了です。

索引モデルが issue の本文から書いたものです。

説明

I was able to successfully compile the library but when I use it as indicated in the example folder I am having the following errors:

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::SentencePieceProcessor()

referenced by sentencepiece_tokenizer.cc:18 (src/sentencepiece_tokenizer.cc:18)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::SentencePieceTokenizer(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::LoadFromSerializedProto(std::__ndk1::basic_string_view<char, std::__ndk1::char_traits >)

referenced by sentencepiece_tokenizer.cc:19 (src/sentencepiece_tokenizer.cc:19)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::SentencePieceTokenizer(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::util::Status::~Status()

referenced by sentencepiece_tokenizer.cc:19 (src/sentencepiece_tokenizer.cc:19)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::SentencePieceTokenizer(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a
referenced by sentencepiece_tokenizer.cc:24 (src/sentencepiece_tokenizer.cc:24)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::Encode(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a
referenced by sentencepiece_tokenizer.cc:24 (src/sentencepiece_tokenizer.cc:24)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::Encode(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a
referenced 2 more times

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::~SentencePieceProcessor()

referenced by sentencepiece_tokenizer.cc:20 (src/sentencepiece_tokenizer.cc:20)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::SentencePieceTokenizer(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a
referenced by sentencepiece_tokenizer.cc:16 (src/sentencepiece_tokenizer.cc:16)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::~SentencePieceTokenizer()) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::Encode(std::__ndk1::basic_string_view<char, std::__ndk1::char_traits >, std::__ndk1::vector<int, std::__ndk1::allocator >*) const

referenced by sentencepiece_tokenizer.cc:24 (src/sentencepiece_tokenizer.cc:24)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::Encode(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::util::Status::IgnoreError()

referenced by sentencepiece_tokenizer.cc:24 (src/sentencepiece_tokenizer.cc:24)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::Encode(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a
referenced by sentencepiece_tokenizer.cc:30 (src/sentencepiece_tokenizer.cc:30)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::Decode(std::__ndk1::vector<int, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::Decode(std::__ndk1::vector<int, std::__ndk1::allocator > const&, std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator >*) const

referenced by sentencepiece_tokenizer.cc:30 (src/sentencepiece_tokenizer.cc:30)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::Decode(std::__ndk1::vector<int, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::GetPieceSize() const

referenced by sentencepiece_tokenizer.cc:35 (src/sentencepiece_tokenizer.cc:35)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::GetVocabSize()) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::IdToPiece(int) const

referenced by sentencepiece_tokenizer.cc:40 (src/sentencepiece_tokenizer.cc:40)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::IdToToken(int)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a

ld: error: undefined symbol: sentencepiece::SentencePieceProcessor::PieceToId(std::__ndk1::basic_string_view<char, std::__ndk1::char_traits >) const

referenced by sentencepiece_tokenizer.cc:42 (src/sentencepiece_tokenizer.cc:42)
sentencepiece_tokenizer.cc.o:(tokenizers::SentencePieceTokenizer::TokenToId(std::__ndk1::basic_string<char, std::__ndk1::char_traits, std::__ndk1::allocator > const&)) in archive ./src/tokenizers-cpp/libtokenizers_cpp.a
clang++: error: linker command failed with exit code 1 (use -v to see invocation)

When I check inside the library the symbols are properly defined.

In my code I am just doing the same as in the example folder, so I am not invoking directly the symbols that are not recognized. The ones that I am using (FromBlobSentencePiece, for example) are correctly identified. What could be the error?

One things which is curious for me is: why the compiler of my program is complaining about the src/sentencepiece_tokenizer.cc file if I am just using the static library (the .a file) through the tokenizers_cpp.h file provided by the library?

主要言語
C++
スター
514
フォーク
132
PR マージ指標
30日以内にマージされた PR はありません

環境構築

このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

mlc-ai/tokenizers-cpp のほかの issue

mlc-ai/tokenizers-cpp の issue をすべて見る

似ている issue

C++ の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。