PDF text increases prompt usage but not count_tokens on gemini-4-hydrogen

オープン
#3,379 コメント 0 件 リアクション 0 件 担当者 0 名 GitHub で見る

メンテナーはふだん 1 日以内に返信

まだ誰も着手していません。

評価

難易度
4/5
見積もり時間
3〜5日
初心者へのやさしさ
42/100
issue の種類
バグ
明瞭さ
明確に書かれている
活発さ
活発
技術スタック
google-cloud, python

調査の方向性

Start with the attached pdf_token_repro.py reproduction and compare the SDK's count_tokens request and response with generate_content usage for the two PDF inputs. The report does not isolate whether the discrepancy comes from the SDK or Gemini backend, so first check whether raw REST reproduces it and review the earlier linked report. Done means identifying the responsible layer and documenting or fixing how PDF text is accounted for.

索引モデルが issue の本文から書いたものです。

説明

Description

Adding embedded text to a 10-page PDF substantially increases gemini-4-hydrogen's reported input usage, but its count_tokens estimate is unchanged. The comparison below uses a blank PDF with the same page count and dimensions as a control.

Observed through google-genai; I have not isolated whether the cause is in the SDK or backend, or tested raw REST. Please redirect me if another tracker is more appropriate.

Environment details
  • Python 3.12.13
  • macOS 26.5.2 (arm64)
  • google-genai==3.3.0, Gemini Developer API
  • thinking_level=LOW; no system instruction, tools, or response schema
Steps to reproduce
  1. Extract the attached pdf-token-repro.zip.
  2. Set GEMINI_API_KEY, then run:
pip install google-genai==3.3.0
python pdf_token_repro.py --pages 10

The script generates both synthetic PDFs and calls count_tokens and generate_content with identical contents for each model. No real documents or sensitive data are included.

Actual result

One run on 2026-11-16:

PDF Model count_tokens prompt_token_count TEXT
text.pdf gemini-3.8-flash 5,609 5,329 9
text.pdf gemini-4-hydrogen 5,638 14,642 9,322
blank.pdf gemini-3.8-flash 5,609 5,329 9
blank.pdf gemini-4-hydrogen 5,638 5,704 384

All four requests report 5,320 IMAGE tokens. On Hydrogen, adding PDF text increases reported usage by 8,938 TEXT tokens without changing the estimate.

Expected behavior

count_tokens should account for PDF text included in prompt usage, or document the difference and provide a supported way to estimate input usage before generation.

Earlier report with additional Gemini API and Vertex AI observations.

主要言語
Python
スター
4.1k
フォーク
1.1k
平均マージ
2日 15時間
マージ済み PR(30日)
97

環境構築

はじめの一歩

  1. issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
  2. 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
  3. リポジトリをフォークし、ブランチを切って変更します。
  4. issue 番号を参照したプルリクエストを送ります。

googleapis/python-genai のほかの issue

googleapis/python-genai の issue をすべて見る

似ている issue

Python の issue をもっと見る

新しい issue をメールで受け取る

初心者向けの GitHub issue を短くまとめたダイジェスト。