Capture descriptions: support any OpenAI-compatible vision endpoint
メンテナーはふだん 1 日以内に返信
評価
- 難易度
- 4/5
- 見積もり時間
- 3〜5日
- 初心者へのやさしさ
- 30/100
- issue の種類
- 機能追加
- 明瞭さ
- 明確に書かれている
- 活発さ
- 活発
- 技術スタック
- typescript
調査の方向性
Start in packages/cli/src/capture/contentExtractor.ts, focusing on captionImagesWithGemini and the existing OpenRouter request branch. Trace postExtractionPhase to understand credential detection and degraded reporting. Done means custom endpoint credentials are handled as specified, OpenRouter behavior remains unchanged, and the no-credentials guidance mentions the custom endpoint.
索引モデルが issue の本文から書いたものです。
説明
Problem
hyperframes capture describes downloaded images only through OpenRouter, Vertex or the Gemini API (captionImagesWithGemini in packages/cli/src/capture/contentExtractor.ts). None of them is reliably reachable from mainland China, and none can point at a self-hosted vision model. Users in that position get the catalog-fallback asset-descriptions.md on every capture, even when they already pay for an OpenAI-compatible vision endpoint or run one locally.
Proposed solution
Bring back the three variables from #1809 on current main: HYPERFRAMES_VISION_BASE_URL, HYPERFRAMES_VISION_API_KEY and HYPERFRAMES_VISION_MODEL.
- All three set: caption through
<base>/chat/completionswith the OpenAI-style request the OpenRouter branch already sends, ahead of OpenRouter, Vertex and Gemini. - Some but not all set: warn naming the missing variables (never echoing values), skip captioning, and report the phase as degraded. Never fall back to another provider.
- OpenRouter shares the same request helper and keeps its URL, auth header and error text unchanged.
postExtractionPhasecounts a complete custom endpoint as vision credentials, and the no-credentials hint mentions it.
I have this ready and will open a PR that links here.
Alternatives considered
A named preset per regional provider. Every one of them speaks the same chat-completions wire format, so a single base-URL setting covers them all and also covers local Ollama and vLLM.
Additional context
The #1809 review called the base-URL approach "the right shape" and asked for one fix: setting only some of the variables fell through silently and could caption through Gemini, the provider the user is trying to avoid. That PR was closed for merge conflicts and inactivity, before Vertex support (#3561) landed in the same function.
To check that the request shape works outside OpenRouter, I sent exactly what the OpenRouter branch builds today (one image_url data URI, the storyboard prompt, max_tokens: 500) to iFlytek Astron's Token Plan, an OpenAI-compatible endpoint (https://maas-token-api.cn-huabei-1.xf-yun.com/v2). The image was docs/images/image-thumbnail-evidence/after.png.
| Model | HTTP | finish | Caption |
|---|---|---|---|
xopkimik26 (Kimi-K2.6) |
200 | stop | A dark gray webpage displays white text reading "Timeline JPEG thumbnail resource check" with a horizontal strip of rainbow-colored vertical bars beneath it. |
xopqwen35397b (Qwen3.5-397B) |
200 | stop | A dark background displays a horizontal strip of repeating colorful vertical bars labeled "Synthetic JPEG chart" … |
xopqwen36v35b (Qwen3.6-35B) |
200 | stop | A dark-background interface displays a narrow, horizontally stretched bar of repeating rainbow-colored vertical stripes … |
spark-x2.5 (text-only) |
400 | invalid request |
None of the vision models spent the 500-token budget on reasoning. The text-only row is why the docs should say to choose a model that accepts image input.
- 主要言語
- TypeScript
- スター
- 54.1k
- フォーク
- 4.9k
- 平均マージ
- 7時間 2分
- マージ済み PR（30日）
- 782
環境構築
このプロジェクトには開発コンテナ、Dockerfile、コントリビューションガイドがありません。まず README を読み、一般的な手順ははじめてのコントリビューションガイドを参照してください。
はじめの一歩
- issue を最後まで読み、次にプロジェクトのコントリビューションガイドを読みます。
- 着手することを issue にコメントします — 二人が同じ作業をするのを防げます。
- リポジトリをフォークし、ブランチを切って変更します。
- issue 番号を参照したプルリクエストを送ります。
heygen-com/hyperframes のほかの issue
-
難易度 1/5 1時間未満 初心者へのやさしさ 84/100
heygen-com/hyperframes#5117 ·
メンテナーはふだん 1 日以内に返信
-
Docs: clarify that "Enable auto-update" is only available in the Claude Code terminal (CLI) /plugin UI対応中かも @rumi7911 が 1 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 85/100
heygen-com/hyperframes#5027 ·
メンテナーはふだん 1 日以内に返信
-
fix(producer): propagate useGpu to HDR layered streaming encoder対応中かも @Monster-GM が 3 日前に担当しました。 オープン
難易度 2/5 1〜3時間 初心者へのやさしさ 87/100
heygen-com/hyperframes#5002 ·
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
heygen-com/hyperframes#4702 · コメント 1 件 · リアクション 1 件 ·
メンテナーはふだん 1 日以内に返信
-
Studio catalog prompt editor has no accessible name対応中かも @lorenzozanee が 13 日前に担当しました。 オープンbug difficulty/easy triage/ready
難易度 2/5 1〜3時間 初心者へのやさしさ 78/100
heygen-com/hyperframes#4384 ·
メンテナーはふだん 1 日以内に返信
heygen-com/hyperframes の issue をすべて見る
似ている issue
-
refactor
難易度 2/5 1〜3時間 初心者へのやさしさ 76/100
tomnewport/memprot-topo#55 ·
-
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
WalletConnect/walletconnect-monorepo#7368 · コメント 1 件 ·
メンテナーはふだん 1 日以内に返信
-
enhancement
難易度 2/5 1〜3時間 初心者へのやさしさ 72/100
BU-Spark/se-chem-apll#47 ·
-
embed: handleTurboSignMessage header comment says the signing page posts to '*' (it never does)オープンdocumentation
難易度 2/5 1時間未満 初心者へのやさしさ 82/100
メンテナーはふだん 1 日以内に返信
-
難易度 2/5 半日 初心者へのやさしさ 70/100
udistrital/paginaweb_root#23 ·