Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[bot] Vercel AI SDK `experimental_generateSpeech` and `experimental_transcribe` not instrumented

Đang mở
  • Có gì không ổn?
#1,900 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
55/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
typescript
Lĩnh vực
observability

Hướng nghiên cứu

Bắt đầu với các mục AI SDK hiện có trong js/src/auto-instrumentations/configs/ai-sdk.ts và các định nghĩa kênh trong js/src/instrumentation/plugins/ai-sdk-channels.ts, sau đó lần theo các handler của chúng trong ai-sdk-plugin.ts và các type trong ai-sdk-common.ts. So sánh wrapper trong js/src/wrappers/ai-sdk/ai-sdk.ts với các kịch bản e2e hiện có. Hoàn tất nghĩa là cả hai hàm experimental đều tạo ra các span Braintrust thông qua các đường đi của plugin và wrapper, với coverage cho hành vi mới.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

stale

Summary

The Vercel AI SDK (ai package) exports experimental_generateSpeech (text-to-speech) and experimental_transcribe (speech-to-text) as core functions. Neither the wrapper (wrapAISDK) nor the auto-instrumentation plugin instruments them. Calls to these functions produce no Braintrust spans.

Every other AI SDK core execution function — generateText, streamText, generateObject, streamObject, embed, embedMany, rerank, and the Agent class methods — is fully instrumented, making these the only uninstrumented generative execution functions in the AI SDK plugin.

What instrumentation is missing

  • Auto-instrumentation config (js/src/auto-instrumentations/configs/ai-sdk.ts): No config entries for experimental_generateSpeech or experimental_transcribe. Configs exist for 13 other AI SDK functions.
  • Channels (js/src/instrumentation/plugins/ai-sdk-channels.ts): No channel definitions for speech generation or transcription. 14 channels are defined for other functions.
  • Plugin (js/src/instrumentation/plugins/ai-sdk-plugin.ts): No handler for speech or transcription calls.
  • Vendor types (js/src/vendor-sdk-types/ai-sdk-common.ts): AISDKNamespaceBase does not include experimental_generateSpeech or experimental_transcribe.

A grep for generateSpeech or transcribe across js/src/ returns zero matches.

Upstream reference

Both functions are documented core exports of the ai package (v6+):

Function Description Reference
experimental_generateSpeech Converts text to speech audio using a SpeechModelV3. Accepts model, text, voice, outputFormat, instructions, speed, language. Returns generated audio as base64/Uint8Array with media type. https://ai-sdk.dev/docs/reference/ai-sdk-core/generate-speech
experimental_transcribe Generates a text transcript from audio input using a TranscriptionModelV3. Accepts model, audio (string/Uint8Array/ArrayBuffer/URL). Returns transcript text, segments with timing, detected language, and duration. https://ai-sdk.dev/docs/reference/ai-sdk-core/transcribe

Both are imported from 'ai' (the same package instrumented by this repo) and are available in AI SDK v6, which is already instrumented for other functions (ToolLoopAgent.generate, ToolLoopAgent.stream).

Note: Both carry the experimental_ prefix, indicating the API surface may evolve. However, they are documented, functional, and available in the same SDK version that this repo already instruments for other v6-only features.

Braintrust docs status

not_found — The Braintrust AI SDK integration docs do not enumerate specific supported functions. generateSpeech and transcribe are not mentioned.

Precedent in this repo

  • AI SDK generateImage is tracked as a separate gap in #1626.
  • OpenAI audio APIs (audio.speech.create, audio.transcriptions.create) are tracked in #1629.
  • Mistral audio APIs are tracked in #1749.
  • Groq audio APIs are tracked in #1864.
  • The AI SDK plugin already instruments 13 other core functions across text generation, structured output, embeddings, reranking, and agent execution — speech/transcription is the remaining uninstrumented modality.

Local files inspected

  • js/src/auto-instrumentations/configs/ai-sdk.ts — no speech/transcribe configs
  • js/src/instrumentation/plugins/ai-sdk-channels.ts — no speech/transcribe channels
  • js/src/instrumentation/plugins/ai-sdk-plugin.ts — no speech/transcribe handlers
  • js/src/vendor-sdk-types/ai-sdk-common.ts — no speech/transcribe types
  • js/src/wrappers/ai-sdk/ai-sdk.ts — no speech/transcribe wrapping
  • e2e/scenarios/ai-sdk-instrumentation/ — no speech/transcribe test scenarios
Ngôn ngữ chính
TypeScript
Star
28
Fork
14
Merge trung bình
2 ngày 18 giờ
Pull request đã merge (30 ngày)
65

Chuẩn bị môi trường

  • Có Dockerfile hoặc tệp Docker Compose
  • Không có mẫu pull request
  • Không có hướng dẫn đóng góp

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của braintrustdata/braintrust-sdk-javascript

Tất cả issue của braintrustdata/braintrust-sdk-javascript

Issue tương tự

Thêm issue về TypeScript

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.