[BOT ISSUE] llm.rb gem not instrumented
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 35/100
- Issue 类型
- 功能
- 描述清晰度
- 基本清楚
- 活跃度
- 冷清
- 技术栈
- ruby
调研方向
先从 lib/braintrust/contrib.rb 以及现有的 OpenAI、RubyOpenAI、RubyLLM 和 Anthropic 集成开始，然后检查 llm.rb 的 chat、completion、tool-calling、embedding 和 agent API。检查 Appraisals 和 braintrust.gemspec 中的集成设置；完成意味着 llm.rb 的执行面具有专用的 instrumentation，并覆盖所列的元数据和 provider 行为。
由索引模型根据 Issue 内容生成。
描述
Summary
The llm.rb gem (RubyGems: llm.rb) is an actively maintained Ruby toolkit for building LLM-powered systems that is not instrumented by this SDK. It is a distinct library from ruby_llm (crmne/ruby_llm), which is already instrumented.
llm.rb has 69K+ downloads, reached v4.11.0 (April 2026), and provides execution-oriented API surfaces across 8 providers.
What is missing
No instrumentation exists for any llm.rb execution surface. Key APIs that should be instrumented:
Chat / Completions
LLM::Context#chat— stateful chat with conversation history- Streaming responses via structured callbacks
- Stateless completions
Tool Calling
- Automatic tool orchestration across providers
- Concurrent tool execution (threads, fibers, async)
- Tool execution during streaming
Embeddings
LLM::Provider#embed— vector embeddings generation
Agents
- Reusable, preconfigured assistants with tool auto-execution
Supported Providers
OpenAI, Anthropic, Google, DeepSeek, xAI, zAI, Ollama, LlamaCpp
Braintrust docs status
not_found — No mention of llm.rb or llmrb anywhere in Braintrust documentation at https://www.braintrust.dev/docs. The Braintrust SDK integrations page at https://www.braintrust.dev/docs/integrations/sdk-integrations lists "Ruby LLM" (which refers to the ruby_llm gem, a different library).
Upstream sources
- GitHub: https://github.com/llmrb/llm.rb
- RubyGems: https://rubygems.org/gems/llm.rb (69K+ downloads, v4.11.0, April 2026)
- Documentation: https://github.com/llmrb/llm.rb#readme
Local repo files inspected
lib/braintrust/contrib.rb(lines 195–205) — registers only 4 integrations: OpenAI, RubyOpenAI, RubyLLM, Anthropic. Nollm.rbintegration.lib/braintrust/contrib/— no directory or files forllm_rborllmrbAppraisals— no appraisal scenarios forllm.rbbraintrust.gemspec— no mention ofllm.rb
Notes
llm.rb has built-in OpenTelemetry support, so users can get basic tracing via Braintrust's OTEL integration. However, dedicated instrumentation would capture richer provider-specific metadata (model parameters, token usage breakdowns, tool execution details, cost tracking) consistent with how the SDK instruments ruby_llm, openai, and anthropic today.
- 主要语言
- Ruby
- 星标
- 9
- 派生
- 10
- 平均合并
- 22 小时 10 分钟
- 30 天内合并 PR
- 6
环境准备
- 提供 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
braintrustdata/braintrust-sdk-ruby 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 78/100
-
难度 2/5 1-3 小时 新手友好度 76/100
-
难度 2/5 1-3 小时 新手友好度 72/100
-
ruby
难度 4/5 3-5 天 新手友好度 48/100
-
ruby
难度 4/5 3-5 天 新手友好度 48/100
查看 braintrustdata/braintrust-sdk-ruby 的全部 Issue
相似的 Issue
-
security
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
ds-drift
难度 1/5 1 小时以内 新手友好度 88/100
we-promise/sure#3934 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
维护者通常 7 天内回复
-
难度 2/5 1-3 小时 新手友好度 78/100
simp/pupmod-simp-ssh#246 ·