jxnl/instructor-classify

Add cross-provider cost tracking support

Aberta

#2 aberto em 19 de abr. de 2025

Ver no GitHubGuia do colaborador
 (0 comentário) (0 reação) (0 responsável)Python (4 forks)auto 404
enhancementgood first issue

Métricas do repositório

Stars
 (37 estrelas)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Cost tracking currently only works for OpenAI and does not use the instructor usage tracking standard.

Description

Extend the cost tracking functionality to work with all providers supported by Instructor, not just OpenAI. This involves integrating with Instructor's standardized usage tracking system.

Tasks

  • Review Instructor's usage tracking standard implementation
  • Update cost analysis module to work with this standard format
  • Add provider-specific cost calculations for Anthropic, Google, etc.
  • Add tests for each provider's cost tracking
  • Update documentation to reflect cross-provider cost tracking

Expected Result

Users should be able to see accurate cost tracking regardless of which LLM provider they use. The evaluation framework should produce cost metrics for all supported providers.

Difficulty

Medium - requires understanding of Instructor's usage tracking system and multiple provider APIs

Guia do colaborador

Direção de pesquisa
Revise o padrão de rastreamento de uso do Instructor e implemente cálculos de custo para cada provedor.
Pilha de tecnologia
python
Domain
backend
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
2
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Recente
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Python
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40