neulab/prompt2model

tiktoken usage

Open

#341 ouverte le 8 sept. 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Python (137 forks)batch import
good first issue

Métriques du dépôt

Stars
 (1 663 stars)
Métriques de merge PR
 (Aucune PR mergée en 30 j)

Description

https://github.com/neulab/prompt2model/pull/335#issuecomment-1711578817

Another thing is that I am not sure that all the API-based models use tiktoken to compute input tokens. Thus, the num of input tokens may slightly differ between these models. But that's minimal.

Guide contributeur

Direction de recherche
Enquetez sur la façon dont tiktoken est utilisé dans la base de code pour calculer les jetons d'entrée pour les modèles basés sur l'API et déterminez s'il existe des incohérences entre les différents fournisseurs de modèles.
Stack technique
python
Domaine
api
Type d'issue
Recherche
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
2
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Moins d'une heure
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Plutôt claire
Prérequis
python
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50