neulab/prompt2model

tiktoken usage

Open

#341 aperta il 8 set 2023

Vedi su GitHub
 (2 commenti) (0 reazioni) (0 assegnatari)Python (137 fork)batch import
good first issue

Metriche repository

Star
 (1663 star)
Metriche merge PR
 (Nessuna PR mergiata in 30 g)

Descrizione

https://github.com/neulab/prompt2model/pull/335#issuecomment-1711578817

Another thing is that I am not sure that all the API-based models use tiktoken to compute input tokens. Thus, the num of input tokens may slightly differ between these models. But that's minimal.

Guida contributor

Direzione di ricerca
Indagare come viene utilizzato tiktoken nel codebase per calcolare i token di input per i modelli basati su API e determinare se ci sono incongruenze tra i diversi provider di modelli.
Tech stack
python
Dominio
api
Tipo issue
Ricerca
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Abbastanza chiara
Prerequisiti
python
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
50