google/generative-ai-docs

A Web UI to check for tokens and character count of palm api

Open

#171 aperta il 17 nov 2023

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Jupyter Notebook (746 fork)github user discovery
component:demosgood first issuestatus:triagedtype:feature request

Metriche repository

Star
 (2250 star)
Metriche merge PR
 (Metriche PR in attesa)

Descrizione

Description of the feature request:

A web ui where a user can come and input his text to check for tokens and character.

What problem are you trying to solve with this feature?

This would help the user to check his character count. In fine tuning a model in maker suite the output should be less than 5000 character. This way the user can open the webapp and past his output o check for characters.

Any other information you'd like to share?

https://platform.openai.com/tokenizer U can check this for reference. Something like this for palm api would be fantastic.

Guida contributor

Direzione di ricerca
Verifica se l'API PaLM fornisce un endpoint per il conteggio dei token. In caso contrario, studia come stimare i token per i modelli PaLM e crea una semplice interfaccia web che accetti input di testo e visualizzi il conteggio dei token e dei caratteri.
Tech stack
Nessuno
Dominio
web dev
Tipo issue
Funzionalità
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Datata
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
Web developmentHTML/CSS/JavaScript
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
40