google/generative-ai-docs

A Web UI to check for tokens and character count of palm api

Open

#171 aberto em 17 de nov. de 2023

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Jupyter Notebook (746 forks)github user discovery
component:demosgood first issuestatus:triagedtype:feature request

Métricas do repositório

Stars
 (2.250 stars)
Métricas de merge de PR
 (Métricas PR pendentes)

Description

Description of the feature request:

A web ui where a user can come and input his text to check for tokens and character.

What problem are you trying to solve with this feature?

This would help the user to check his character count. In fine tuning a model in maker suite the output should be less than 5000 character. This way the user can open the webapp and past his output o check for characters.

Any other information you'd like to share?

https://platform.openai.com/tokenizer U can check this for reference. Something like this for palm api would be fantastic.

Guia do colaborador

Direção de pesquisa
Investigue se a API PaLM fornece um endpoint para contagem de tokens. Se não, pesquise como estimar tokens para modelos PaLM e construa uma interface web simples que aceite entrada de texto e exiba a contagem de tokens e caracteres.
Pilha de tecnologia
None
Domain
web dev
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Antigo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
Web developmentHTML/CSS/JavaScript
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
40