How to predict a specific length of tokens?
Mantenedores costumam responder em até 1 dia
Ninguém assumiu esta issue ainda.
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 65/100
- Tipo de issue
- Documentação
- Clareza
- Claramente especificada
- Status de atividade
- Estagnada
- Stack de tecnologia
- python
- Domínio
- api, documentation
Direção de pesquisa
Consulte o código-fonte de llama-cpp-python para os métodos generate ou call e verifique como os parâmetros são passados para a biblioteca subjacente llama.cpp. Verifique se já existe um parâmetro para max_tokens ou n_predict e, caso não exista, veja como adicionar um binding para a opção --n-predict. A documentação deve ser atualizada na seção relevante da referência da API.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
In llama.cpp, --n-predict option is used to set the number of tokens to predict when generating text/
I don't find the binding for that in doc.
- Linguagem predominante
- Python
- Estrelas
- 10.6k
- Forks
- 1.5k
- Merge médio
- 3h 57min
- PRs com merge (30d)
- 4
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Sem modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de abetlen/llama-cpp-python
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
abetlen/llama-cpp-python#2371 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2352 · 1 comentário · 1 reação ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 75/100
abetlen/llama-cpp-python#2314 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2211 · 2 comentários ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
abetlen/llama-cpp-python#2210 ·
Mantenedores costumam responder em até 1 dia
Todas as issues de abetlen/llama-cpp-python
Issues semelhantes
-
adr
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 72/100
kristofdegrave/homeassistant-smart-charging#1607 ·
Mantenedores costumam responder em até 1 dia
-
namespace operations
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 64/100
EclipseFdn/open-vsx.org#13665 ·
Mantenedores costumam responder em até 1 dia
-
doc good first issue help wanted
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 68/100
collective/icalendar#1865 · 2 comentários ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
canonical/opentelemetry-collector-operator#409 ·
Mantenedores costumam responder em até 1 dia
-
Dificuldade 1/5 Menos de uma hora Facilidade para iniciantes 85/100
mozilla/addons-release-tests#1243 ·
Mantenedores costumam responder em até 1 dia