mozilla-ai/llamafile

How do I add the ChatML prompt template to the .args file when creating a llamafile?

Aperta

#227 aperta il 24 gen 2024

Vedi su GitHubGuida contributor
 (3 commenti) (1 reazione) (0 assegnatari)C++ (1358 fork)batch import
enhancementhelp wanted

Metriche repository

Star
 (24.439 stelle)
Metriche merge PR
 (Merge medio 2g 20h) (14 PR mergiate in 30 g)

Descrizione

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

Guida contributor

Direzione di ricerca
Controlla la documentazione di llamafile per il formato del file .args e il flag template. Devi includere il template del prompt completo come singola riga o stringa opportunamente escapata nel file .args. Per ChatML, usa template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"
Tech stack
Nessuno
Dominio
climachine learning
Tipo issue
Documentazione
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
1
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
Meno di 1 ora
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
basic command line
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
85