mozilla-ai/llamafile

How do I add the ChatML prompt template to the .args file when creating a llamafile?

Offen

#227 geöffnet am 24.01.2024

Auf GitHub ansehenContributor Guide
 (3 Kommentare) (1 Reaktion) (0 zugewiesene Personen)C++ (1.358 Forks)batch import
enhancementhelp wanted

Repository-Metriken

Stars
 (24.439 Sterne)
PR-Merge-Metriken
 (Durchschn. Merge 2T 20h) (14 gemergte PRs in 30 T)

Beschreibung

Simply something like this:

-template "<|im_start|>system {system_message}<|im_end|> <|im_start|>user {prompt}<|im_end|> <|im_start|>assistant"

or something else entirely?

Contributor Guide

Research-Richtung
Schau in die llamafile Dokumentation für das .args Dateiformat und das template Flag. Du musst die vollständige Prompt Vorlage als einzelne Zeile oder ordnungsgemäß maskierte Zeichenfolge in die .args Datei einfügen. Für ChatML verwende template "<|im start|>system\n{system message}<|im end|>\n<|im start|>user\n{prompt}<|im end|>\n<|im start|>assistant"
Tech Stack
Keine
Domain
climachine learning
Issue Type
Dokumentation
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
1
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
Unter 1 Stunde
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
Aktiv
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
Klar
Voraussetzungen
basic command line
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
85