ggml-org/llama.cpp

Refactor: Existing examples refactoring opportunities

Open

#7559 aperta il 27 mag 2024

Vedi su GitHub
 (0 commenti) (2 reazioni) (0 assegnatari)C++ (18.202 fork)batch import
help wantedrefactoring

Metriche repository

Star
 (110.169 star)
Metriche merge PR
 (Merge medio 6g 8h) (389 PR mergiate in 30 g)

Descrizione

GG in this PR was suggesting a refactoring of examples and provided an example of what he would like to refactor. This is a ticket to inform others about opportunities to improve examples

I think a bigger advantage would be to do some refactoring in the existing examples and "hide" some of the state for sampling and KV cache management that we expose behind the common API

If there is any other aspect of the example which is currently a pain point for developer grokking, feel free to also suggest some so it can be added here.

Guida contributor

Direzione di ricerca
Esamina le opportunità di refactoring degli esempi esistenti come suggerito nel commento della PR collegata. Concentrati sul nascondere lo stato di campionamento e sull'astrarre la gestione della cache KV dietro l'API comune. Considera anche la ristrutturazione dei messaggi di aiuto.
Tech stack
cpp
Dominio
backend
Tipo issue
Refactoring
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Richiede indagine
Prerequisiti
C++
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
35