[lecture] Building a micro GPT (Blog Post)
I maintainer di solito rispondono entro 1 giorno
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
- Tipo di issue
- Funzionalità
- Chiarezza
- Da chiarire
- Stato di attività
- Tranquilla
- Stack tecnologico
- python
- Ambito
- content, machine-learning
Direzione di ricerca
Inizia con l’articolo collegato „Towards Deep Learning“ e il suo esempio di GPT in Python di 243 righe. Confronta il suo approccio alla costruzione di token e pattern con la questione della matrice di transizione, quindi definisci l’ambito della lezione, gli esempi e l’implementazione prima di iniziare il lavoro; il lavoro è completato quando è stata concordata una lezione che copra i concetti proposti.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
This blog post is pretty cool
It builds a GPT in 243 lines of python including the autograd engine.
It learns baby names and then creates new ones.
Q: How is this different to a simple transition matrix building probabilities off of word transitions? Token size, how it builds patterns?
I think this could form the foundation of an interesting lecture using python.
- Lingua principale
- Python
- Stelle
- 1
- Fork
- 0
- Merge medio
- 1g 3h
- PR unite (30g)
- 17
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di QuantEcon/lectures
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 78/100
I maintainer di solito rispondono entro 1 giorno
-
drift
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
I maintainer di solito rispondono entro 1 giorno
-
question
Difficoltà 4/5 1-2 giorni Idoneità per principianti 44/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 48/100
I maintainer di solito rispondono entro 1 giorno
-
bug
Difficoltà 4/5 3-5 giorni Idoneità per principianti 58/100
QuantEcon/lectures#40 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di QuantEcon/lectures
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
Project-N-E-K-O/N.E.K.O#3670 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
type:docs
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
jejjohnson/xtremax#123 ·
-
bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
I maintainer di solito rispondono entro 1 giorno
-
triage
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 78/100
microsoft/agent-framework#10218 ·
I maintainer di solito rispondono entro 1 giorno
-
fidelity
Difficoltà 2/5 Mezza giornata Idoneità per principianti 66/100
I maintainer di solito rispondono entro 1 giorno