Forecasting incrementally with patsy
Nessuno ha ancora preso questa issue.
Valutazione
- Difficoltà
- 5/5
- Tempo stimato
- Più di una settimana
- Idoneità per principianti
- 35/100
Direzione di ricerca
Inizia dagli entry point dmatrix e incr_dbuilder e riproduci l’esempio di panel non bilanciato fornito. Analizza come la valutazione incrementale gestisce le dipendenze tra i chunk e determina come una selezione di righe potrebbe preservare il comportamento ritardato e il comportamento panel. Il lavoro è completato quando la valutazione richiesta limitata alle righe è definita e dimostrata per il caso di previsione.
Scritto dal modello di indicizzazione a partire dal testo della issue.
Descrizione
This is either a feature request or a request for help with current functionality. I am doing some work with unbalanced panel data work that involves using patsy to forecast some series. Here's a basic example:
import io, pandas, patsy
#raw panel data indexed on ID, YEAR. Y is the forecast variable of interest. There are no gaps in the data for an individual entity but the panel is potentially unbalanced (meaning different start/end dates).
data = '''ID,YEAR,Y,B,C,D
1,1999,0,2,3,4
1,2000,.,2,3,4
1,2001,.,2,3,4
1,2002,.,2,3,4
2,1996,1,2,3,4
2,1997,.,2,3,4
3,1998,3,2,3,4
3,1999,3,2,3,4
3,2000,.,2,3,4
3,2001,3,2,3,4
'''
data = io.StringIO(data)
df = pandas.read_csv(data, index_col=['ID','YEAR'], na_values=['.'])
print(df)
def lag(series, n=1):
return series.groupby(level=0).shift(n)
formula = '1+lag(Y)+B+C+D' #This is the forecast equation for Y
x = patsy.dmatrix(formula,df, return_type='dataframe')
params = pandas.Series([1,2,3,4,5], index=x.columns) #these are the coefficients on the forecast vars
#Now forecast year by year
for yr in range(1997,2010):
ind = df.index.get_level_values('YEAR')==yr
x = patsy.dmatrix(formula,df, return_type='dataframe').reindex(df.index)
x = x.loc[ind]
df.loc[ind, 'Y'] = df.loc[ind, 'Y'].fillna(x@params)
print('================')
print(yr)
print(df)
Note that to produce the entire forecast we need to call dmatrix over and over. The problem that I'm having is that it is quite inefficient to have to call dmatrix on the entire DataFrame repeatedly, but because the forecast formula can contain arbitrary numbers of lags I can't just pass in a df filtered to the current year (or a set number of lags from the current year). What would be ideal is if I could replace
ind = df.index.get_level_values('YEAR')==yr
x = patsy.dmatrix(formula,df, return_type='dataframe').reindex(df.index)
x = x.loc[ind]
with version of dmatrix that takes a boolean rows and only evaluates and returns the rows that are needed
ind = df.index.get_level_values('YEAR')==yr
x = patsy.dmatrix(formula,df, return_type='dataframe', rows=ind) #evaluates only on rows there ind==True and returns a dataframe with only those rows
I thought incr_dbuilder might be able to handle this, but it seems that it expects each chunk returned is completely separate from previous chunks. That won't work in the time series/panel context.
- Lingua principale
- Python
- Stelle
- 990
- Fork
- 113
- Merge medio
- 2g 8h
- PR unite (30g)
- 3
Preparare l'ambiente
Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di pydata/patsy
-
VarLookupDict should implement __iter__, causes CPython crash when using statsmodels in marimo notebookForse già presa @kouyouqi123 l’ha presa 173 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 72/100
-
Add link to license in readmeForse già presa @zheng-guannan577 l’ha presa 9 giorni fa. Aperta
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 72/100
-
Difficoltà 1/5 Meno di un'ora Idoneità per principianti 68/100
-
Nullable pandas dtypes crash in categorical handling: "Cannot interpret 'BooleanDtype' as a data type"Forse già presa @RaphaelFakhri l’ha presa 15 giorni fa. Aperta
Difficoltà 3/5 1-2 giorni Idoneità per principianti 35/100
-
cc() truncates periodic coordinates for integer input with fractional boundsForse già presa @ktz03 l’ha presa 39 giorni fa. Aperta
Difficoltà 2/5 1-3 ore Idoneità per principianti 35/100
Tutte le issue di pydata/patsy
Issue simili
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 64/100
I maintainer di solito rispondono entro 1 giorno
-
Harden tools/pr_threads.sh: pass all printed thread fields through the deterministic sanitizerApertaarea:cli area:security enhancement priority:medium size:small
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
RonaldHensbergen/composable-data-stack#1338 ·
I maintainer di solito rispondono entro 1 giorno
-
area:stdlib effort:S impact:med platform:linux type:bug
Difficoltà 2/5 1-3 ore Idoneità per principianti 84/100
I maintainer di solito rispondono entro 1 giorno
-
automated endpoint-dead needs-curation
Difficoltà 2/5 1-3 ore Idoneità per principianti 76/100
almanac-data/climate-almanac#139 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 82/100
UKGovernmentBEIS/inspect_ai#6695 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno