aws/aws-sdk-pandas

Add support for Elasticache

Open

#2.198 geöffnet am 13. Apr. 2023

Auf GitHub ansehen
 (3 Kommentare) (0 Reaktionen) (0 zugewiesene Personen)Python (3.560 Stars) (630 Forks)batch import
featurehelp wanted

Beschreibung

Is your feature request related to a problem? Please describe. A common use case is upload data from S3 to AWS elasticache (Redis/Memcache). It would be great to have this functionality in aws-sdk-pandas. The read workflow is not required as its not typical functionality to read the key/values into dataframe.

Describe the solution you'd like Requesting an API similar to Opensearch index_df https://aws-sdk-pandas.readthedocs.io/en/stable/stubs/awswrangler.opensearch.index_df.html#awswrangler.opensearch.index_df that will take dataframe key and value fields and does a batch insert to elasticache.

Describe alternatives you've considered

Additional context

Contributor Guide

Tech Stack
pythonawsredis
Domain
backenddatacloud
Issue Type
feature
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
3
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-2 days
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
PythonAWS S3pandasElasticache
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
50
Research-Richtung
First, examine the existing opensearch module at https://aws sdk pandas.readthedocs.io/en/stable/stubs/awswrangler.opensearch.index df.html and its source code to understand the API pattern. Then, design a similar API for Elasticache (Redis/Memcache) that takes a DataFrame with key and value columns and performs batch inserts. Consider using the redis py or python memcached client libraries. The implementation would likely involve adding a new module under `awswrangler/elasticache/` with functions like `index df` or `put records`. Review current PRs or discussions in the issue comments for any prior work or design decisions.