aws/aws-sdk-pandas

change the name of "mode" argument to awswrangler.s3.to_csv

Open

#2.409 geöffnet am 25. Juli 2023

Auf GitHub ansehen
 (5 Kommentare) (0 Reaktionen) (1 zugewiesene Person)Python (3.560 Stars) (630 Forks)batch import
enhancementhelp wantedinvestigating

Beschreibung

Describe the bug

The method (awswrangler.s3.to_csv) supports a "mode" argument and **pandas_kwargs. The "mode" argument is not passed through to Pandas, but consumed in the awswrangler method, which also expects dataset=True to use "mode". In some cases, it would be useful to pass this argument through to Pandas.

If there is already a way to pass "mode" to Pandas, a documentation update would resolve this issue:

How to Reproduce

import awswrangler as wr

...

load a DataFrame and name it df

...

Pandas "mode"

wr.s3.to_csv(df, "some_test_file_name", mode="a", header=False)

awswrangler expects mode="append", dataset=True

Expected behavior

No response

Your project

No response

Screenshots

No response

OS

AWS Lambda x86_64 Architecture

Python version

3.10

AWS SDK for pandas version

3.2.0

Additional context

No response

Contributor Guide

Tech Stack
pythonpandasaws
Domain
datacloud
Issue Type
bug
SchwierigkeitGeschätzte Implementierungsschwierigkeit für neue Contributors, von 1 für sehr kleine Änderungen bis 5 für Expertenarbeit.
2
Geschätzte ZeitEin grober Zeitrahmen, um zu recherchieren, zu implementieren, zu testen und einen Pull Request vorzubereiten.
1-3 hours
AktivitätsstatusWie verfügbar das Issue gerade wirkt: frisch, aktiv, stale, blockiert oder wartet auf Maintainer-Input.
stale
KlarheitWie klar das Issue die erwartete Änderung, Akzeptanzkriterien und den nächsten Schritt erklärt.
clear
Voraussetzungen
PythonpandasAWS SDK for pandas
EinsteigerfreundlichkeitEin Score von 1 bis 100, der schätzt, wie zugänglich dieses Issue für First-Time Contributors ist.
20
Research-Richtung
The issue concerns the awswrangler.s3.to csv function where the 'mode' argument is consumed by the library and not passed to pandas. Review the function signature in the source code (likely in awswrangler/s3/ write csv.py or similar) and the pandas to csv documentation to determine a proper rename (e.g., 'dataset mode' or 'overwrite mode'). Check issue comments for any maintainer guidance. Ensure backward compatibility by adding a deprecation warning for the old argument name.