Hacktoberfest 2026: le issue che i maintainer hanno segnato per ottobre, aperte e adatte ai principianti. Sfoglia le issue Hacktoberfest

Issue with bigint columns containing null in recipe's input dataset

Aperta
  • Qualcosa non va?
#86 9 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
3/5
Tempo stimato
1-2 giorni
Idoneità per principianti
64/100
Tipo di issue
Bug
Chiarezza
Abbastanza chiara
Stato di attività
Attiva
Stack tecnologico
pandas, postgresql, python
Ambito
api, data, databases

Direzione di ricerca

Inizia in recipe.py, quindi segui process_dataframe() e la chiamata input_parameters_dataset.get_dataframe(infer_with_pandas=False). Riproduci il problema con un dataset basato su PostgreSQL contenente una colonna bigint nullable inutilizzata e un parametro id; il lavoro è completato quando la recipe legge ed elabora l’input senza fallire prima della prima richiesta HTTP.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

So some testing.

  1. As a dataset tested about 1 million rows against a well known API system performance is comparable.
  2. When I tried to use this in the Recipe form I got a different error. May not be related to the changes you just made. The following anallysis was written up by Claude AI.

Title: Recipe fails on a SQL-backed input when an unused column is a nullable integer

Plugin: API Connect 1.4.3 (failing) and 1.4.2 (working) — recipe.py line is identical in both, so this is not version-related
DSS: 14.7.3 local (failing), Dataiku Cloud (working)
Data Store: PostgreSQL local (failing), SPARK Parquet cloud (working.)

What happens

The recipe reads its full input with DSS schema types enforced:

input_parameters_dataframe = input_parameters_dataset.get_dataframe(infer_with_pandas=False)

pandas int64 cannot hold NA, so any int-typed column with empty values raises before
the first HTTP request — including columns the recipe never reads.
process_dataframe() only touches self.column_to_parameter_dict.

Why it looks intermittent

The same project, same recipe config, same data shape, on two backends:

Input backend Type of the unused timestamp column Result
S3 / Parquet via Spark string (inferred) Runs
PostgreSQL bigint, nullable ValueError

The recipe has one parameter column, id (string). The column that breaks the read is
a nullable Unix timestamp that is not a parameter column.

Traceback

File "<string>", line 56, in <module>
File ".../dataiku/core/dataset.py", line 766, in get_dataframe
    results = pd.read_table(dku_output, ...)
...
ValueError: Integer column has NA values in column 8

Steps to reproduce

  1. Create a PostgreSQL-backed dataset with a nullable bigint column.
  2. Add a string column to use as the API parameter, e.g. id.
  3. Build an API Connect recipe on it, selecting only id as the parameter column.
  4. Run.

Current work around I changed the type of the input column to string. With that type change in the input. I seem to be able to process data successfully.

Originally posted by @tom-aspireleaders in #84

Lingua principale
Python
Stelle
4
Fork
4
Nessuna PR unita negli ultimi 30g

Preparare l'ambiente

Questo progetto non fornisce container di sviluppo, Dockerfile né guida per i contributori, quindi l'ambiente è a tuo carico: parti dal suo README e consulta la nostra guida al primo contributo per i passaggi generali.

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di dataiku/dss-plugin-api-connect

Tutte le issue di dataiku/dss-plugin-api-connect

Issue simili

Altre issue su Python

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.