[BUG]: NaT inside a datetime64 array serializes as the string "NaT" instead of null
Mantenedores costumam responder em até 3 dias
Avaliação
- Dificuldade
- 2/5
- Tempo estimado
- 1-3 horas
- Facilidade para iniciantes
- 82/100
- Tipo de issue
- Bug
- Clareza
- Claramente especificada
- Status de atividade
- Ativa
- Domínio
- backend, data-visualization
Direção de pesquisa
Leia plotly/_plotly_utils/utils.py perto de encode_as_numpy e plotly/io/_json.py perto de clean_to_json_compatible; os dois caminhos atualmente convertem arrays datetime64 com numpy.datetime_as_string. Adicione o caso datetime64 ao lado de test_pandas_json_encoding em tests/test_optional/test_utils/test_utils.py e, em seguida, verifique os dois mecanismos JSON e as conversões de ida e volta. O trabalho estará concluído quando os elementos NaT dos arrays forem serializados como null e continuarem como null após a conversão de ida e volta.
Escrita pelo modelo de indexação a partir do texto da issue.
Descrição
Description
At 38374ac, a NaT inside a datetime64 array serializes as the string "NaT" on both engines. The same missing value as a list element or a scalar becomes null, and from_json reads the string back as data.
$ python -I repro.py # 38374ac, pandas 3.0.6, numpy 2.5.4, orjson 3.13.0
stored : ndarray datetime64[us]
json series -> ['2020-01-01T00:00:00.000000', 'NaT']
json list -> ['2020-01-01T00:00:00', None]
json scalar -> null
json round -> ['2020-01-01T00:00:00.000000', 'NaT']
orjson series -> ['2020-01-01T00:00:00.000000', 'NaT']
orjson list -> ['2020-01-01T00:00:00', None]
orjson scalar -> null
orjson round -> ['2020-01-01T00:00:00.000000', 'NaT']
plotly.js happens to draw a gap for the string, so a chart looks right. Anything else that reads the figure JSON, such as Dash figure State, gets a string where null belongs.
Screenshots/Video
None: the defect is in the serialized JSON, quoted above.
Steps to reproduce
import json
import pandas as pd
import plotly.graph_objects as go
import plotly.io as pio
from plotly.io._json import to_json_plotly
series = pd.Series(pd.to_datetime(["2020-01-01", None]))
fig = go.Figure(go.Scatter(x=series))
print("stored :", type(fig.data[0].x).__name__, fig.data[0].x.dtype)
fig2 = go.Figure(go.Scatter(x=[pd.Timestamp("2020-01-01"), pd.NaT]))
for e in ("json", "orjson"):
print(e, "series ->", json.loads(pio.to_json(fig, engine=e))["data"][0]["x"])
print(e, "list ->", json.loads(pio.to_json(fig2, engine=e))["data"][0]["x"])
print(e, "scalar ->", to_json_plotly(pd.NaT, engine=e))
print(e, "round ->", list(pio.from_json(pio.to_json(fig, engine=e), engine=e).data[0].x))
Notes
contract: tests/test_optional/test_utils/test_utils.py:276 already asserts null for pd.NaT inside an object-dtype Series, and :291 asserts "[null]" for [pd.NaT]. The datetime64 dtype of that same Series breaks the promise. The scalar case is tests/test_io/test_to_from_plotly_json.py:265.
The json engine (the auto fallback when orjson is absent) goes through encode_as_numpy at _plotly_utils/utils.py:297, and orjson goes through clean_to_json_compatible at plotly/io/_json.py:517. Both call datetime_as_string unfiltered:
- return numpy.datetime_as_string(obj).tolist()
+ return [
+ None if s == "NaT" else s
+ for s in numpy.datetime_as_string(obj).tolist()
+ ]
$ python -I repro.py | grep -E "series|round" # filter at utils.py:297 only
json series -> ['2020-01-01T00:00:00.000000', None]
json round -> ['2020-01-01T00:00:00.000000', None]
orjson series -> ['2020-01-01T00:00:00.000000', 'NaT']
orjson round -> ['2020-01-01T00:00:00.000000', 'NaT']
$ python -I repro.py | grep -E "series|round" # same filter at _json.py:517 too
json series -> ['2020-01-01T00:00:00.000000', None]
json round -> ['2020-01-01T00:00:00.000000', None]
orjson series -> ['2020-01-01T00:00:00.000000', None]
orjson round -> ['2020-01-01T00:00:00.000000', None]
# reverted: all four lines print 'NaT' again
No CODEOWNERS entry covers these paths. @camdecoster, would you take a PR with the filter at both sites and a datetime64 case next to test_pandas_json_encoding?
- Linguagem predominante
- Python
- Estrelas
- 18.9k
- Forks
- 2.9k
- Merge médio
- 5d 1h
- PRs com merge (30d)
- 14
Preparar o ambiente
- Sem Dockerfile nem arquivo Docker Compose
- Tem um modelo de pull request
- Ler o guia de contribuição
Primeiros passos
- Leia a issue inteira e depois o guia de contribuição do projeto.
- Comente na issue dizendo que vai assumir — evita que duas pessoas façam o mesmo trabalho.
- Faça um fork do repositório e trabalhe em uma branch.
- Abra um pull request que referencie o número da issue.
Mais de plotly/plotly.py
-
to_typed_array_spec encodes bdata in host byte order; plotly.js always decodes it as little-endianTalvez já em andamento @Vikram12301 assumiu há 1 dia. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 79/100
Mantenedores costumam responder em até 3 dias
-
[BUG]: Integer and string properties reject NumPy scalarsTalvez já em andamento @RaphaelFakhri assumiu há 4 dias. Abertabug P3 size: 1
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 70/100
plotly/plotly.py#5827 · 1 comentário ·
Mantenedores costumam responder em até 3 dias
-
[BUG]: Single-color requests raise ZeroDivisionError in palette helpersTalvez já em andamento @MokiMeow assumiu há 13 dias. Abertabug P3 size: 1
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 82/100
plotly/plotly.py#5805 · 1 comentário ·
Mantenedores costumam responder em até 3 dias
-
[BUG]: Unnecessary `UserWarning` when using `fig.write_image()` with `kaleido.start_sync_server()`Talvez já em andamento @jayzhou2309 assumiu há 21 dias. Abertabug P3 size: 1
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 74/100
plotly/plotly.py#5786 · 1 comentário ·
Mantenedores costumam responder em até 3 dias
-
P3 size: 1 task
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 65/100
plotly/plotly.py#5769 · 1 reação ·
Mantenedores costumam responder em até 3 dias
Todas as issues de plotly/plotly.py
Issues semelhantes
-
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100
aws-samples/sample-per-model-bedrock#464 ·
Mantenedores costumam responder em até 1 dia
-
lesson-submission pending-review
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 67/100
Ikalus1988/MisakaNet#3789 ·
Mantenedores costumam responder em até 1 dia
-
Python Volcengine provider returns failures instead of raising themTalvez já em andamento @Ricardo-M-L assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 79/100
agent-infra/sandbox#248 ·
-
[Bug] cloud JSON directory loading assumes a Key field in fsspec listingsTalvez já em andamento @Ricardo-M-L assumiu hoje. Aberta
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 88/100
hiyouga/LlamaFactory#10910 ·
Mantenedores costumam responder em até 1 dia
-
Bundled uv is never updated and trusts the compromised eMudhra certificatesTalvez já em andamento @FabienDanieau assumiu hoje. Abertabug
Dificuldade 2/5 1-3 horas Facilidade para iniciantes 76/100