`tfp.math.log1mexp` has a NaN gradient for small inputs (reaches `OrderedLogistic.log_prob`)

Offen Anfängerfreundlich
#2,041 1 Kommentar 0 Reaktionen 0 zugewiesene Personen Auf GitHub ansehen

@aviralgarg05 arbeitet bereits daran.

Seit 19.11.2026.

Bewertung

Schwierigkeit
2/5
Geschätzter Aufwand
1-3 Stunden
Anfängerfreundlichkeit
86/100
Issue-Typ
Bug
Klarheit
Klar beschrieben
Aktivitätsstatus
Aktiv
Tech-Stack
python

Rechercherichtung

Beginne in tensorflow_probability/python/math/generic.py bei log1mexp, wo ein tf.where zwischen log(-expm1(-x)) und log1p(-exp(-x)) wählt. Reproduziere das Problem mit dem Snippet aus dem Issue und füge dann einen Gradiententest in generic_test.py hinzu. Fertig ist es, wenn der Gradient für kleine x endlich ist und der Gradient der log_prob von OrderedLogistic bei loc=18 etwa 1.13e-07 beträgt, während die Vorwärtswerte unverändert bleiben.

Vom Indexierungsmodell aus dem Issue-Text verfasst.

Beschreibung

OrderedLogistic(...).log_prob gets a NaN gradient in float32 at loc = 18 (17 is still fine), and the NaN comes from tfp.math.log1mexp:

import tensorflow as tf
import tensorflow_probability as tfp
tfd = tfp.distributions

x = tf.constant([1e-9, 1e-7, 1e-3])
with tf.GradientTape() as tape:
  tape.watch(x)
  y = tfp.math.log1mexp(x)
print(tape.gradient(y, x).numpy())  # [nan 1.e+07 999.50006]  exact 1/expm1(x): [1e9, 1e7, 999.5]

loc = tf.Variable(18.)
with tf.GradientTape() as tape:
  lp = tfd.OrderedLogistic(cutpoints=[0., 1., 2.], loc=loc).log_prob(3)
print(tape.gradient(lp, loc).numpy())  # nan  exact sigmoid(-16) = 1.13e-07

log1mexp picks log(-expm1(-x)) or log1p(-exp(-x)) with one tf.where, so the gradient of the branch it didn't pick is still computed. For small x, exp(-x) rounds to 1, that branch's derivative is inf, and the tf.where backward turns 0 * inf into NaN. StoppingRatioLogistic, Kumaraswamy.log_cdf and Geometric.log_cdf go through the same path.

The double-where trick keeps the forward values as they are:

--- a/tensorflow_probability/python/math/generic.py
+++ b/tensorflow_probability/python/math/generic.py
@@ -703,10 +703,14 @@ def log1mexp(x, name=None):
     dtype = dtype_util.common_dtype([x], dtype_hint=tf.float32)
     x = tf.convert_to_tensor(x, dtype=dtype, name='x')
     x = tf.math.abs(x)
+    # This switching point is recommended in [1].
+    small = x < np.log(2)
+    # The branch not taken must not see small x: its derivative is infinite
+    # where exp(-x) rounds to 1, and would make the gradient NaN.
+    safe_x = tf.where(small, tf.ones_like(x), x)
     return tf.where(
-        # This switching point is recommended in [1].
-        x < np.log(2), tf.math.log(-tf.math.expm1(-x)),
-        tf.math.log1p(-tf.math.exp(-x)))
+        small, tf.math.log(-tf.math.expm1(-x)),
+        tf.math.log1p(-tf.math.exp(-safe_x)))

I ran into this while formalizing a few distribution formulas in Lean (TorchLean) and comparing them with TFP. 0.25.0 and the 2026-11-12 nightlies give the numbers above, on CPU. I have a gradient test for it in generic_test.py and can send the PR whenever you'd like :)

Vorherrschende Sprache
Jupyter Notebook
Sterne
4.4k
Forks
1.1k
PR-Merge-Kennzahlen
Keine gemergten PRs in 30 T.

Entwicklungsumgebung

Erste Schritte

  1. Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
  2. Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
  3. Forken Sie das Repository und arbeiten Sie in einem Branch.
  4. Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.

Mehr aus tensorflow/probability

Alle Issues in tensorflow/probability

Ähnliche Issues

Weitere Issues zu Machine Learning

Neue Issues direkt in Ihr Postfach

Eine kurze Übersicht über anfängerfreundliche GitHub-Issues.