Pin versions/ranges for spark-connect-client python dependencies using a constraints file
Los mantenedores suelen responder en 1 día
@Maleware ya está trabajando en esto.
Desde el 12/10/2026.
Evaluación
Este issue todavía no se ha evaluado.
Descripción
The current Dockerfile breaks as not all packages are pinned.
spark-connect-client/Dockerfile:44-48 (docker-images origin/main) pins only the four top-level packages:
RUN pip install --no-cache-dir --user \
"pyspark[connect]==${PRODUCT_VERSION}" \
"jupyterlab==4.4.1" \
"scikit-learn==1.3.1" \
"matplotlib==3.10.1"
A combination of the following breaks the build:
- scikit-learn 1.3.1 declares numpy <2.0,>=1.17.3 (METADATA inside the image), so numpy ends up on e.g. 1.26.4.
- pyarrow 26.0.0 declares no dependencies at all on PyPI (
requires_dist: nullfrom https://pypi.org/pypi/pyarrow/26.0.0/json), yet it refuses NumPy 1.x at import time (seehttps://github.com/apache/arrow/pull/50769) - pip can't see that conflict
Pinning pyarrow alone would fix that, but the next undeclared runtime constraint could break a nightly build the same way. The real problem is that nothing besides those four packages is pinned.
Suggestion
Use the existing pattern in docker-images by adding a constraints directory to spark-connect-client
- Lenguaje dominante
- Rust
- Estrellas
- 73
- Forks
- 5
- Merge medio
- 7 h 3 min
- PR fusionados (30 d)
- 10
Preparar el entorno
- Sin Dockerfile ni archivo de Docker Compose
- Tiene una plantilla de pull request
- Sin guía de contribución
Primeros pasos
- Lee el issue completo y luego la guía de contribución del proyecto.
- Comenta en el issue que vas a ocuparte — evita que dos personas hagan lo mismo.
- Haz un fork del repositorio y trabaja en una rama.
- Abre un pull request que haga referencia al número del issue.
Más de stackabletech/spark-k8s-operator
-
type/bug
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
stackabletech/spark-k8s-operator#775 ·
Los mantenedores suelen responder en 1 día
-
Application driver Pod is not terminated when Spark is OOMKilledPosiblemente ocupada @razvan la tomó hace 15 días. Abiertotype/bug
stackabletech/spark-k8s-operator#780 · 1 asignado ·
Los mantenedores suelen responder en 1 día
-
Dificultad 4/5 3-5 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#774 · 1 comentario ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 4/5 3-5 días Aptitud para principiantes 45/100
stackabletech/spark-k8s-operator#770 ·
Los mantenedores suelen responder en 1 día
-
type/bug
Dificultad 3/5 1-2 días Aptitud para principiantes 55/100
stackabletech/spark-k8s-operator#762 ·
Los mantenedores suelen responder en 1 día
Todos los issues de stackabletech/spark-k8s-operator
Issues similares
-
The book has a Nix install section that chelis.ch lacks, and it names two of the three systemsAbiertoarea:ecosystem documentation
Dificultad 2/5 1-3 horas Aptitud para principiantes 78/100
Chelis-Lang/chelis#3866 ·
Los mantenedores suelen responder en 1 día
-
[安卓Feature]: 数字键盘左侧符号区域大小优化Abiertoenhancement
Dificultad 2/5 1-3 horas Aptitud para principiantes 68/100
metasequoiaime/msime#8620 ·
Los mantenedores suelen responder en 1 día
-
agent-detection macos p2 triaged
Dificultad 1/5 Menos de una hora Aptitud para principiantes 90/100
Los mantenedores suelen responder en 1 día
-
bug documentation sev-0
Dificultad 2/5 1-3 horas Aptitud para principiantes 72/100
-
Dificultad 2/5 1-3 horas Aptitud para principiantes 86/100
Los mantenedores suelen responder en 1 día