s3 enpoint url in table.io.properties is different than that of catalog.properties
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
Évaluation
- Difficulté
- 3/5
- Temps estimé
- 1-2 jours
- Accessibilité débutants
- 67/100
- Type d'issue
- Bug
- Clarté
- Plutôt claire
- Activité
- Active
- Stack technique
- python
- Domaine
- data-engineering
Piste de recherche
Commencez par la gestion des propriétés d’IO du catalogue et de la table utilisée par load_catalog et load_table, puis reproduisez l’écart avec l’exemple minimal fourni et la configuration pyiceberg.yaml. C’est terminé lorsque table.io.properties["s3.endpoint"] conserve la valeur configurée http://192.168.0.72:9008 et correspond à catalog.properties["s3.endpoint"].
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
Apache Iceberg version
0.11.0 (latest release)
Please describe the bug 🐞
I am using polaris as rest catalog and RustFS as S3 client. My problem is that the s3 endpoint that i set in the pyiceberg.yaml file is not being used by the table.io (although catalog has it correctly)
The url is changed from http://192.168.0.72:9008 to localhost:9008 for the table.io.properties.get("s3.endpoint") property.
Here is a minimal example for it:
catalog = load_catalog("default", **catalog_conf)
catalog.create_namespace("Dummy")
schema = pa.schema([
pa.field("a", pa.int32()),
pa.field("b", pa.int32()),
])
catalog.create_table("Dummy.new_table", schema)
table = catalog.load_table("Dummy.new_table")
table.io.properties["s3.endpoint"] == catalog.properties["s3.endpoint"]
Willingness to contribute
- I can contribute a fix for this bug independently
- I would be willing to contribute a fix for this bug with guidance from the Iceberg community
- I cannot contribute a fix for this bug at this time
- Langage dominant
- Python
- Étoiles
- 1.1k
- Forks
- 606
- Merge moyen
- 1 j 11 h
- PR mergées (30 j)
- 75
Préparer son environnement
- Aucun Dockerfile ni fichier Docker Compose
- Propose un modèle de pull request
- Aucun guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de apache/iceberg-python
-
View does not expose metadata_location: RestCatalog.load_view discards it from the server's responsePeut-être pris @Soumo-git-hub l’a pris il y a 3 jours. Ouvertekind:bug
Difficulté 2/5 1-3 heures Accessibilité débutants 84/100
apache/iceberg-python#4073 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 70/100
apache/iceberg-python#4010 · 3 commentaires · 1 réaction ·
Les mainteneurs répondent en général sous 1 jour
-
to_bytes silently rescales a Decimal with a negative scalePeut-être pris @Rodrigo-Palma l’a pris il y a 19 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/iceberg-python#3996 ·
Les mainteneurs répondent en général sous 1 jour
-
Deletion vector bitmap count is read from the blob and used as a loop bound without validationPeut-être pris @ghoshp83 l’a pris il y a 20 jours. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
apache/iceberg-python#3979 ·
Les mainteneurs répondent en général sous 1 jour
-
FsspecFileIO: `_adls` mutates shared properties, so a second storage account gets the first account's filesystemPeut-être pris @krishnakaanchan-png l’a pris il y a 37 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 78/100
apache/iceberg-python#3885 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de apache/iceberg-python
Issues similaires
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 85/100
Vector35/community-plugins#376 ·
-
Difficulté 2/5 1-3 heures Accessibilité débutants 68/100
py-econometrics/pyfixest#1883 ·
Les mainteneurs répondent en général sous 1 jour
-
bad links in rfc5890.htmlOuverte
Difficulté 2/5 1-3 heures Accessibilité débutants 65/100
ietf-tools/rfc2html#81 ·
-
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
mysql/mysql-operator#60 ·
-
Python: Bug: split_plaintext_paragraph / split_markdown_paragraph can return a chunk larger than max_tokensPeut-être pris @xThreeh l’a pris aujourd’hui. Ouvertepython triage
Difficulté 2/5 1-3 heures Accessibilité débutants 75/100
microsoft/semantic-kernel#14566 ·
Les mainteneurs répondent en général sous 4 jours