Phase 4: ConcatField - Refactor to Polars
I maintainer di solito rispondono entro 1 giorno
@VENKAT-AVVARI-190825 ci sta già lavorando.
Dal 23/2/2026.
Valutazione
Questa issue non è ancora stata valutata.
Descrizione
Overview
The Parse step now produces data using Polars LazyFrames, but the ConcatField step still uses the legacy implementation and cannot process this new output. To keep the pipeline consistent and efficient, the ConcatField phase must be updated to use the Polars version. This will keep existing behaviour while modernising the underlying process.
Tech Approach
- Update digital_land/phase/ConcatField.py so it delegates to the Polars parse implementation.
- Implement the full ConcatField logic inside digital_land/phase_polars/transform/ConcatField.py.
- Convert existing ConcatField rules into Polars lazy transformations.
- Ensure the ConcatField phase accepts the LazyFrame produced by the new normalise step.
- Keep the same public interface so no downstream code needs changing.
Acceptance Criteria/Tests
- ConcatField phase accepts the normalise phase LazyFrame without errors.
- Legacy ConcatField behaviour is reproduced using Polars.
- Outputs match the legacy ConcatField phase (apart from expected improvements).
- No Pandas or row‑based Python operations are used.
- Add test cases
- Refactored code complies with project formatting and style standards (black/flake8/pep)
Resourcing & Dependencies
Depends on Parse phase, no external teams.
- Lingua principale
- Python
- Stelle
- 10
- Fork
- 4
- Merge medio
- 11h 29m
- PR unite (30g)
- 16
Preparare l'ambiente
- Include un Dockerfile o un file Docker Compose
- Nessun modello di pull request
- Nessuna guida per i contributori
Come iniziare
- Leggi tutta la issue e poi la guida ai contributi del progetto.
- Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
- Fai un fork del repository e lavora su un branch.
- Apri una pull request che faccia riferimento al numero della issue.
Altre issue di digital-land/digital-land-python
-
bug
Difficoltà 3/5 1-2 giorni Idoneità per principianti 52/100
digital-land/digital-land-python#609 · 1 commento ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 5/5 Più di una settimana Idoneità per principianti 25/100
digital-land/digital-land-python#602 ·
I maintainer di solito rispondono entro 1 giorno
-
New Issue Type: Point vs PolygonForse di nuovo libera @salabi l’ha presa 156 giorni fa e non c’è nessuna pull request aperta. Aperta
digital-land/digital-land-python#524 · 3 commenti · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Generate and Store Benchmarking Reports via ECS/Airflow Pipeline to AWSForse di nuovo libera @lakshmi-kovvuri1 l’ha presa 245 giorni fa e non c’è nessuna pull request aperta. Apertaenhancement
digital-land/digital-land-python#508 · 1 commento · 1 assegnatario ·
I maintainer di solito rispondono entro 1 giorno
-
Improve Benchmarking Report Generation Speed - Optimise Polars Pipeline PerformanceForse di nuovo libera @VENKAT-AVVARI-190825 l’ha presa 227 giorni fa e non c’è nessuna pull request aperta. Apertaenhancement
digital-land/digital-land-python#507 · 5 commenti · 3 assegnatari ·
I maintainer di solito rispondono entro 1 giorno
Tutte le issue di digital-land/digital-land-python
Issue simili
-
community enhancement good first issue
Difficoltà 2/5 1-3 ore Idoneità per principianti 86/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 77/100
Hochfrequenz/sapgui.mcp#1039 ·
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 88/100
didi/helixharness#18 ·
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 75/100
I maintainer di solito rispondono entro 1 giorno
-
Difficoltà 2/5 1-3 ore Idoneità per principianti 68/100
dataforgoodfr/democracy-watch#46 · 1 reazione ·