Make examples/ behave like examples: runnable, and consistent with the extension guide
Dieses Issue hat noch niemand übernommen.
Bewertung
- Schwierigkeit
- 4/5
- Geschätzter Aufwand
- 3-5 Tage
- Anfängerfreundlichkeit
- 48/100
- Issue-Typ
- Refactoring
- Klarheit
- Größtenteils klar
- Aktivitätsstatus
- Aktiv
- Bereich
- developer-experience, documentation, testing
Rechercherichtung
Beginne mit extension-guide/codecs.md und user-guide/data-sources.md:219, und untersuche anschließend die drei Verzeichnisbäume unter examples/ sowie datafusion-ffi-example/logical_extension_codec.rs:148. Führe die vorhandenen pytest-Suites aus, um ihre aktuellen Einstiegspunkte zu ermitteln. Erledigt ist die Aufgabe, wenn die Beispiele ausführbar sind, der logische Codec nicht mehr auf einer prozessglobalen Provider-Registry beruht, die Quarantäne des physischen Plans explizit ist und der Leitfaden mit dem Code übereinstimmt.
Vom Indexierungsmodell aus dem Issue-Text verfasst.
Beschreibung
#1721 added examples/distributed as a worked example and, in doing so, exposed two structural problems with the older example trees that the new one throws into relief.
The guide contradicts the code it points at. extension-guide/codecs.md tells authors to encode durable metadata, then spends a paragraph explaining that our own examples do not. Readers copy examples; an example that contradicts the rule beside it is worse than no example. #1719 records the reference-implementation half of this as G9, which examples/distributed/storage-library now satisfies — but the crate a reader is most likely to open first still does the wrong thing.
Two of the three trees have no runnable entry point. datafusion-ffi-example is 13 pytest files and no script; datafusion-ffi-query-planner-example is one pytest file and no script. This is not only an aesthetic problem: user-guide/data-sources.md:219 calls datafusion-ffi-example a "user example" and routes Python users to it from the user guide. They arrive at a test suite.
Investigation while reviewing #1721 found the first problem is smaller and differently shaped than the guide claims. Each item below was checked against the source, not inferred:
datafusion-ffi-query-planner-examplehas no object registry at all —grep -rn "HashMap\|OnceLock\|TOKEN" src/is empty. It claimsnode.is::<DistributedExec>()narrowly and writes a fixed durable marker. The guide named it anyway. Corrected in #1721.datafusion-ffi-example's logical codec parks providers in a process-globalHashMap, and this is cheaply fixable: it claimsMemTablenarrowly (logical_extension_codec.rs:148), and aMemTableis fully describable as schema plus batches.datafusion-ffi-example's physical codec parks plans, and this is not fixable here. It is forced by the greedyForeignExecutionPlanclaim, which is load-bearing for upstream defect apache/datafusion#25152 — that is G2 in #1719. Once you claim a node you cannot introspect, parking it is the only remaining option. The work is to make it uncopyable, not to remove it.
So the end state is one quarantined arm carrying an issue number and a delete-when condition, rather than a systemic contradiction.
Decided while planning this: the example trees stay in examples/. Relocating the conformance beds to an integration-tests/ tree was considered and rejected — making them runnable resolves the "these aren't examples" complaint, and a move would churn roughly 40 doc, README, and agent-skill references, none of which any build step validates.
Sub-issues track the pieces. They are ordered: the prose rewrite describes the state the first two produce.
- Vorherrschende Sprache
- Python
- Sterne
- 605
- Forks
- 176
- Ø Merge
- 1 T. 23 Std.
- Gemergte PRs (30 T.)
- 8
Beitragsleitfaden
Für dieses Repository ist kein Beitragsleitfaden indexiert
Erste Schritte
- Lesen Sie das ganze Issue und danach den Beitragsleitfaden des Projekts.
- Schreiben Sie ins Issue, dass Sie es übernehmen — das erspart doppelte Arbeit.
- Forken Sie das Repository und arbeiten Sie in einem Branch.
- Öffnen Sie einen Pull Request, der die Issue-Nummer nennt.
Mehr aus apache/datafusion-python
-
enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
apache/datafusion-python#1757 ·
-
documentation
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 72/100
apache/datafusion-python#1726 ·
-
Schwierigkeit 2/5 Ein halber Tag Anfängerfreundlichkeit 88/100
apache/datafusion-python#1691 ·
-
bug
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 78/100
apache/datafusion-python#1644 ·
-
enhancement
Schwierigkeit 5/5 Über eine Woche Anfängerfreundlichkeit 30/100
apache/datafusion-python#1737 ·
Alle Issues in apache/datafusion-python
Ähnliche Issues
-
bug confirmed issue
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
open-webui/open-webui#30750 · 1 Kommentar ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
-
enhancement
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 75/100
OpenwaterHealth/openmotion-bloodflow-app#604 · 1 Kommentar ·
-
Schwierigkeit 2/5 1-3 Stunden Anfängerfreundlichkeit 70/100
-
good first issue
Schwierigkeit 1/5 Unter einer Stunde Anfängerfreundlichkeit 90/100