delta-io/delta

[Kernel] Remove unecessary N.json loading for InCommitTimestamp value

Open

#4914 aperta il 10 lug 2025

Vedi su GitHub
 (3 commenti) (0 reazioni) (0 assegnatari)Scala (2100 fork)batch import
good first issuekernel

Metriche repository

Star
 (8807 star)
Metriche merge PR
 (Merge medio 7g 1h) (142 PR mergiate in 30 g)

Descrizione

Today, Kernel will issue a cloud read request to read the Snapshot's latest N.json file, in order to read the in-commit-timestamp value from the CommitInfo action.

We should be able to remove such a cloud call (in 99.99% of cases). The basis for this is the following:

  • To get a Snapshot, we must resolve the latest Protocol and Metadata
  • We can get the latest P & M in one of two ways
  • First, by reading a .crc file. If so, the ICT value should be in there. (If not, we have to make the N.json cloud request later on)
  • Second, by reading the delta log .json files until we find the latest P & M. Even if the latest P & M are found in the latest N.json file, when ICT is enabled we require that the CommitInfo action is the first action written into such a file -- so we can guarantee we find it either way

Guida contributor

Direzione di ricerca
Analizza il codice di risoluzione dello snapshot in Delta Kernel per capire come vengono risolti i più recenti Protocol e Metadata. Esamina il flusso per la lettura dei file .crc e dei file .json del delta log. Identifica la chiamata specifica che carica N.json per InCommitTimestamp e modificala per controllare prima il file .crc. Assicurati che le modifiche mantengano la correttezza per lo 0.01% dei casi in cui il file .crc non contiene il valore ICT.
Tech stack
scala
Dominio
backend
Tipo issue
Performance
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
3
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-2 giorni
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
ScalaDelta Lake internals
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
30