delta-io/delta

[Kernel] Remove unecessary N.json loading for InCommitTimestamp value

Open

#4.914 aberto em 10 de jul. de 2025

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Scala (2.100 forks)batch import
good first issuekernel

Métricas do repositório

Stars
 (8.807 stars)
Métricas de merge de PR
 (Mesclagem média 7d 1h) (142 fundiu PRs em 30d)

Description

Today, Kernel will issue a cloud read request to read the Snapshot's latest N.json file, in order to read the in-commit-timestamp value from the CommitInfo action.

We should be able to remove such a cloud call (in 99.99% of cases). The basis for this is the following:

  • To get a Snapshot, we must resolve the latest Protocol and Metadata
  • We can get the latest P & M in one of two ways
  • First, by reading a .crc file. If so, the ICT value should be in there. (If not, we have to make the N.json cloud request later on)
  • Second, by reading the delta log .json files until we find the latest P & M. Even if the latest P & M are found in the latest N.json file, when ICT is enabled we require that the CommitInfo action is the first action written into such a file -- so we can guarantee we find it either way

Guia do colaborador

Direção de pesquisa
Investigue o código de resolução de snapshot no Delta Kernel para entender como o Protocol e o Metadata mais recentes são resolvidos. Examine o fluxo para leitura de arquivos .crc e arquivos .json do delta log. Identifique a chamada específica que carrega N.json para InCommitTimestamp e modifique a para primeiro verificar o arquivo .crc. Garanta que as alterações mantenham a correção para o caso de 0,01% em que o arquivo .crc não possui o valor ICT.
Pilha de tecnologia
scala
Domain
backend
Tipo Issue
Performance
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
1-2 dias
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ScalaDelta Lake internals
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
30