delta-io/delta

[Feature Request][Spark] Update UniForm related comment to include description to Hudi

Open

#3.252 aberto em 11 de jun. de 2024

Ver no GitHub
 (3 comments) (0 reactions) (0 assignees)Scala (2.100 forks)batch import
enhancementgood first issue

Métricas do repositório

Stars
 (8.807 stars)
Métricas de merge de PR
 (Mesclagem média 7d 1h) (142 fundiu PRs em 30d)

Description

Feature request

Which Delta project/connector is this regarding?

  • Spark
  • Standalone
  • Flink
  • Kernel
  • Other (fill in here)

Overview

UniForm now supports both Hudi and Iceberg. But the comment in UniversalFormat.scala is outdated, only mentioning support to Iceberg. These comment in UniversalFormat.scala should be updated to describe the UniForm support to Hudi.

Example comments from the file:

Currently, UniForm only supports Iceberg. When `delta.universalFormat.enabledFormats` contains"iceberg", we say that Universal Format (Iceberg) is enabled.

Link

Motivation

Further details

Willingness to contribute

The Delta Lake Community encourages new feature contributions. Would you or another member of your organization be willing to contribute an implementation of this feature?

  • Yes. I can contribute this feature independently.
  • Yes. I would be willing to contribute this feature with guidance from the Delta Lake community.
  • No. I cannot contribute this feature at this time.

Guia do colaborador

Direção de pesquisa
Localize o arquivo `spark/src/main/scala/org/apache/spark/sql/delta/UniversalFormat.scala` e atualize os comentários que mencionam apenas Iceberg para incluir também Hudi, refletindo o suporte atual de formato duplo.
Pilha de tecnologia
scala
Domain
database
Tipo Issue
Documentação
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
1
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Menos de 1 hora
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Claro
Prerequisites
ScalaGit
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
90