apache/pinot

Pinot can't skip creating derived column when configured in transform functions

Open

#7627 aperta il 25 ott 2021

Vedi su GitHub
 (0 commenti) (0 reazioni) (0 assegnatari)Java (1234 fork)batch import
help wanted

Metriche repository

Star
 (4937 star)
Metriche merge PR
 (Merge medio 6g 7h) (186 PR mergiate in 30 g)

Descrizione

When reloading segments, pinot will skip many segments when derived column not configured in schema or segments metadata , which will cause some segments not synced latest new columns

We got the following error message when query from table: image

Code need remove:

for (String argument : arguments) {
  ColumnMetadata columnMetadata = _segmentMetadata.getColumnMetadataFor(argument);
  if (columnMetadata == null) {
    LOGGER.warn("Skip creating derived column: {} because argument: {} does not exist in the segment", column,
        argument);
    return false;
  }
  argumentsMetadata.add(columnMetadata);
}

Guida contributor

Direzione di ricerca
Individua il ciclo nel codice che controlla i metadati delle colonne durante la creazione di colonne derivate e rimuovilo. Quindi verifica che i segmenti vengano ricaricati senza saltare quando la colonna derivata non è configurata.
Tech stack
java
Dominio
backenddatabase
Tipo issue
Bug
DifficoltàQuanto dovrebbe essere impegnativa per un nuovo contributor.
2
Tempo stimatoTempo stimato per completare e verificare uno scope piccolo.
1-3 ore
Stato attivitàQuanto è probabile che la issue sia ancora attiva e reviewable.
Attiva
ChiarezzaQuanto chiaramente la issue descrive problema, scope e risultato atteso.
Chiara
Prerequisiti
JavaGit
Adatta ai principiantiQuanto la issue è adatta a contributor alla prima esperienza.
75