Cannot list Trino tables from Hive metastore using derby

Aperta
#318 0 commenti 0 reazioni 0 assegnatari Vedi su GitHub

Nessuno ha ancora preso questa issue.

Valutazione

Difficoltà
4/5
Tempo stimato
3-5 giorni
Idoneità per principianti
25/100
Tipo di issue
Bug
Chiarezza
Da chiarire
Stato di attività
Ferma
Stack tecnologico
kubernetes
Ambito
databases, distributed-systems

Direzione di ricerca

Inizia con il percorso SHOW TABLES IN hive.myschema e il deployment Hive metastore/Trino descritto nel report; confronta la configurazione Derby con la configurazione Postgres funzionante ed esamina la discussione correlata su Derby nell’issue 154. Il lavoro è completo quando è stato determinato se Derby può essere supportato per questo caso d’uso e la gestione concordata è stata registrata o implementata, con l’elenco delle tabelle verificato.

Scritto dal modello di indicizzazione a partire dal testo della issue.

Descrizione

type/bug

I wanted to connect Superset to Trino (V403) using Hive(V3.1.3) connector and a shared S3 bucket.

Creating a schema in Trino worked, the schema could be listed as well:
CREATE SCHEMA IF NOT EXISTS hive.myschema WITH (location = 's3a://bucket/')

Creating a table in that schema and querying that (via Trino CLI or Superset SQL query) worked:

CREATE TABLE IF NOT EXISTS hive.myschema.mytable (
  myInt   BIGINT
)
WITH (
  external_location = 's3a://bucket/foo/',
  format = 'PARQUET'
);

Listing that table via:
SHOW TABLES IN hive.myschema

leads to a EXTERNAL_HIVE_EXCEPTION due to a socket timeout (in Trino). The Hive metastore pod was reachable from the Trino coordinator pod (curl).

In Superset, when creating a dataset from a Trino database, the tables cannot be listed either (and therefore no dataset created). This can be circumvented but is not great in terms of user experience.

Switching Hive to Postgres instead of Derby worked.

We have a related issue (comment) with Derby https://github.com/stackabletech/hive-operator/issues/154#issuecomment-1182968401 to document that this should not be used for HA or in production at all.

In demos and integration tests with hive, afaik we always use Postgres.

This needs some investigation and a decision on how to deal/support Derby in the future.

I did not test Hive 2.3.9 or other Trino versions.

Lingua principale
Rust
Stelle
29
Fork
2
Merge medio
1g 19h
PR unite (30g)
12

Guida per i contributori

Nessuna guida per i contributori indicizzata per questo repository

Come iniziare

  1. Leggi tutta la issue e poi la guida ai contributi del progetto.
  2. Commenta sulla issue per dire che te ne occupi tu — evita che due persone facciano lo stesso lavoro.
  3. Fai un fork del repository e lavora su un branch.
  4. Apri una pull request che faccia riferimento al numero della issue.

Altre issue di stackabletech/hive-operator

Tutte le issue di stackabletech/hive-operator

Issue simili

Altre issue su Rust

Ricevi le nuove issue nella tua casella

Un breve riepilogo di issue GitHub adatte ai principianti.