Fixedstring type for SpanId and ParentId traces for better compression

Ouverte
#3,454 2 commentaires 0 réactions 0 personnes assignées Voir sur GitHub

Les mainteneurs répondent en général sous 1 jour

Personne n'a encore pris cette issue.

Évaluation

Difficulté
4/5
Temps estimé
3-5 jours
Accessibilité débutants
49/100
Type d'issue
Fonctionnalité
Clarté
Plutôt claire
Activité
Active
Stack technique
clickhouse, typescript

Piste de recherche

Start by locating where HyperDX defines or provisions its recommended ClickHouse otel_traces table, then read the relevant schema and trace ingestion code to see how TraceId, SpanId, and ParentSpanId are stored. Check the ClickHouse FixedString length requirements against the trace ID formats and existing data. Done means the issue's proposed migration has a confirmed scope and behavior; the issue does not specify which fields to change or how existing tables should migrate.

Rédigé par le modèle d'indexation à partir du texte de l'issue.

Description

enhancement external Needs Feedback

What are you trying to do?

In the current recommended Clickhouse table structure for Traces SpanId and TraceId have type String

CREATE TABLE IF NOT EXISTS ${DATABASE}.otel_traces
(
    `Timestamp` DateTime64(9) CODEC(Delta(8), ZSTD(1)),
    `TraceId` String CODEC(ZSTD(1)),
    `SpanId` String CODEC(ZSTD(1)),
    `ParentSpanId` String CODEC(ZSTD(1)),
    `TraceState` String CODEC(ZSTD(1)),

These two fields are compressing very badly and basically make up half of the table space usage on disk by themselves:

2. │ SpanId             │ 34.68 GiB       │ 100.74 GiB        │     2.9 │        17.55 │

What would you like to see?

Would it make sense to migrate them to FixedString type?

Langage dominant
TypeScript
Étoiles
10.1k
Forks
527
Merge moyen
1 j 20 h
PR mergées (30 j)
186

Préparer son environnement

Par où commencer

  1. Lisez l'issue en entier, puis le guide de contribution du projet.
  2. Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
  3. Forkez le dépôt et travaillez sur une branche.
  4. Ouvrez une pull request qui référence le numéro de l'issue.

Autres issues de ClickHouse/ClickStack

Toutes les issues de ClickHouse/ClickStack

Issues similaires

Plus d'issues TypeScript

Recevez les nouvelles issues par e-mail

Un résumé court des issues GitHub adaptées aux débutants.