check-alerts worker: 13 error spans (mongodb.create, NamespaceExists) every minute because mongoose autoCreate is still on
Les mainteneurs répondent en général sous 1 jour
Personne n'a encore pris cette issue.
- #3546 par @CG-5228 — fermée sans fusion
Évaluation
- Difficulté
- 2/5
- Temps estimé
- 1-3 heures
- Accessibilité débutants
- 72/100
- Type d'issue
- Bug
- Clarté
- Clairement spécifiée
- Activité
- Active
- Stack technique
- mongodb, typescript
- Domaine
- backend, observability
Piste de recherche
Commencez par lire DefaultAlertProvider.init() et asyncDispose() dans le worker check-alerts, puis examinez comment connectDB transmet les options de Mongoose ; PR #2887 fournit un contexte pertinent pour autoIndex. Vérifiez que autoCreate: false est appliqué à la connexion de ce worker, puis exécutez le worker ou les tests pertinents et vérifiez que les exécutions répétées n’émettent plus les 13 spans d’erreur mongodb.create.
Rédigé par le modèle d'indexation à partir du texte de l'issue.
Description
What happened?
Our self-hosted HyperDX sends its own telemetry to a collector, so we see what the check-alerts worker does. Every minute its trace contains 13 failed spans named mongodb.create with the status message "Collection already exists", one per model: hyperdx.alerts, alerthistories, connections, dashboards, favorites, pinnedfilters, presetdashboardfilters, savedsearches, sources, teams, teaminvites, users and webhooks. On an idle instance that adds up to roughly 19 000 error spans a day, and the Service Dashboard shows a 55 % client error rate for the hyperdx service. Nothing is actually broken, alerts still run.
The cause, as far as I can tell from the code: DefaultAlertProvider.init() opens a new connection on every run (connectDB with autoIndex false) and asyncDispose() closes it again. Mongoose still has autoCreate on, so on every fresh connection Model.init() calls createCollection for each model. The collections exist, MongoDB answers NamespaceExists (code 48), Mongoose ignores that error, but the OpenTelemetry mongodb instrumentation has already recorded a failed command.
PR #2887 turned autoIndex off in that worker for the same reason (the API service owns the schema). Passing autoCreate: false alongside it should remove the 13 commands per run. Happy to open that PR if you want it.
Steps to reproduce
- Run the hyperdx image with HYPERDX_API_KEY and OTEL_EXPORTER_OTLP_ENDPOINT pointing at a collector.
- Wait a minute for the check-alerts cron.
- Search traces for
StatusCode:Error– 13 mongodb.create spans per minute.
How are you running HyperDX?
Self-hosted, image hyperdx/hyperdx:2.40.0 with mongo:5.0.32 as rootless Podman containers; own ClickHouse 26.8 and OpenTelemetry Collector 0.162.0 on separate hosts.
Where does it show up?
In the traces of the hyperdx service itself (Search with source Traces, Service Dashboard). Not a UI bug.
Debug info
N/A (worker process, not the UI)
Logs
SpanName: mongodb.create (Client)
StatusCode: Error
StatusMessage: Collection already exists. NS: hyperdx.teams
ScopeName: @opentelemetry/instrumentation-mongodb 0.52.0
service.version: 2.40.0
- Langage dominant
- TypeScript
- Étoiles
- 10.1k
- Forks
- 527
- Merge moyen
- 1 j 20 h
- PR mergées (30 j)
- 186
Préparer son environnement
- Fournit un Dockerfile ou un fichier Docker Compose
- Propose un modèle de pull request
- Lire le guide de contribution
Par où commencer
- Lisez l'issue en entier, puis le guide de contribution du projet.
- Signalez en commentaire que vous la prenez — cela évite que deux personnes fassent le même travail.
- Forkez le dépôt et travaillez sur une branche.
- Ouvrez une pull request qui référence le numéro de l'issue.
Autres issues de ClickHouse/ClickStack
-
external
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
ClickHouse/ClickStack#3761 ·
Les mainteneurs répondent en général sous 1 jour
-
Metric chart with aggFn increase and a multi-column group-by fails: toString() gets several argumentsPeut-être pris @CG-5228 l’a pris il y a 26 jours. Ouverteexternal
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
ClickHouse/ClickStack#3477 · 1 commentaire ·
Les mainteneurs répondent en général sous 1 jour
-
Slack notifications for inline alerts fail when the chart-explorer link passes Slack's 3000-character block limitPeut-être pris @Tyagiquamar l’a pris il y a 27 jours. Ouvertealerting bug external
Difficulté 2/5 1-3 heures Accessibilité débutants 76/100
ClickHouse/ClickStack#3452 ·
Les mainteneurs répondent en général sous 1 jour
-
count_distinct aggFn on metric tiles ignores valueExpression, always counts distinct metric ValuesPeut-être pris @Harshul1484 l’a pris il y a 54 jours. Ouverte
Difficulté 2/5 1-3 heures Accessibilité débutants 72/100
ClickHouse/ClickStack#2311 ·
Les mainteneurs répondent en général sous 1 jour
-
enhancement Needs Feedback
Difficulté 5/5 Plus d'une semaine Accessibilité débutants 25/100
ClickHouse/ClickStack#3687 ·
Les mainteneurs répondent en général sous 1 jour
Toutes les issues de ClickHouse/ClickStack
Issues similaires
-
Add: GTrekkerOuvertecheck:passed streams:add
Difficulté 1/5 Moins d'une heure Accessibilité débutants 72/100
Les mainteneurs répondent en général sous 1 jour
-
area: ui Bug Payload OSS
Difficulté 1/5 Moins d'une heure Accessibilité débutants 88/100
payloadcms/payload#19839 ·
Les mainteneurs répondent en général sous 1 jour
-
Difficulté 2/5 1-3 heures Accessibilité débutants 85/100
Les mainteneurs répondent en général sous 1 jour
-
fix(auth): add the email OTP verification step to Pollar loginPeut-être pris @akansnoro l’a pris aujourd’hui. OuverteStellar Wave
Difficulté 2/5 1-3 heures Accessibilité débutants 74/100
safetrustcr/dApp-SafeTrust#584 · 10 commentaires ·
Les mainteneurs répondent en général sous 1 jour
-
The manager preset saves launch definitions without the required file and digest pairPeut-être pris Une pull request liée à cette issue est ouverte ou déjà fusionnée. Ouvertebug
Difficulté 2/5 1-3 heures Accessibilité débutants 80/100
Les mainteneurs répondent en général sous 1 jour