influxdata/telegraf

Auto create table in BigQuery

Open

#13 033 ouverte le 4 avr. 2023

Voir sur GitHub
 (2 commentaires) (0 réactions) (0 assignés)Go (4 161 forks)batch import
area/gcpfeature requesthelp wantedplugin/output

Métriques du dépôt

Stars
 (9 892 stars)
Métriques de merge PR
 (Merge moyen 2j 12h) (136 PRs mergées en 30 j)

Description

Use Case

With some input plugins the metric names and formats are unknown on beforehand, the number of tags and fields can vary over time. Therefore it would be nice if the outputs.bigquery plugin could handle this in a way similar to the outputs.sql plugin.

Expected behavior

Telegraf creates the required table in BigQuery with all the corresponding metric fields and tags just as the sql

Actual behavior

Tables for metrics need to be created on beforehand in BigQuery.

Additional info

Here is a PoC which adds a new BigQuery field on the fly, proving it should be possible.

Guide contributeur

Direction de recherche
Examinez l'extrait de code PoC fourni et comprenez comment ajouter dynamiquement des champs à une table BigQuery. Adaptez ensuite le plugin outputs.bigquery existant pour créer automatiquement des tables avec tous les champs et tags de métriques, similaire au plugin outputs.sql.
Stack technique
go
Domaine
backendapidatabase
Type d'issue
Fonctionnalité
DifficultéDifficulté estimée pour un nouveau contributeur, de 1 pour un très petit changement à 5 pour un travail expert.
3
Temps estiméFourchette de temps approximative pour investiguer, implémenter, tester et préparer une pull request.
Une demi journée
Statut d'activitéDisponibilité apparente de l'issue : fraîche, active, ancienne, bloquée ou en attente d'un mainteneur.
Active
ClartéClarté avec laquelle l'issue explique le changement attendu, les critères d'acceptation et la prochaine étape.
Investigation requise
Prérequis
GoBigQuery
Accessibilité débutantScore de 1 à 100 estimant l'accessibilité de cette issue pour un premier contributeur.
50