influxdata/telegraf

Auto create table in BigQuery

Open

#13.033 aberto em 4 de abr. de 2023

Ver no GitHub
 (2 comments) (0 reactions) (0 assignees)Go (4.161 forks)batch import
area/gcpfeature requesthelp wantedplugin/output

Métricas do repositório

Stars
 (9.892 stars)
Métricas de merge de PR
 (Mesclagem média 2d 12h) (136 fundiu PRs em 30d)

Description

Use Case

With some input plugins the metric names and formats are unknown on beforehand, the number of tags and fields can vary over time. Therefore it would be nice if the outputs.bigquery plugin could handle this in a way similar to the outputs.sql plugin.

Expected behavior

Telegraf creates the required table in BigQuery with all the corresponding metric fields and tags just as the sql

Actual behavior

Tables for metrics need to be created on beforehand in BigQuery.

Additional info

Here is a PoC which adds a new BigQuery field on the fly, proving it should be possible.

Guia do colaborador

Direção de pesquisa
Examine o PoC fornecido e entenda como adicionar campos dinamicamente à tabela do BigQuery. Em seguida, adapte o plugin outputs.bigquery existente para criar automaticamente tabelas com todos os campos e tags das métricas, semelhante ao plugin outputs.sql.
Pilha de tecnologia
go
Domain
backendapidatabase
Tipo Issue
Funcionalidade
DifficultyDificuldade de implementação estimada para um novo contribuidor, de 1 para alterações muito pequenas a 5 para trabalho de nível especializado.
3
Tempo estimadoUm intervalo de tempo aproximado para um colaborador experiente investigar, implementar, testar e preparar um pull request.
Meio dia
Status da atividadeQuão disponível o issue aparece agora: novo, ativo, obsoleto, bloqueado ou aguardando entrada do mantenedor.
Ativo
ClarityCom que clareza o issue explica a mudança esperada, os critérios de aceitação e a próxima etapa.
Precisa de investigação
Prerequisites
GoBigQuery
Simpatia para novatosUma pontuação de 1 a 100 que estima o quão acessível este issue é para colaboradores iniciantes.
50