Coldstart Processor creating broken traces for cold start and next invocation

Đang mở
  • Có gì không ổn?
#2,099 2 bình luận 5 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
38/100
Loại issue
Lỗi
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Ít trao đổi
Công nghệ
aws, nodejs
Lĩnh vực
cloud, observability

Hướng nghiên cứu

Bắt đầu bằng cách tái hiện kịch bản bốn request với các layer Node.js và collector 0.19.0, sử dụng cấu hình coldstart trong collector.yaml được cung cấp. So sánh các trace thu được và output của collector, bao gồm init span của invocation đầu tiên; hoàn tất khi có bốn trace hoàn chỉnh, khác biệt đến nơi và trace coldstart chứa dữ liệu khởi tạo như mong đợi.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

bug processor/cold_start

Describe the bug
I was unable to get the coldstart processor to do what is says that it does on the tin. If i submit 4 requests to a helloworld function behind an api gateway I only end up with 3 traces in my observability platform. Two of these traces will use the same internal spans, have missing spans and appears to be related to the cold start. One trace goes missing. Invocations from coldstart + 3 appear normal.

Steps to reproduce

  • Create a hello world Lambda function fronted by either a REST or HTTP api in AWS
  • Deploy the api and function with the otel collector and nodejs layers bundled with a custom collector.yaml that enables the coldstart processor. ie.
processors:
  coldstart:
  resource:
    attributes:
      - key: deployment.environment.name
        value: '${env:ENVIRONMENT_NAME}'
        action: upsert

Additional configure the collector.yaml to send to your observability platform of choice.
I had the following env variables set for the function:

      // OpenTelemetry configuration
      AWS_LAMBDA_EXEC_WRAPPER: '/opt/otel-handler',
      OPENTELEMETRY_COLLECTOR_CONFIG_URI: '/var/task/collector.yaml',
      OTEL_TRACES_SAMPLER: 'always_on',
      OTEL_PROPAGATORS: 'tracecontext,baggage',
      OTEL_LAMBDA_DISABLE_AWS_CONTEXT_PROPAGATION: 'true',
      OTEL_NODE_ENABLED_INSTRUMENTATIONS: 'aws-sdk,aws-lambda,http,undici',
      OTEL_SERVICE_NAME: serviceName,
      OPENTELEMETRY_EXTENSION_LOG_LEVEL: 'INFO',

I tried active tracing on, passthrough and off.
I tried the insights layer on and off.

  • Manually trigger a http get request to the api/function endpoint four times
  • Check traces that arrive in the observability platform

What did you expect to see?
I expected to see 4 traces arrive in my observability platform (grafana cloud). I expected the first trace that would have triggered a cold start to have a trace that includes a span for the init phase and be of a longer duration than the other three.

What did you see instead?

  • Only three traces arrived.
Image

  • One trace went missing

  • The first two traces are broken

    • trace 1
    Image
    • trace 2
    Image
    • trace 3
    Image

What version of collector/language SDK version did you use?

  • 0.19.0 (collector layer)
  • 0.19.0 (nodejs layer)

What language layer did you use?
nodejs

Additional context
I tried a few different things to try and get this to work:

  • bundling to commonjs and esm
  • using a http or rest api gateway
  • removing the batch and decouple processors
  • putting the coldstart processor first/last in order of execution
  • setting the function active tracing to on, passthrough and off.
  • removing the insight lambda layer

Tip: React with 👍 to help prioritize this issue. Please use comments to provide useful context, avoiding +1 or me too, to help us triage it. Learn more here.

Ngôn ngữ chính
Go
Star
433
Fork
249
Merge trung bình
1 ngày 12 giờ
Pull request đã merge (30 ngày)
39

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của open-telemetry/opentelemetry-lambda

Tất cả issue của open-telemetry/opentelemetry-lambda

Issue tương tự

Thêm issue về Go

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.