AutoML BinaryClassificationExperiment ignores ColumnInformation.ExampleWeightColumnName — trainers are fitted unweighted

Đang mở
  • Có gì không ổn?
#7,823 0 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
3/5
Thời gian dự kiến
1-2 ngày
Mức phù hợp với người mới
70/100
Loại issue
Lỗi
Độ rõ ràng
Đặc tả rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
csharp
Lĩnh vực
machine-learning

Hướng nghiên cứu

Start at BinaryClassificationExperiment.Execute and trace how ColumnInformation.ExampleWeightColumnName is passed to the trainers and validation metrics; the issue names no source files or tests. Compare the AutoML result with the direct LbfgsLogisticRegression example using the supplied weighted fixture. Done when the experiment either applies weights to fitting and validation or clearly warns or refuses a weighted request.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

area-AutoML untriaged
System information
  • Microsoft.ML 5.0.0, Microsoft.ML.AutoML 0.23.0
  • .NET 10 (net10.0), macOS arm64
Describe the bug

ColumnInformation.ExampleWeightColumnName is accepted by BinaryClassificationExperiment.Execute, but the weight column does not reach the trainers the experiment builds, nor its validation metrics. No warning is emitted, so the caller gets an unweighted model while believing it is weighted.

To reproduce

Fixture: 1,000 X values in [0,1] (plus a noise column Y), each row written twice — once Label=true, once Label=false — with weight W = 10 / 1 for true / false when X > 0.5, and 1 / 10 otherwise. Unweighted, the label is independent of X (P = 0.5 everywhere); weighted, P(true | X=0.9) ≈ 0.9.

  1. AutoML (15 s budget):

    ml.Auto().CreateBinaryClassificationExperiment(15).Execute(train, new ColumnInformation
{
    LabelColumnName = "Label",
    ExampleWeightColumnName = "W",
    NumericColumnNames = { "X", "Y" },
});

    Best run LbfgsLogisticRegressionBinary: P(true | X=0.9) = 0.49, P(true | X=0.1) = 0.49 — identical to the same experiment with W placed in IgnoredColumnNames. The per-trainer best validation AUCs were also identical in both runs (FastTree 0.41, FastForest 0.40, SdcaLogisticRegression 0.50, LbfgsLogisticRegression 0.53).

  2. The same trainer fitted directly:

    ml.Transforms.Concatenate("Features", "X", "Y")
  .Append(ml.BinaryClassification.Trainers.LbfgsLogisticRegression(exampleWeightColumnName: "W"));

    gives 0.96 / 0.04.

Expected behavior

Either the trainers AutoML constructs receive exampleWeightColumnName (the binary, multiclass and regression trainers it sweeps all accept it), with validation metrics weighted the same way — or Execute refuses / warns when ExampleWeightColumnName is set, so a weighted request cannot silently produce an unweighted fit.

Why it matters

Labels collected by importance sampling, or from sources of differing reliability, are trained with per-row weights. A silently unweighted fit learns the sampling bias, and nothing in the result tells the caller.

Related: #6708 (documentation of ExampleWeightColumnName).

Ngôn ngữ chính
C#
Star
9.4k
Fork
2k
Merge trung bình
2 ngày 18 giờ
Pull request đã merge (30 ngày)
64

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của dotnet/machinelearning

Tất cả issue của dotnet/machinelearning

Issue tương tự

Thêm issue về C#

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.