Upgrade integration test Hive version

Đang mở
  • Có gì không ổn?
#3,175 0 bình luận 1 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
45/100
Loại issue
Tính năng
Độ rõ ràng
Khá rõ ràng
Mức độ hoạt động
Sôi nổi
Công nghệ
rust
Lĩnh vực
databases, testing

Hướng nghiên cứu

Xác định fixture kiểm thử tích hợp HMS và client Rust HMS, sau đó tái hiện thí nghiệm với apache/hive:4.0.1 và các dependency S3 tương ứng của Hadoop 3.3.6. Bắt đầu với phần coverage đang thất bại của các thao tác trên bảng xoay quanh lỗi Invalid method name: 'get_table'. Hoàn tất khi fixture và client hoạt động với một bản phát hành Hive 4 được hỗ trợ và các bài kiểm thử catalog rộng hơn đều vượt qua.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Context

The HMS integration-test fixture currently uses apache/hive:3.1.3 with Hadoop 3.1.0 and Tez 0.9.1.

Apache Hive declared the entire 3.x release line end-of-life on 8 October 2024. Hive 3.1.3 is now available only from the Apache historical archive and no longer receives fixes or security updates.

https://github.com/apache/iceberg-rust/pull/3174 removes the fixture build’s dependency on expired Debian Bullseye package metadata, but it intentionally retains Hive 3.1.3 to avoid changing HMS behavior while unblocking CI.

Problem

Rebuilding Hive 3.1.3 on a maintained operating-system image would address the EOL base image, but Hive itself and its bundled dependencies would remain unsupported.

The durable solution is to migrate the test fixture and Rust HMS client to a supported Hive 4 release.

This is not currently a drop-in image update. An experiment with apache/hive:4.0.1 showed:

  • The Hive Metastore starts successfully with matching Hadoop 3.3.6 S3 dependencies.

  • Basic HMS namespace operations pass.

  • Broader catalog coverage fails during table operations with:

    Invalid method name: 'get_table'
Ngôn ngữ chính
Rust
Star
1.4k
Fork
618
Merge trung bình
3 ngày 1 giờ
Pull request đã merge (30 ngày)
80

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/iceberg-rust

Tất cả issue của apache/iceberg-rust

Issue tương tự

Thêm issue về Rust

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.