Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

[Bug] filestatus not cached

Đang mở
  • Có gì không ổn?
#7,192 1 bình luận 0 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
30/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
hadoop, scala, spark
Lĩnh vực
databases, distributed-systems, performance

Hướng nghiên cứu

Issue không nêu tên file hoặc test nào. Hãy bắt đầu bằng cách xác định filestatus cache và hivetable creation path được tham chiếu trong báo cáo, sau đó truy vết lý do mỗi lookup nhận được một client ID mới. Công việc được xem là hoàn tất khi các request lặp lại sử dụng lại key hoặc object được cache, tránh việc thực hiện HDFS lặp lại và việc cache tăng trưởng không giới hạn, đồng thời có regression coverage cho việc tái sử dụng cache và các ID ổn định.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

kind:bug priority:major
Code of Conduct
Search before asking
  • I have searched in the issues and found no similar issues.
Describe the bug

The previous filestatus will not be cached, as its source hivetable will be created every time, and the filestatus will also be created, resulting in different client IDs for the cached object's key, leading to cache invalidation.

It can cause two problems:

  1. Cache failure, which greatly affects query performance because obtaining filestatus from HDFS is a slow process.
  2. Memory leakage occurs because objects are constantly added to the cache, and since the default cache time is -1, the memory will become larger and larger.
  3. Because the cache has no cache, Spark will restart the job query, which will consume more time. If there are over 1000 partitions, this job will start over 1000 tasks
Affects Version(s)

master

Kyuubi Server Log Output
Kyuubi Engine Log Output
Kyuubi Server Configurations
Kyuubi Engine Configurations
Additional context

No response

Are you willing to submit PR?
  • Yes. I would be willing to submit a PR with guidance from the Kyuubi community to fix.
  • No. I cannot submit a PR at this time.
Ngôn ngữ chính
Scala
Star
2.4k
Fork
1k
Không có pull request nào được merge trong 30 ngày

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của apache/kyuubi

Tất cả issue của apache/kyuubi

Issue tương tự

Thêm issue về Scala

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.