Performance improvment for open source models

Đang mở
  • Có gì không ổn?
#144 1 bình luận 1 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 2 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
5/5
Thời gian dự kiến
Hơn một tuần
Mức phù hợp với người mới
20/100
Loại issue
Tính năng
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
ai

Hướng nghiên cứu

Báo cáo không xác định tệp mã nguồn, bài kiểm thử hoặc điểm vào. Hãy bắt đầu bằng cách tái hiện các lỗi với Qwen2.5-Coder:32b và CodeLlama:34b bằng các truy vấn đơn giản đã mô tả, sau đó truy vết xem việc tạo khối mã, tra cứu dữ liệu hay tuân thủ mẫu mã là phần bị lỗi; để được xem là hoàn tất, cần có một cải thiện được xác định rõ và có thể tái hiện.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Hi,

I'm using the data formulator with the open source models like qwen2.5-coder:32b or codellama:34b however 95% of the time, the models fail even with the simple and easy queries. The models fail to generate the code block, cannot find the data, or don't follow the code template. Is there any way to improve the performance of the agents? I tried enhancing the prompt, providing more examples to system prompts, but still failing.

Thanks

Ngôn ngữ chính
Python
Star
17.7k
Fork
1.7k
Merge trung bình
4 ngày 1 giờ
Pull request đã merge (30 ngày)
8

Chuẩn bị môi trường

Mở trong Codespaces

Khởi chạy dev container của dự án ngay trên trình duyệt, bằng tài khoản GitHub của bạn.

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của microsoft/data-formulator

Tất cả issue của microsoft/data-formulator

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.