Hacktoberfest 2026: những issue maintainer đã đánh dấu cho tháng Mười, đang mở và phù hợp người mới. Xem issue Hacktoberfest

cannot run fine-tuned gpt-oss model correctly

Đang mở
  • Có gì không ổn?
#2,054 0 bình luận 1 reaction 0 người được giao Xem trên GitHub

Maintainer thường phản hồi trong vòng 1 ngày

Chưa có ai nhận issue này.

Đánh giá

Độ khó
4/5
Thời gian dự kiến
3-5 ngày
Mức phù hợp với người mới
25/100
Loại issue
Lỗi
Độ rõ ràng
Cần làm rõ
Mức độ hoạt động
Đình trệ
Công nghệ
python
Lĩnh vực
ai, backend-api-design, machine-learning

Hướng nghiên cứu

Issue báo cáo đầu ra không chính xác từ một mô hình GPT fine-tuned so với llama.cpp. Người dùng cung cấp đường dẫn mô hình và mã gọi. Bắt đầu bằng cách kiểm tra việc khởi tạo lớp LlamaCpp và phương thức invoke trong các bindings của llama-cpp-python. So sánh định dạng đầu ra và quá trình xử lý token với hành vi native của llama.cpp. Kiểm tra xem issue có liên quan đến 'harmony format' hoặc các chi tiết riêng trong việc tải mô hình đối với các mô hình fine-tuned hay không. Tái hiện lỗi bằng mô hình và prompt được cung cấp để xem đầu ra không khớp.

Do mô hình lập chỉ mục viết ra từ nội dung của issue.

Mô tả

Expected Behavior

Should produce the similar output format as llamacpp

Current Behavior

The output is wrong. Maybe related to the harmony format?

The current output of llamacpp-python:
Answer: weak
Llama.generate: 7 prefix-match hit, remaining 1 prompt tokens to eval
form, also known as variational form or integrated form, is a reformulation of a differential equation that involves integrals rather than derivatives.

Question: what is strong form
Answer: strong form, also known as the standard form or classical form, is a formulation of a partial differential equation in which all terms involve derivatives.

Yes, what is weak solution? how to set of a) to b)
how
for

theorem
How do you like
of
Questionary

To solve

Sure

What if
question: strong form

(what is the strong form


# Environment and Context

Please provide detailed information about your computer setup. This is important in case the issue is not reproducible except for under certain specific conditions.

* Physical (or virtual) hardware you are using, e.g. for Linux:

`$ lscpu`

Architecture:                       x86_64
CPU op-mode(s):                     32-bit, 64-bit
Byte Order:                         Little Endian
Address sizes:                      48 bits physical, 48 bits virtual
CPU(s):                             96
On-line CPU(s) list:                0-95
Thread(s) per core:                 2
Core(s) per socket:                 24
Socket(s):                          2
NUMA node(s):                       2
Vendor ID:                          AuthenticAMD
CPU family:                         25
Model:                              1
Model name:                         AMD EPYC 7413 24-Core Processor
Stepping:                           1
Frequency boost:                    enabled
CPU MHz:                            1498.207
CPU max MHz:                        2650.0000
CPU min MHz:                        1500.0000
BogoMIPS:                           5299.85
Virtualization:                     AMD-V
L1d cache:                          1.5 MiB
L1i cache:                          1.5 MiB
L2 cache:                           24 MiB
L3 cache:                           256 MiB
NUMA node0 CPU(s):                  0-23,48-71
NUMA node1 CPU(s):                  24-47,72-95


* Operating System, e.g. for Linux:

`$ uname -a`


Linux athena 5.4.0-176-generic #196-Ubuntu SMP Fri Mar 22 16:46:39 UTC 2024 x86_64 x86_64 x86_64 GNU/Linux

* SDK version, e.g. for Linux:

$ python3 --version
Python 3.10.18
$ make --version
GNU Make 4.2.1
$ g++ --version
g++ (Ubuntu 9.4.0-1ubuntu1~20.04.2) 9.4.0


# Failure Information (for bugs)

Just call the model, didn't produce the correct result. But llammacpp works well, give me the correct output.

# Steps to Reproduce

Please provide detailed steps for reproducing the issue. We are not sitting in front of your screen, so the more detail the better.

# Make sure the model path is correct for your system!
llm = LlamaCpp(
    model_path="/mnt/a/jgz1751/finetune/step8GGUF/gguf/Model_Final-32x2.4B-Q8_0.gguf",
    temperature=0.75,
    max_tokens=2000,
    top_p=1,
    callback_manager=callback_manager,
    verbose=True,  # Verbose is required to pass to the callback manager
)


question = """
Question: what is weak form
"""
llm.invoke(question)
Ngôn ngữ chính
Python
Star
10.6k
Fork
1.5k
Merge trung bình
3 giờ 57 phút
Pull request đã merge (30 ngày)
4

Chuẩn bị môi trường

Bắt đầu từ đâu

  1. Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
  2. Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
  3. Fork repository và làm thay đổi trên một nhánh.
  4. Mở pull request có tham chiếu số hiệu của issue.

Issue khác của abetlen/llama-cpp-python

Tất cả issue của abetlen/llama-cpp-python

Issue tương tự

Thêm issue về Python

Nhận issue mới trong hộp thư của bạn

Bản tóm tắt ngắn những issue GitHub phù hợp với người mới.