A question about the detail of data preprocessing
Chưa có ai nhận issue này.
Đánh giá
- Độ khó
- 1/5
- Thời gian dự kiến
- Dưới một giờ
- Mức phù hợp với người mới
- 25/100
- Loại issue
- Tài liệu
- Độ rõ ràng
- Cần làm rõ
- Mức độ hoạt động
- Đình trệ
- Công nghệ
- python
- Lĩnh vực
- data-engineering, machine-learning
Hướng nghiên cứu
Start with preprocess/1_split_raw.py at line 33 and trace how train.txt is read or produced. Document what data belongs in train.txt and whether it contains all training code; done when the preprocessing input and split expectations are clear.
Do mô hình lập chỉ mục viết ra từ nội dung của issue.
Mô tả
Hello!
I would like to finetune the model, and during the part of data preprocessing. I saw that in line 33 of the file https://github.com/salesforce/jaxformer/blob/main/preprocess/1_split_raw.py, the code is args.data_bucket_path = '/tmp/dataset_v1/ 0_raw/train.txt'.
I would like to know what kind of data is in the file train.txt? Is all the code data to be trained put into this train.txt file?
- Ngôn ngữ chính
- Python
- Star
- 5.2k
- Fork
- 420
- Chỉ số merge pull request
- Không có pull request nào được merge trong 30 ngày
Hướng dẫn đóng góp
Bắt đầu từ đâu
- Đọc hết issue, rồi đọc hướng dẫn đóng góp của dự án.
- Bình luận trên issue rằng bạn sẽ nhận — tránh hai người làm cùng một việc.
- Fork repository và làm thay đổi trên một nhánh.
- Mở pull request có tham chiếu số hiệu của issue.
Issue khác của salesforce/CodeGen
-
Verify evals on Papers with Code Đang mở
Độ khó 2/5 1-3 giờ Mức phù hợp với người mới 45/100
salesforce/CodeGen#107 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 20/100
salesforce/CodeGen#104 ·
-
Độ khó 5/5 Hơn một tuần Mức phù hợp với người mới 25/100
salesforce/CodeGen#101 ·
-
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 48/100
salesforce/CodeGen#95 ·
-
Độ khó 3/5 1-2 ngày Mức phù hợp với người mới 35/100
salesforce/CodeGen#94 · 8 bình luận ·
Tất cả issue của salesforce/CodeGen
Issue tương tự
-
agent-ready documentation needs-triage
Độ khó 1/5 1-3 giờ Mức phù hợp với người mới 88/100
-
documentation
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 91/100
-
workflow-status page template still says reusable workflows are "triggered only by workflow_call:" Đang mở
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 92/100
-
Add https://search.jeremyh.xyz/ Đang mởinstance instance add
Độ khó 1/5 Dưới một giờ Mức phù hợp với người mới 72/100
searxng/searx-instances#939 · 1 bình luận ·
-
area-deployment area-integrations triage:bot-seen
Độ khó 2/5 Nửa ngày Mức phù hợp với người mới 86/100