Clarity on training data for each of the codegen versions
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 20/100
- Issue 类型
- 文档
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- machine-learning
调研方向
Start by checking the "lessons learnt from codegen2" paper and the available documentation for CodeGen2 and CodeGen2.5 base models. Verify whether their training data included ThePile and TheStarCoder, and whether a model at or below 7B used both datasets. Done means documenting a source-backed answer.
由索引模型根据 Issue 内容生成。
描述
In the "lessons learnt from codegen2" paper, it's discussed that data mix of pile and thestarcoder data is a better choice to undertake if enough compute is available, but it's not clear if codegen2 or codegen2.5 (base models not instruct models) were trained with natural language data like ThePile etc. Is there any small model <=7B which is trained on both ThePile and TheStarCoder data?
- 主要语言
- Python
- 星标
- 5.2k
- 派生
- 420
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
salesforce/CodeGen 的其他 Issue
-
难度 2/5 1-3 小时 新手友好度 45/100
salesforce/CodeGen#107 ·
-
难度 5/5 一周以上 新手友好度 20/100
salesforce/CodeGen#104 ·
-
难度 5/5 一周以上 新手友好度 25/100
salesforce/CodeGen#101 ·
-
难度 1/5 1 小时以内 新手友好度 48/100
salesforce/CodeGen#95 ·
-
难度 3/5 1-2 天 新手友好度 35/100
salesforce/CodeGen#94 · 8 条评论 ·
查看 salesforce/CodeGen 的全部 Issue
相似的 Issue
-
pydanty:is-working
难度 2/5 1-3 小时 新手友好度 78/100
pydantic/pydantic-ai#8843 ·
维护者通常 1 天内回复
-
breaking change enhancement server
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 88/100
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 72/100
维护者通常 1 天内回复
-
needs-triage
难度 2/5 1-3 小时 新手友好度 85/100
维护者通常 1 天内回复