Finetuning Mistral with deepspeed
还没有人认领这个 Issue。
评估
- 难度
- 5/5
- 预计耗时
- 一周以上
- 新手友好度
- 25/100
- Issue 类型
- 功能
- 描述清晰度
- 需要澄清
- 活跃度
- 停滞
- 技术栈
- python
调研方向
阅读 fine_tune_deepspeed.py，从 load_training_dataset 开始，验证 Databricks 工作流如何提供训练数据，以及 Dataset.from_spark 需要什么。完成的标准是明确支持的 Dataset 输入，并且微调示例能够在不出现报告中的 Spark master 错误的情况下加载预期的训练和评估 split。
由索引模型根据 Issue 内容生成。
描述
In fine_tune_deepspeed.py, the first part of the load_training_dataset function looks like this:
def load_training_dataset(
tokenizer,
path_or_dataset: str = DEFAULT_TRAINING_DATASET,
max_seq_len: int = 256,
seed: int = DEFAULT_SEED,
) -> Dataset:
logger.info(f"Loading dataset from {path_or_dataset}")
dataset = load_dataset(path_or_dataset)
logger.info(f"Training: found {dataset['train'].num_rows} rows")
logger.info(f"Eval: found {dataset['test'].num_rows} rows")
The way this function is written, it seems like I have to upload a path to a huggingface dataset. Because this is in Databricks, I would like to pass in a spark dataframe, but load_dataset doesn't accept pyspark dataframes, so I edited to line to read dataset = Dataset.from_spark(path_or_dataset) but this gave me the error pyspark.errors.exceptions.base.PySparkRuntimeError: [MASTER_URL_NOT_SET] A master URL must be set in your configuration. You also cannot pass in an already created dataset object to load_dataset(). Should I just change the code to dataset = path_or_dataset? Or should I keep the code as-is and pass in a dbfs path to a, dataset object?
- 主要语言
- Python
- 星标
- 370
- 派生
- 132
- PR 合并指标
- 30 天内没有已合并 PR
环境准备
- 没有 Dockerfile 或 Docker Compose 文件
- 没有 Pull Request 模板
- 阅读贡献指南
从这里开始
- 先读完整个 Issue，再读项目的贡献指南。
- 在 Issue 下留言说明你要接手 —— 这能避免两个人做同样的事。
- Fork 仓库，在一个分支上完成修改。
- 提交 Pull Request，并在描述里引用这个 Issue 编号。
databricks/databricks-ml-examples 的其他 Issue
-
难度 3/5 1-2 天 新手友好度 35/100
-
难度 3/5 1-2 天 新手友好度 42/100
-
难度 2/5 1-3 小时 新手友好度 55/100
-
难度 3/5 1-2 天 新手友好度 35/100
-
GCP examples未关闭
难度 5/5 一周以上 新手友好度 20/100
databricks/databricks-ml-examples#88 · 1 条评论 ·
查看 databricks/databricks-ml-examples 的全部 Issue
相似的 Issue
-
难度 2/5 1-3 小时 新手友好度 77/100
TomerAberbach/profiler-md#733 ·
维护者通常 1 天内回复
-
难度 2/5 1-3 小时 新手友好度 68/100
its-me-prash/vwgroup-connect-ha#1858 ·
维护者通常 1 天内回复
-
area: client bug
难度 2/5 1-3 小时 新手友好度 68/100
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 85/100
leikoilja/ha-google-home#1107 ·
维护者通常 1 天内回复
-
bug
难度 2/5 1-3 小时 新手友好度 76/100
Graphify-Labs/graphify#4524 · 1 条评论 ·
维护者通常 1 天内回复