检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
run.sh脚本测试ModelArts训练整体流程 自定义容器在ModelArts上训练和本地训练的区别如下图： 图1 本地与ModelArts上训练对比 ModelArts上进行训练比本地训练多了一步OBS和容器环境的数据迁移工作。 增加了和OBS交互工作的整个训练流程如下：
local_data_dir) mox.file.copy_parallel(obs_model_dir,local_model_dir) 以此，OBS中的数据已迁移至云硬盘EVS中，并可通过Notebook随时访问并编辑云硬盘EVS中的数据 父主题： 准备工作
local_data_dir) mox.file.copy_parallel(obs_model_dir,local_model_dir) 以此，OBS中的数据已迁移至云硬盘EVS中，并可通过Notebook随时访问并编辑云硬盘EVS中的数据 父主题： 准备工作
local_data_dir) mox.file.copy_parallel(obs_model_dir,local_model_dir) 以此，OBS中的数据已迁移至云硬盘EVS中，并可通过Notebook随时访问并编辑云硬盘EVS中的数据 父主题： 准备工作
local_data_dir) mox.file.copy_parallel(obs_model_dir,local_model_dir) 以此，OBS中的数据已迁移至云硬盘EVS中，并可通过Notebook随时访问并编辑云硬盘EVS中的数据 父主题： 准备工作
在统一身份认证服务页面的左侧导航选择“用户组”，在用户组页面查找待授权的用户组名称，在右侧的操作列单击“授权”，勾选步骤2创建的自定义策略，单击“下一步”，选择授权范围方案，单击“确定”。 此时，该用户组下的所有用户均有权限通过Cloud Shell登录运行中的训练作业容器。 如果没有用户组，也可以创建一个新
y”，在右侧的操作列单击“授权”，勾选步骤2创建的自定义策略“委托modelarts操作SFS Turbo”，单击“下一步”，选择授权范围方案，单击“确定”。 此时，拥有该委托的所有用户均有权限进行关联与解除关联操作。 验证 登录ModelArts控制台，选择“专属资源池 > 网
com/solutions/29894，（可能会影响文件检索性能）。 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCod
过该阈值的文件将使用并发下载模式进行分段下载。 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCod
Decoding特性不能和multi-step同时使用。 离线推理使用Guided Decoding 离线推理，要使用guided-decoding，需要通过SamplingParams类中的GuidedDecodingParams进行配置。 下面是一种离线使用方式示例： from vllm import
local_data_dir) mox.file.copy_parallel(obs_model_dir,local_model_dir) 以此，OBS中的数据已迁移至SFS Turbo中，并可通过Notebook随时访问并编辑SFS Turbo中的数据。 Notebook中安装依赖包并保存镜像 在后续训练步骤中，训练作业启动命令中包含sh
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.911）
训练脚本说明参考 训练启动脚本说明和参数配置 训练的数据集预处理说明 训练中的权重转换说明 训练tokenizer文件说明 离线训练安装包准备说明 父主题： 主流开源大模型基于Lite Server适配ModelLink PyTorch NPU训练指导（6.3.910）
准备模型训练镜像 创建调试训练作业 创建算法 创建生产训练作业（默认页面） 创建生产训练作业（新版页面） 分布式模型训练 模型训练存储加速 增量模型训练 自动模型优化（AutoSearch） 模型训练高可靠性 管理模型训练作业
MA-Advisor性能调优建议工具使用指导 MA-Advisor是一款迁移性能问题自动诊断工具，其集成了昇腾自动诊断工具msprof-analyze，并在ModelArts Standard的Jupyter lab平台进行了插件化，能快速分析和诊断昇腾场景下PyTorch性能劣化问题并给出相关调优建议。
os.system("ulimit -c 0") 建议与总结 在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VSCod
使用PyCharm上传数据至Notebook 不大于500MB数据量，直接复制至本地IDE中即可。 大于500MB数据量，请先上传到OBS中，再从OBS下载到云上Notebook。 图1 数据通过OBS中转上传到Notebook 上传数据至OBS，具体操作请参见上传文件至OBS桶。
├── lora #lora微调输出权重 ├── sft #增量训练输出权重 ├── pretrain #预训练输出权重 ├── tokenizers
├── lora #lora微调输出权重 ├── sft #增量训练输出权重 ├── pretrain #预训练输出权重 ├── tokenizers
sufficient samples, consider increasing dataset size. 原因分析 数据集过少，导致训练失败。 其中，增量预训练会packing，将短sample拼成seq_len长度进行训练，因此原数据条数多不意味着处理后samples多。 问题影响 训练失败或者训练结果与预期不符。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
