检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mox.file.copy_parallel(args.data_url, local_data_path) ... #上传容器本地数据至obs路径 mox.file.copy_parallel(local_output_path, args.train_url) 新版训练中，用户
任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行的，需要购买并开通ModelArts专属资源池和OBS桶。 准备数据 准备训练数据，可以用本案使用的数据集，也可以使用自己准备的数据集。 准备权重 准备所需的权重文件。 准备代码 准备AscendSpeed训练代码。
description 否 String 执行记录描述。 status 否 String 执行记录状态。 workspace_id 否 String 工作空间ID。 workflow_id 否 String Workflow工作流ID。 workflow_name 否 String 工作流名称。
常见问题 模型文件目录下不能出现dockerfile文件； “查看构建日志”中显示“Not only a Dockerfile in your OBS path, please make sure, The dockerfile list”，表示dockerfile文件目录有问题，模型文
解决用户获取数据的问题。 用户可在AI Gallery上一键下载需要的数据资源到ModelArts数据管理。 提供多种数据接入方式，支持用户从OBS，MRS，DLI以及DWS等服务导入用户的数据。 提供18+数据增强算子，帮助用户扩增数据，增加训练用的数据量。 帮助用户提高数据的质量。
数据集版本ID。 version_name String 数据集版本名称。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表13 Event 参数 参数类型 描述 create_time Long 事件创建时间。
model_path”。另外pyspark模型在“customize_service.py”中可以使用“self.spark”获取SparkSession对象。 推理代码中，需要通过绝对路径读取文件。模型所在的本地路径可以通过self.model_path属性获得。 当使用TensorFlow、Caffe、MXNet时，self
export ASCEND_PROCESS_LOG_PATH=${task_plog_path} MindSpore的日志介绍请参见MindSpore官网。 普通训练日志 普通训练日志会生成到训练容器的“/home/ma-user/modelarts/log”目录中，且自动上传到OBS。普通训练日志的类型如下所示。
nd资源时，则支持选择训练模式。 （可选）设置标签：如果需要对训练作业进行资源分组管理，可以设置标签。 后续操作。 进入创建训练作业页面 登录ModelArts管理控制台。 在左侧导航栏中，选择“模型训练 > 训练作业”进入训练作业列表。 单击“创建训练作业”，进入创建训练作业页面。
PyTorch NPU训练指导（6.3.907） 主流开源大模型基于Standard+OBS适配PyTorch NPU训练指导（6.3.907） 主流开源大模型基于Standard+OBS+SFS适配PyTorch NPU训练指导（6.3.907） Llama3 Llama3-8b
Failed to update service, rollback failed. 请联系技术支持。 正常 [model 0.0.1] OBS桶，OBS并行文件系统，SFS Turbo挂载成功。 [%s] %s volume successfully. - 服务部署和运行过程中，关键事件支持手动/自动刷新。
数据集版本ID。 version_name String 数据集版本名称。 workspace_id String 工作空间ID。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 表15 Event 参数 参数类型 描述 create_time Long 事件创建时间。
“asc”，升序排序。 group_by String 查询作业要搜索的分组条件。 workspace_id String 作业所处的工作空间，默认值为“0”。 ai_project String 作业所属的AI项目，默认值为"default-ai-project"。 items
handler-name参数说明 数据集预处理中 --handler-name 都会传递参数，用于构建实际处理数据的handler对象，并根据handler对象对数据集进行解析。文件路径在：ModelLink/modellink/data/data_handler.py。 基类BaseDatasetHandler解析
description String 执行记录描述。 status String 执行记录状态。 workspace_id String 工作空间ID。 workflow_id String Workflow工作流ID。 workflow_name String 工作流名称。填写1-
description String 执行记录描述。 status String 执行记录状态。 workspace_id String 工作空间ID。 workflow_id String Workflow工作流ID。 workflow_name String 工作流名称。填写1-
256]。 config 是 Object 创建训练作业需要的参数。详情请参见表3。 workspace_id 否 String 指定作业所处的工作空间，默认值为“0”。 表3 config属性列表 参数 是否必选 参数类型 说明 worker_server_num 是 Integer 训
get_rank() # 仅让0号卡进行数据下载 if rank_id % 8 == 0: mox.file.copy_parallel('obs://bucket-name/dir1/dir2/', '/cache') 建议与总结 在创建训练作业前，推荐您先使用ModelArts开
Workflow工作流包含的步骤定义。 user_name 否 String 创建Workflow工作流的用户名。 workspace_id 否 String 工作空间ID。 data_requirements 否 Array of DataRequirement objects Workflow需要的数据。
Workflow工作流包含的步骤定义。 user_name String 创建Workflow工作流的用户名。 workspace_id String 工作空间ID。 data_requirements Array of DataRequirement objects Workflow需要的数据。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
