检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
-3.1.2 INFO:root:Using MoXing-v1.13.0-de803ac9 INFO:root:Using OBS-Python-SDK-3.1.2 原因分析 Pytorch通过spawn模式创建了多个进程，每个进程会调用多进程方式使用Mox下载数据。
可选值有“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径，不可与dataset_id/dataset_version同时出现。
已准备好训练数据集，并存放于OBS桶中，OBS桶必须和MaaS服务在同一个Region下。 当需要永久保存日志时，需要准备好存放日志的OBS路径，OBS桶必须和MaaS服务在同一个Region下。 创建调优任务 登录ModelArts管理控制台。
可选值：“obs”、“dataset”。obs与dataset不可同时出现。 data_url 否 String OBS的桶路径，不可与dataset_id/dataset_version同时出现。
在弹出的对话框中，根据实际情况选择是否勾选“同时删除OBS源文件”，确认信息无误后，单击“确定”完成图片删除操作。 其中，被选中的图片，其左上角将显示为勾选状态。如果当前页面无选中图片时，按钮为灰色，无法执行删除操作。 图1 删除数据集图片 父主题： Standard数据管理
图3 添加本地图片 图4 同步OBS图片数据 添加数据：您可以将本地图片快速添加到ModelArts，同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”，根据弹出的对话框的引导，输入正确的数据并添加。
Notebook自定义镜像制作流程 图1 Notebook自定义镜像制作流程图（适用于场景一和场景二） 场景一：基于Notebook预置镜像或第三方镜像，在服务器上配置docker环境，编写Dockerfile后构建镜像并注册，具体案例参考在ECS上构建自定义镜像并在Notebook
（普通OBS桶） 包月购买。 （HPC型500G） 免费。 免费。 包月购买。 免费。 包月购买。
举例：对一个已经完成的训练作业（假设训练了50个epochs），想要训练更多的epochs（追加30个epochs），假设上一个训练作业的输出目录为“obs://my_bucket/train_url”，则设置参数“checkpoint_url=obs://my_bucket/train_url
下架镜像 AI Gallery中已上架的资产支持下架操作。 在AI Gallery首页，选择右上角“我的Gallery”。 在“我的资产”下，查看已上架的资产。 单击资产名称，进入资产详情页。 在资产详情页，单击“下架”，在弹窗中单击“确定”。即可将资产下架。
发布本地AI应用到AI Gallery 场景描述 AI Gallery自定义AI应用能力为您提供了一个自由灵活的AI应用创建方式，您可以基于AI Gallery上提供的基础能力，发挥您的创造力，通过自定义代码的形式，自由地构建出您需要的AI应用形态。
已在OBS创建至少1个空的文件夹，用于存储训练输出的内容。 由于训练作业运行需消耗资源，确保账户未欠费。 确保您使用的OBS目录与ModelArts在同一区域。 创建算法 进入ModelArts控制台，参考创建算法操作指导，创建自定义算法。
（可选）配置镜像预热 Lite Cluster资源池支持镜像预热功能，镜像预热可实现将镜像提前在资源池节点上拉取好，在推理及大规模分布式训练时有效缩短镜像拉取时间。本文将介绍如何配置镜像预热功能。 操作步骤 单击资源池名称，进入资源池详情。 单击左侧“配置管理”。
从MRS导入数据到ModelArts数据集 ModelArts支持从MRS服务中导入存储在HDFS上的csv格式的数据，首先需要选择已有的MRS集群，并从HDFS文件列表选择文件名称或所在目录，导入文件的列数需与数据集schema一致。
npu-smi info # 在每个实例节点上运行此命令可以看到NPU卡状态 npu-smi info -l | grep Total # 在每个实例节点上运行此命令可以看到总卡数 如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU
此位置为OBS路径，格式为“/桶名称/文件路径”。例如：“/obs-bucket”。 work_path_type Integer 数据集输出路径类型。默认值为0，表示OBS桶。
例如，当训练代码启动脚本在OBS路径为“obs://bucket-name/app/code/train.py”，创建作业时配置代码目录为“/bucket-name/app/code/”。
可选值如下： obs：OBS桶（默认值） dws：GaussDB(DWS)服务 dli：DLI服务 rds：RDS服务 mrs：MRS服务 inference：推理服务 import_path 是 String 导入的OBS路径或manifest路径。
“obs”：表示使用OBS的数据。 “dataset”：表示使用数据集的数据。 data_url String OBS的桶路径。 表5 volumes属性列表 参数 参数类型 说明 nfs Object 共享文件系统类型的存储卷。
表格数据集的工作目录不支持为KMS加密桶下的OBS路径。目前仅支持传入单个DataSource。 dataset_name 是 String 数据集名称。 dataset_type 否 Integer 数据集类型。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
