检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务器端配置（Notebook当前已经配置，24h应该是长于防火墙的断连时间配置，该配置无需用户手工修改，写在这里仅是帮助理解ssh配置原理）配置文件路径：/home/ma-user/.ssh/etc/sshd_config 每24h向client端主动发个包，3次发包均无响应会断开连接
希望提升训练效率，同时减少与对象存储OBS的交互。可通过如下方式进行调整优化。 优化原理 对于ModelArts提供的GPU资源池，每个训练节点会挂载500GB的NVMe类型SSD提供给用户免费使用。
训练业务迁移到昇腾设备场景介绍 场景介绍 本文介绍如何将客户已有的PyTorch训练业务迁移到昇腾设备上运行并获得较好的模型训练效果。华为云ModelArts针对该场景提供了系统化的迁移指导，包括迁移原理、迁移流程以及迁移后的精度调试及性能调优方法介绍。
精度问题诊断 逐个替换模型，检测有问题的模型 该方式主要是通过模型替换，先定位出具体哪个模型引入的误差，进一步诊断具体的模型中哪个算子或者操作导致效果问题，模型替换原理如下图所示。
创建模型时，OBS文件目录对应镜像里面的目录结构是什么样的？ 问题现象 创建模型时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会复制到镜像中去。复制进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？
相关章节 创建单机多卡的分布式训练（DataParallel）：介绍单机多卡数据并行分布式训练原理和代码改造点。 创建多机多卡的分布式训练（DistributedDataParallel）：介绍多机多卡数据并行分布式训练原理和代码改造点。
ModelArts针对上述使用场景，在给出系统化推理业务昇腾迁移方案的基础上，提供了即开即用的云上集成开发环境，包含迁移所需要的算力资源和工具链，以及具体的Notebook代码运行示例和最佳实践，并对于实际的操作原理和迁移流程进行说明，包含迁移后的精度和性能验证、调试方法说明。
mkdir -p context 准备可用的pip源文件pip.conf 。本示例使用华为开源镜像站提供的pip源，其pip.conf文件内容如下。
工作空间管理权限 表1 工作空间管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 创建工作空间 POST /v1/{project_id}/workspaces modelarts:workspace:create - √ √ 查询工作空间列表 GET
服务器端配置（Notebook当前已经配置，24h应该是长于防火墙的断连时间配置，该配置无需用户手工修改，写在这里仅是帮助理解ssh配置原理）配置文件路径：/home/ma-user/.ssh/etc/sshd_config 每24h向client端主动发个包，3次发包均无响应会断开连接
workspace_id 是 String 工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。
常见的精度调测手段，包含使用全精度FP32，或者关闭算子融合开关等，先进行排查。对于精度问题，系统工程人员需要对算法原理有较深入的理解，仅从工程角度分析有时候会非常受限，同时也可联系华为工程师进行诊断与优化。 父主题： GPU训练业务迁移至昇腾的通用指导
训练使用的Python版本是3.7或3.9。 训练作业的实例数要大于或等于3。 路由加速的原理是改变rank编号，所以代码中对rank的使用要统一。 将训练作业完成如下修改后，启动训练作业即可实现网络加速。
精度测试 benchmark工具用于精度验证，主要工作原理是：固定模型的输入，通过benchmark工具进行推理，并将推理得到的输出与标杆数据进行相似度度量（余弦相似度和平均相对误差），得到模型转换后的精度偏差信息。
限制为1-64位只含数字、字母、下划线和中划线的名称。 description 否 String 对算法的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 workspace_id 否 String 指定算法所处的工作空间，默认值为“0”。
限制为1-64位只含数字、字母、下划线和中划线的名称。 description String 对算法的描述，默认为“NULL”，字符串的长度限制为[0, 256]。 workspace_id String 指定算法所处的工作空间，默认值为“0”。“0” 为默认的工作空间。
图1 torch_npu工作原理示意图 NPU（Neural Network Processing Unit）和GPU在构造结构上存在差异，因此迁移过程并不是完全平替的关系。
标注任务管理 创建标注任务 查询数据集的标注任务列表 查询标注任务详情 父主题： 数据管理
使用ModelArts Standard自动学习实现口罩检测 该案例是使用华为云一站式AI开发平台ModelArts的新版“自动学习”功能，基于华为云AI开发者社区AI Gallery中的数据集资产，让零AI基础的开发者完成“物体检测”的AI模型的训练和部署。
workspace_id 否 String 工作空间ID。若未创建工作空间，默认值为“0”；若存在创建并使用的工作空间，以实际取值为准。 表3 DataSource 参数 是否必选 参数类型 描述 data_path 否 String 数据源所在路径。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
