检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
品），并给出置信度最高的5类商品的置信度得分。 步骤一：准备工作 已注册华为账号并开通华为云，进行了实名认证，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 ModelArts使用过程中涉及到OBS
方法二：使用generate_dataset.py脚本生成数据集方法： 客户通过业务数据，在generate_dataset.py脚本，指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
json 使用generate_dataset.py脚本生成数据集方法： generate_datasets.py脚本通过指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
单击“提交”，确认训练作业的参数信息，确认无误后单击“确定”。 页面自动返回“训练作业”列表页，当训练作业状态变为“已完成”时，即完成了模型训练过程。 本案例的训练作业预计运行十分钟。 单击训练作业名称，进入作业详情界面查看训练作业日志信息，观察日志是否有明显的Error信息，如果有则表示训练失败，请根据日志提示定位原因并解决。
单击“提交”，确认训练作业的参数信息，确认无误后单击“确定”。 页面自动返回“训练作业”列表页，当训练作业状态变为“已完成”时，即完成了模型训练过程。 本案例的训练作业预计运行十分钟。 单击训练作业名称，进入作业详情界面查看训练作业日志信息，观察日志是否有明显的Error信息，如果有则表示训练失败，请根据日志提示定位原因并解决。
方法二：使用generate_dataset.py脚本生成数据集方法： 客户通过业务数据，在generate_dataset.py脚本，指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
在“规格确认”页面，确认训练作业的参数信息，确认无误后单击“提交”。 训练作业创建完成后，后台将自动完成容器镜像下载、代码目录下载、执行启动命令等动作。 训练作业一般需要运行一段时间，根据您的训练业务逻辑和选择的资源不同，训练时长将持续几十分钟到几小时不等。训练作业执行成功后，日志信息如下所示。 图1
json 使用generate_dataset.py脚本生成数据集方法： generate_datasets.py脚本通过指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
json 使用generate_dataset.py脚本生成数据集方法： generate_datasets.py脚本通过指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
json 使用generate_dataset.py脚本生成数据集方法： generate_datasets.py脚本通过指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
方法二：使用generate_dataset.py脚本生成数据集方法： 客户通过业务数据，在generate_dataset.py脚本，指定输入输出长度的均值和标准差，生成一定数量的正态分布的数据。具体操作命令如下，可以根据参数说明修改参数。 cd benchmark_tools python generate_dataset
learning_rate 2.0e-5 指定学习率 disable_gradient_checkpointing true 关闭重计算，用于禁用梯度检查点，默认开启梯度检查点;在深度学习模型训练中用于保存模型的状态，以便在需要时恢复。这种技术可以帮助减少内存使用，特别是在训练大型模型时，但同时影响性能。True表示关闭重计算功能。
登录ModelArts管理控制台，检查当前账号是否已完成访问授权的配置。如未完成，请参考使用委托授权。针对之前使用访问密钥授权的用户，建议清空授权，然后使用委托进行授权。 在左侧导航栏中选择“训练管理 > 训练作业”，默认进入“训练作业”列表。 在“创建训练作业”页面，填写相关参数信息，然后单击“提交”。
10：图像的清晰度与训练数据集的特征分布存在较大偏移。 11：图像的目标框数量与训练数据集的特征分布存在较大偏移。 12：图像中目标框的面积标准差与训练数据集的特征分布存在较大偏移。 13：图像中目标框的高宽比与训练数据集的特征分布存在较大偏移。 14：图像中目标框的面积占比与训练数据集的特征分布存在较大偏移。
learning_rate 2.0e-5 指定学习率 disable_gradient_checkpointing true 关闭重计算，用于禁用梯度检查点，默认开启梯度检查点;在深度学习模型训练中用于保存模型的状态，以便在需要时恢复。这种技术可以帮助减少内存使用，特别是在训练大型模型时，但同时影响性能。True表示关闭重计算功能。
learning_rate 2.0e-5 指定学习率 disable_gradient_checkpointing true 关闭重计算，用于禁用梯度检查点，默认开启梯度检查点;在深度学习模型训练中用于保存模型的状态，以便在需要时恢复。这种技术可以帮助减少内存使用，特别是在训练大型模型时，但同时影响性能。True表示关闭重计算功能。
送后续步骤中的远程命令。 注意：创建的ECS虚拟机使用ARM镜像创建。 图1 购买ECS 安装Docker。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配
Matmul_all_reduce融合算子 使用Matmul_all_reduce融合算子能提升全量推理性能，该算子对驱动和固件版本要求较高，默认不开启。如需开启，配置以下环境变量。 export USE_MM_ALL_REDUCE_OP=1 关闭Matmul_all_reduce融合算子的命令： unset
-n {namespace} 查看卡信息，执行以下命令。 npu-smi info kubernetes会根据config.yaml文件中配置的卡数分配资源给pod，如下图所示由于配置了1卡因此在容器中只会显示1卡，说明配置生效。 图2 查看卡信息 修改pod的卡数。由于本案例中为分布式训练，因此所需卡数修改为8卡。
的功能验证，并且已经预置了很多常用的安装包，用户无需花费过多的时间来配置环境即可使用。 开发环境提供的预置镜像主要包含： 常用预置包，基于标准的Conda环境，预置了常用的AI引擎，例如PyTorch、MindSpore；常用的数据分析软件包，例如Pandas、Numpy等；常用
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
