检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 参数有效种类。 valid_range Array
参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of
d Acyclic Graph,DAG)的开发,整个DAG的执行就是有序的任务执行模板,依次执行从数据标注、数据集版本发布、模型训练、模型注册到服务部署环节。如果想了解更多关于Workflow您可以参考Workflow简介。 图1 自动学习操作流程 图2 Workflow运行流程
Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例,具体操作步骤请参考创建Notebook实例。 镜像选择已注册的自定义镜像,资源类型选择创建好的专属资源池,规格推荐选择“Ascend: 8*ascend-snt9b”。 图1 Notebook中选择自定义镜像与规格
ToolKit远程连接Notebook开发环境,仅限PyCharm专业版。 使用PyCharm ToolKit提交训练作业,社区版和专业版都支持。 已注册华为账号并开通华为云,且在使用ModelArts前检查账号状态,账号不能处于欠费或冻结状态。 已创建当前使用账号的访问密钥,并获得对应的A
填写新的模型名称,后续运行会自动在该模型上新增版本") # 模型注册 model_step = wf.steps.ModelStep( name="model_step", title="模型注册", inputs=[wf.steps.ModelInpu
参数类型 描述 type String 参数种类。 editable Boolean 是否可编辑。 required Boolean 是否必须。 sensitive Boolean 是否敏感。 valid_type String 有效种类。 valid_range Array of
填写新的模型名称,后续运行会自动在该模型上新增版本") # 模型注册 model_step = wf.steps.ModelStep( name="model_step", title="模型注册", inputs=[wf.steps.ModelInpu
最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。 EPOCH 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。
最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。 EPOCH 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。
最小学习率设置。 SEQ_LEN 4096 要处理的最大序列长度。 MAX_PE 8192 设置模型能够处理的最大序列长度。 SN 1200 必须修改。指定的输入数据集中数据的总数量。更换数据集时,需要修改。 EPOCH 5 表示训练轮次,根据实际需要修改。一个Epoch是将所有训练样本训练一次的过程。
weight 否 Integer 权重百分比,分配到此模型的流量权重;仅当infer_type为real-time时需要配置,多个权重相加必须等于100。 表11 TrainingParameter 参数 是否必选 参数类型 描述 label 否 String 参数名。 value
磁盘合并挂载后,即可在“/home”下创建自己的工作目录,以自己的名字命名。 (可选)安装固件和驱动。 首先检查npu-smi工具是否可以正常使用,该工具必须能正常使用才能继续后面的固件驱动安装,输入命令“npu-smi info”,完整输出下图内容则为正常。 如果命令未按照下图完整输出(比如命
train_loader, optimizer, epoch) test(model, device, test_loader) 保存模型 # 必须采用state_dict的保存方式,支持异地部署 torch.save(model.state_dict(), "pytorch_mnist/mnist_mlp
在线服务的资源规格。详见部署服务 weight Integer 权重百分比,分配到此模型的流量权重;仅当infer_type为real-time时需要配置,多个权重相加必须等于100。 表11 TrainingParameter 参数 参数类型 描述 label String 参数名。 value String
torch npu初始化。 import torch_npu 调用后,前端会通过monkey-patch的方式注入到torch对象中,后端会注册NPU设备以及HCCL的参数面通信能力,这样就可以运行torch.npu相关接口。 图2 torch_npu导入 自动迁移完成GPU代码到昇腾的快速适配。
镜像管理 ModelArts modelarts:image:register modelarts:image:listGroup 在镜像管理中注册和查看镜像。 按需配置。 保存镜像 SWR SWR Admin SWR Admin为SWR最大权限,用于: 开发环境运行的实例,保存成镜像。
在线服务的资源规格。详见部署服务 weight Integer 权重百分比,分配到此模型的流量权重;仅当infer_type为real-time时需要配置,多个权重相加必须等于100。 表13 TrainingParameter 参数 参数类型 描述 label String 参数名。 value String
集指标数据,然后将自定义指标采集容器指定到SideCar容器,这样可以不占用业务负载容器的资源。 自定义指标数据格式 自定义指标数据的格式必须是符合open metrics规范的文本,即每个指标的格式应为: <指标名称>{<标签名称>=<标签值>,...} <采样值> [毫秒时戳]
Name),AK(Access Key Id),SK(Secret Access Key)。 图1 credential.csv文件内容 AK/SK生成步骤: 注册并登录管理控制台。 单击右上角的用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“身份验证”页面。