检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
训练作业一般需要运行一段时间,根据您的训练业务逻辑和选择的资源不同,训练时长将持续几十分钟到几小时不等。训练作业执行成功后,日志信息如下所示。 图1 GPU规格运行日志信息 图2 CPU规格运行日志信息 父主题: 制作自定义镜像用于训练模型
String 超期时间。 表18 WorkflowSubgraph 参数 参数类型 描述 name String 子图名称。 steps Array of strings 子图step成员。 表19 WorkflowPolicy 参数 参数类型 描述 use_scene String 使用场景。
到几小时不等。训练作业执行成功后,日志信息如图1所示。 图1 1个计算节点GPU规格worker-0运行日志信息 计算节点个数选择为2,训练作业也可以运行。日志信息如图2和图3所示。 图2 2个计算节点worker-0运行日志信息 图3 2个计算节点worker-1运行日志信息 父主题:
4.0-42-generic”,你需要锁定所有与此版本相关的软件包。可执行以下命令: sudo apt-mark hold linux-image-5.4.0-42-generic linux-headers-5.4.0-42-generic linux-modules-5.4.0-42-generic
Docker部署参数数据结构说明 参数 参数类型 说明 namespace String SWR组织名称,全局唯一。 image_name String 镜像名称。 image_tag String 镜像标签。 annotations Map<String,String> 注解信息,可扩展字段,缺省值为“NULL”。
Step3 创建镜像组织 在SWR服务页面创建镜像组织。 图2 创建镜像组织 Step4 获取推理基础镜像 建议使用官方提供的镜像部署服务。镜像地址{image_url}参考镜像版本。 docker pull {image_url} Step5 构建ModelArts Standard推理镜像
在“文本分类”节点中,待训练状态由“运行中”变为“运行成功”,即完成模型的自动训练。 图2 运行成功 训练完成后,您可以单击文本分类节点上方的按钮,查看相关指标信息,如“准确率”、“评估结果”等。评估结果参数说明请参见表1。 图3 模型评估报告 表1 评估结果参数说明 参数 说明 recall:召回率
模型类型,取值为:TensorFlow/MXNet/Spark_MLlib/Scikit_Learn/XGBoost/MindSpore/Image/PyTorch。 model_size Long 模型大小,单位为字节数。 tenant String 模型归属租户。 project
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
ipv4.ip_forward Step2 获取推理镜像 建议使用官方提供的镜像部署推理服务。镜像地址{image_url}获取请参见表2。 docker pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-3rdLLM-xxx
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
s会自动识别导致作业失败的原因,在训练日志界面上给出提示。提示包括三部分:失败的可能原因、推荐的解决方案以及对应的日志(底色标红部分)。 图1 训练故障识别 ModelArts Standard会对部分常见训练错误给出分析建议,目前还不能识别所有错误,提供的失败可能原因仅供参考。
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
orFlow1.13.1 GPU 是 是 conda3-ubuntu18.04 Clean user customized base image only include conda CPU 是 是 pytorch1.4-cuda10.1-cudnn7-ubuntu18.04 C
├── Dockerfile # 推理构建镜像dockerfile ├── build_image.sh # 推理构建镜像启动脚本 ├──llm_tools # 推理工具包 ├──AutoSmoothQuant
权限”,单击右上角的“创建自定义策略”,设置策略。 “策略名称”:设置自定义策略名称,例如:ma_agency_obs。 “策略配置方式”:选择可视化视图或者JSON视图均可。 “策略内容”:填入如下内容。 { "Version": "1.1", "Statement": [