检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
{dataset_id}/data-annotations/stats modelarts:dataset:get - √ √ 查询数据集监控数据 GET /v2/{project_id}/datasets/{dataset_id}/metrics modelarts:dataset:get
接经VPC对等连接发送到实例处理，访问速度更快。 由于请求不经过推理平台，所以会丢失以下功能： 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。
obs:bucket:ListAllMyBuckets 创建批量服务。 按需配置。 边缘服务 CES ces:metricData:list 查看服务的监控指标。 按需配置。 IEF IEF Administrator 管理边缘服务。 按需配置。 创建自定义策略时，建议将项目级云服务和全局级云
接经VPC对等连接发送到实例处理，访问速度更快。 由于请求不经过推理平台，所以会丢失以下功能： 认证鉴权 流量按配置分发 负载均衡 告警、监控和统计 图1 VPC直连的高速访问通道示意图 约束限制 调用API访问在线服务时，对预测请求体大小和预测时间有限制： 请求体的大小不超过12MB，超过后请求会被拦截。
NODE_RANK=0 执行以下命令，开始预训练。 nohup sh ./pretrain_gpt2.sh & 图3 开始预训练 实时查看训练日志，监控程序。 tail -f nohup.out 如果显示如下信息， 表示模型训练完成。 图4 模型训练完成 在训练过程中观察单GPU卡的利用率，如下：
（可选）工作空间配置 模型训练 本地构建镜像及调试 上传镜像 上传数据和算法到OBS 使用Notebook进行代码调试 创建单机单卡训练作业 监控资源 本地构建镜像及调试 本节通过打包conda env来构建环境，也可以通过pip install、conda install等方式安装conda环境依赖。
检查资源规范编码是否设置正确，并确认其是否属于对应的项目下。 400 ModelArts.3837 Resource ID {id} of project {id} does not exist. 项目{1}资源ID {0}不存在。 检查资源ID是否设置正确，并确认其是否属于对应的项目下。 400 ModelArts
Backbone类型 ResNet/DarkNet/Transformer等。 例如： 5个模型使用ResNet Backbone，应用与监控。 3个模型使用Transformer，应用于自然语言处理xxx。 使用stable-diffusion的典型模型：TextEncoder
数据选择：数据选择一般是指从全量数据中选择数据子集的过程。 数据可以通过相似度或者深度学习算法进行选择。数据选择可以避免人工采集图片过程中引入的重复图片、相似图片等问题；在一批输入旧模型的推理数据中，通过内置规则的数据选择可以进一步提升旧模型精度。 数据增强： 数据扩增通过简单的数据扩增例如缩放、裁剪、变换、合成等操作直接或间接的方式增加数据量。
服务详情”，在弹窗中选择“指标效果”页签，可以查看推理效果。 支持设置时间区间，查看不同时间下的推理效果。 仅当推理服务处于“运行中”，才支持查看监控指标。 表2 推理效果的指标介绍 指标名称 指标说明 CPU使用率 在推理服务启动过程中，机器的CPU占用情况。 内存使用率 在推理服务启动过程中，机器的内存占用情况。
创建桶不收取费用，按实际使用的存储容量和时长收费 消息通知（不开启则不计费） 消息通知服务 订阅消息使用消息通知服务，在事件列表中选择需要监控的节点/Workflow状态，在事件发生时发送消息通知。 如果想使用消息通知，需要提前在自动学习、Workflow中开启消息通知功能。 具体计费可见消息通知服务价格详情。
启动该工作流。其中涉及手动确认的节点仍会在运行到时停止，不会自动执行。 服务配置 消息通知 订阅消息使用消息通知服务，在事件列表中选择需要监控的节点或者Workflow状态，在事件发生时发送消息通知。 说明： 打开开关后，需要先指定SMN主题名，如未创建主题名，需前往消息通知服务创建主题。
Backbone类型 ResNet/DarkNet/Transformer等。 例如： 5个模型使用ResNet Backbone，应用与监控。 3个模型使用Transformer，应用于自然语言处理xxx。 使用stable-diffusion的典型模型：TextEncoder
工作空间ID。获取方法请参见查询工作空间列表。未创建工作空间时默认值为“0”，存在创建并使用的工作空间，以实际取值为准。 model_type 否 String 模型类型，查询属于该类型的模型列表。model_type与not_model_type为互斥关系，不能同时存在。可选值为TensorFlow、PyTorch
无约束 OS插件，用于故障检测。 icAgent icagent default CCE默认安装当前适配版本 无约束 CCE基础组件，用于日志和监控。 gpuDriver gpu-driver 515.65.01（推荐） 510.47.03 470.182.03 470.57.02 g
Workflow 区别于传统的机器学习模型构建，开发者可以使用Workflow开发生产流水线。基于MLOps的概念，Workflow会提供运行记录、监控、持续运行等功能。根据角色的分工与概念，产品上将工作流的开发和持续迭代分开。 一条流水线由多个节点组成，Workflow SDK提供了流水
command in terminal, support "bash(default)/zsh/fish". 其中，-C、-D、-P，-h参数属于全局可选参数。 -C表示在执行此命令时可以手动指定鉴权配置文件，默认使用~/.modelarts/ma-cli-profile.yaml配置文件；
h/edge。默认为real-time。 real-time代表在线服务，将模型部署为一个Web Service，并且提供在线的测试UI与监控能力，服务一直保持运行。 batch为批量服务，批量服务可对批量数据进行推理，完成数据处理后自动停止。 edge表示边缘服务，通过华为云智
正确的权限。 训练场景主要查看自研的依赖包是否正常，查看pip list是否包含所需的包，查看容器直接调用的python是否是自己所需要的那个（如果容器镜像装了多个python，需要设置python路径的环境变量）。 测试训练启动脚本。 优先使用手工进行数据复制的工作并验证 一般
推理方式，取值为real-time/batch/edge。 real-time代表在线服务，将模型部署为一个Web Service，并且提供在线的测试UI与监控能力，服务一直保持运行。 batch为批量服务，批量服务可对批量数据进行推理，完成数据处理后自动停止。 edge表示边缘服务，通过华为云智
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
