检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
图1 1个计算节点GPU规格worker-0运行日志信息 计算节点个数选择为2,训练作业也可以运行。日志信息如图2和图3所示。 图2 2个计算节点worker-0运行日志信息 图3 2个计算节点worker-1运行日志信息 父主题: 制作自定义镜像用于训练模型
如果节点个数设置为1,表示后台的计算模式是单机模式;如果节点个数设置大于1,表示后台的计算模式为分布式的。请根据实际编码情况选择计算模式。 “环境变量” 设置环境变量,注入环境变量到容器实例。为确保您的数据安全,在环境变量中,请勿输入敏感信息,如明文密码。
当job_step输出的accuracy指标数据小于阈值0.5时,condition_lt的计算结果为True,此时job_step_retrain运行,model_step跳过;反之job_step_retrain跳过,model_step执行。
计算节点个数:选择需要的节点个数。 SFS Turbo:增加挂载配置,选择SFS名称,云上挂载路径为“/home/ma-user/work”。 为了和Notebook调试时代码路径一致,保持相同的启动命令,云上挂载路径需要填写为“/home/ma-user/work”。
枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。
如果通过排查计算,发现资源确实足够,则考虑可能由于资源碎片化导致的。 例如,集群共2个节点,每个节点都空闲了4张卡,总剩余卡数为8张卡,但用户的作业要求为1节点8张卡,因此无法调度上。 父主题: Standard专属资源池
ModelArts委托授权 前文已经介绍,ModelArts在执行AI计算任务过程中,需要“代表”用户去访问其他云服务,而此动作需要提前获得用户的授权。在IAM权限体系下,此类授权动作是通过“委托”来完成。
枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。
自定义镜像功能支持自由文本形式的命令行参数和环境变量,灵活性比较高,便于支持任意计算引擎的作业启动需求。
一方面,理想情况下CPU侧算子下发会明显比NPU侧算子执行更快,此时性能瓶颈主要集中在NPU侧;另一方面,理想情况下NPU侧算子计算流水线一直执行,不会出现NPU等待CPU算子下发即NPU空转的场景,如果存在,则CPU侧算子下发存在瓶颈。
modelarts.vm.cpu.8u:Intel CPU算力增强型,适用于密集计算场景下运算。
ModelArts委托授权 前文已经介绍,ModelArts在执行AI计算任务过程中,需要“代表”用户去访问其他云服务,而此动作需要提前获得用户的授权。在IAM权限体系下,此类授权动作是通过“委托”来完成。
专属资源池:在使用ModelArts进行AI全流程开发时,如果购买了专属资源池,同时在运行自动学习作业、Workflow工作流、Notebook实例、模型训练和部署服务时选择使用已购买的专属资源池,则以上操作用到的计算资源会直接通过专属资源池来付费。
保留期到期后,如果您仍未支付账户欠款,那么计算资源、云硬盘和对象存储都将被释放,数据无法恢复。 图1 按需计费资源生命周期 华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。
表7 Value 参数 参数类型 描述 cpu String cpu量,即计算资源量。 memory String 内存。 tnt004 String GPU卡的数量。
Compute Nodes 计算资源节点个数。数量设置为1时,表示单机运行;数量设置大于1时,表示后台的计算模式为分布式。
枚举值如下: 1:准备存储 2:准备计算资源 3:配置网络 4:初始化实例 step_description String 任务某个步骤的描述。
规范化: 为了解决polyhedral表达能力的局限性(只能处理静态的线性程序),需要首先对计算公式IR进行规范化。规范化模块中的优化主要包括自动运算符inline、自动循环融合和公共子表达式优化等。
公共资源池:公共资源池提供公共的大规模计算集群,根据用户作业参数分配使用,资源按作业隔离。MaaS服务可以使用ModelArts Standard形态下提供的公共资源池完成模型训推,按照使用量计费,方便快捷。
token时延):服务从开始计算首token到生成首token的耗时 avg_decode_latency(平均增量token时延):服务计算增量token的平均耗时 time_in_queue(请求排队时间):请求从到达服务开始到开始被调度的耗时 request_latency(