检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
service_instance2, service_instance3 ...],列表中元素“service_instance”对象即为服务管理章节描述的可调用服务接口。 支持按照检索参数查询服务列表,返回满足检索条件的服务list,检索参数如表1所示。 在查询列表时,返回list的同时,默认会打印模型列表的详细信息,如表2和表3所示。
使用Cloud Shell调试生产训练作业 ModelArts Standard提供了Cloud Shell,可以登录运行中的容器,用于调试生产环境的训练作业。 约束限制 仅专属资源池支持使用Cloud Shell登录训练容器,且训练作业必须处于“运行中”状态。 前提条件:给子账号配置允许使用Cloud
XXX not found in your environment: flash_attn 根因:昇腾环境暂时不支持flash_attn接口 规避措施:修改dynamic_module_utils.py文件,将180-184行代码注释掉 vim /home/ma-user/an
customer",表示资源池对应订单已取消,取消原因可能为超时未支付、用户自主取消,需重新购买。 其他错误 可通过F12查看浏览器请求信息,选择标红的pools接口,查看响应里的详细报错信息,如下图所示。通过错误提示修正输入参数后再次提交订单。 图8 报错信息 如CCE集群不可用,请检查CCE集群版本和状态。报错信息如下:
XXX not found in your environment: flash_attn 根因:昇腾环境暂时不支持flash_attn接口 规避措施:修改dynamic_module_utils.py文件,将180-184行代码注释掉 vim /home/ma-user/an
XXX not found in your environment: flash_attn 根因:昇腾环境暂时不支持flash_attn接口 规避措施:修改dynamic_module_utils.py文件,将180-184行代码注释掉 vim /home/ma-user/an
选择“自定义”。 “镜像” 选择用于训练的自定义镜像。 “代码目录” 执行本次训练作业所需的代码目录。本文示例的代码目录为“obs://test-modelarts/ascend/code/”。 “启动命令” 镜像的Python启动命令。本文示例的启动命令为“bash ${MA_
advisor分析报告html文件详解 Advisor分析profiling会输出html和xlsx两份文件。请优先查看html报告进行训练作业性能调优。xlsx中记录了html中全量数据,如集群计算、通信和下发的耗时,可以基于xlsx对计算耗时、下发耗时和带宽等列进行排序,从而
可能原因是用户使用的启动脚本为旧版本的run_train.sh,脚本里面有某些环境变量在新版本下发的作业中并不存在这些环境变量导致。 可能原因是使用Python file接口并发读写同一文件。 处理方法 对挂载盘的数据加权限,可以改为与训练容器内相同的用户组(1000),假如/nas盘是挂载路径,执行如下代码。
使用MaaS压缩模型 在ModelArts Studio大模型即服务平台完成模型创建后,可以对模型进行压缩,获得更合适的模型。 场景描述 模型压缩是指将高比特浮点数映射到低比特量化空间,从而减少显存占用的资源,降低推理服务时延,提高推理服务吞吐量,并同时减少模型的精度损失。模型压
条件节点 condition_step = wf.steps.ConditionStep( name="condition_step_test", # 条件节点的名称,命名规范(只能包含英文字母、数字、下划线(_)、中划线(-),并且只能以英文字母开头,长度限制为64字符),一
parameters=parameters, user_image_url="sdk-test/pytorch1_4:1.0.1", # 自定义镜像地址 user_command
101 Switching Protocols 切换协议。只能切换到更高级的协议。 例如,切换到HTTP的新版本协议。 200 OK 接口调用成功。 201 Created 创建类的请求完全成功。 202 Accepted 已经接受请求,但未处理完成。 203 Non-Authoritative
_JOB_DIR}/demo-code”目录中,“demo-code”为存放代码目录的最后一级OBS目录。例如,“代码目录”选择的是“/test/code”,则训练代码文件会被下载到训练容器的“${MA_JOB_DIR}/code”目录中。 运行用户ID 容器运行时的用户ID,该
logits_pattern = model_meta.default_logits_pattern print(logits_pattern) 您也可以通过如下接口,获取MoXing支持的网络名称列表。 import moxing.tensorflow as mox print(help(mox.NetworkKeys))
面创建训练作业,创建时基于算法来源和训练框架又区分多种创建方式,具体请参见表2。 ModelArts Standard也支持通过调用API接口创建训练作业,请参见以PyTorch框架创建训练作业。 训练作业进阶功能 ModelArts Standard还支持以下训练进阶功能,例如:
信息和镜像解耦,可以在服务部署时配置,不能直接硬编码在Dockerfile中。定期针对镜像进行安全扫描,及时安装补丁修复漏洞。增加健康检查接口,确保健康检查可以正常返回业务状态,便于告警和故障恢复。容器应该采用https的安全传输通道,并使用业界推荐的加密套件保证业务数据的安全性。
msprobe使用手册 性能调优 PyTorch Profiler 性能采集工具,在训练脚本中调用Ascend PyTorch Profiler接口,可在训练过程中采集性能数据文件,包括PyTorch层算子信息、CANN层算子信息、底层NPU算子信息、以及算子内存占用信息等。 包含在torch_npu包中。
<ymin>100<ymin> <xmax>200<xmax> <ymax>200<ymax> 标注文件示例: <annotation> <folder>test_data</folder> <filename>260730932.jpg</filename> <size>
元模型来源:选择“从对象存储服务(OBS)中选择”。 选择元模型:从OBS中选择一个模型包。 AI引擎:选择“Custom”。 引擎包:从容器镜像中选择一个镜像。 容器调用接口:端口和协议可根据镜像实际使用情况自行填写。 其他参数保持默认值。 单击“立即创建”,跳转到模型列表页,查看模型状态,当状态变为“正常”,模型创建成功。