检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不填默认使用name的值。 否 str description 描述信息。 否 str create_dir 表示是否自动创建目录,默认为“False”。 否 bool with_execution_id 表示创建目录时是否拼接execution_id,默认为“False”。该字段只有在create
--quiet --yes -n my-env python=3.6.5 创建完成后,执行conda info --envs命令查看现有的虚拟环境列表,可以看到my-env虚拟环境: sh-4.4$conda info --envs # conda environments: # base
)将节点隔离避免新作业调度到该节点而受到影响,并且使本次作业不受污点影响。当前可识别的故障类型如下,可通过隔离码及对应检测方法定位故障。 表1 隔离码 隔离码 分类 子类 异常中文描述 检测方法 A050101 GPU 显存 GPU ECC错误。 通过nvidia-smi -a查询到存在Pending
sysctl -p | grep net.ipv4.ip_forward、 步骤二 制作自定义镜像 准备以下文件用于制作镜像。 下载并解压表1中的AscendCloud插件包,进入aigc_inference/torch_npu/webui/v1_9_0_RC/ 和aigc_in
ModelArts入门实践 本章节列举了一些常用的实践案例,方便您快速了解并使用ModelArts完成AI开发。 表1 常用最佳实践 分类 实践案例 描述 适用人群 ModelArts Studio 在ModelArts Studio基于Llama3-8B模型实现新闻自动分类 本案例介绍在ModelArts
使用AI资产时,可能需要消耗硬件资源,硬件资源费用将根据实际使用情况,由华为云ModelArts等管理控制台向使用方收取。 已发布的AI资产,如果不需要在资产列表中展示该资产,可以将资产下架。下架后,已发布资产仅发布者可见。已经被订阅的资产,即便资产下架后,基于配额资源的约束,仍然可有效使用该资产,不会因为该资产的下架而产生使用问题。
Server资源使用。 资源管理 Lite Server提供启动、停止、切换操作系统等管理手段,您可在ModelArts控制台上对资源进行管理。 表1 相关名词解释 名词 含义 裸金属服务器 裸金属服务器是一款兼具虚拟机弹性和物理机性能的计算类服务,为您和您的企业提供专属的云上物理服务器
资源管理:Lite Cluster提供扩缩容、驱动升级等管理手段,您可在ModelArts控制台上对资源进行管理。请参考Lite Cluster资源管理。 表1 相关名词解释 名词 含义 容器 容器技术起源于Linux,是一种内核虚拟化技术,提供轻量级的虚拟化,以便隔离进程和资源。尽管容器技术已经
绑定弹性公网IP,并打开节点的安全组配置,添加入方向规则,允许外部访问9090端口。 如果使用Grafana对接Prometheus制作报表,可以将Grafana部署在集群内,这里不需要对Prometheus绑定公网IP和配置安全组,只需要对Grafana绑定公网IP和配置安全组即可。
输入数据:编译后的模型提供了predict接口用户执行模型推理任务,Inputs输入为List Tensor,这里的Tensor是MSLite的概念,具体的列表长度和tensor类型由转换时的InputShape来确定,由于后端指定了ascend,这些tensor都是在昇腾设备的显存中,用户需要在对
如果验证自定义镜像功能成功,结果如下图所示。 图3 校验接口 上传自定义镜像至SWR服务。 完成自定义镜像上传后,您可以在“容器镜像服务>我的镜像>自有镜像”列表中看到已上传镜像。 将自定义镜像创建为AI应用 参考从容器镜像中选择元模型导入元模型,您需要特别关注以下参数: 元模型来源:选择“从容器镜像中选择”
如果验证自定义镜像功能成功,结果如下图所示。 图3 校验接口 上传自定义镜像至SWR服务。 完成自定义镜像上传后,您可以在“容器镜像服务>我的镜像>自有镜像”列表中看到已上传镜像。 将自定义镜像创建为AI应用 参考从容器镜像中选择元模型导入元模型,您需要特别关注以下参数: 元模型来源:选择“从容器镜像中选择”
以根据实际需要选择其中的环节。下文介绍使用ModelArts平台,从准备数据到完成模型开发上线的全流程。 图1 Standard使用流程 表1 使用流程说明 流程 子任务 说明 详细指导 配置权限 快速配置ModelArts委托授权 ModelArts功能使用还依赖与其他云服务的
在模型代码推理文件customize_service.py中,需要添加一个子类,该子类继承对应模型类型的父类,各模型类型的父类名称和导入语句如请参考表1。本案例中调用父类“_inference(self, data)”推理请求方法,因此下文代码中不需要重写方法。 1 2 3 4 5
模型包规范介绍 订阅模型 ModelArts支持统一管理从AI Gallery订阅模型,订阅的模型可以直接用于服务部署。 在AI应用“我的订阅”列表中,罗列当前帐号订阅的所有模型及其版本。同时支持将模型快捷部署为服务。 从AI Gallery订阅模型 部署上线 通常AI模型部署和规模化落