检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
中的镜像名,作为模型推理使用的镜像,架构选择ARM,类型选择CPU和ASCEND。 图8 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。
> 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object
中的镜像名,作为模型推理使用的镜像,架构选择ARM,类型选择CPU和ASCEND。 图9 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。
> 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object
> 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object
> 弹性集群”,选择创建的专属资源池。 图1 查看专属资源池 在专属池详情页可查看驱动及固件版本。如下图显示Ascend驱动为7.1.0.7.220-23.0.5,表示固件版本为7.1.0.7.220,驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务(Object
功能)中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中,创建文件夹,准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 若需要部署量化模型,请参考推理模型量化
注册并登录华为云,且创建好OBS桶用于存储算法和Workflow。 订阅免费Workflow 登录“AI Gallery”。 选择“资产集市 > MLOps > Workflow”,进入Workflow页面,该页面展示了所有共享的Workflow。 搜索业务所需的免费Workflow,请参见查找和收藏资产。 单击目标Workflow进入详情页面。
构建ModelArts Standard推理镜像 获取模型软件包和依赖包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 在ModelArts官方提供的基础镜像上,构建一个用于ModelArts Standard推理部署的镜像。 在模型软件包和依赖包的同层目录下,创建并编辑Dockerfile。
中的镜像名,作为模型推理使用的镜像,架构选择ARM,类型选择CPU和ASCEND。 图7 注册镜像 Step9 通过openssl创建SSL pem证书 在ECS中执行如下命令,会在当前目录生成cert.pem和key.pem,并将生成的pem证书上传至OBS。证书用于后续在推理生产环境中部署HTTPS推理服务。
模型”:共享了ModelArts模型和HiLens技能。 AI Gallery的模型模块包括ModelArts模型和HiLens技能,支持发布和订阅共享的模型。在AI Gallery的“模型”中,可以查找您想要的ModelArts模型或HiLens技能,订阅满足业务需要的资产,最后推送至ModelA
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: Standard自动学习
构建ModelArts Standard推理镜像 获取模型软件包和依赖包,并上传到ECS的目录下(可自定义路径),获取地址参考表1。 在ModelArts官方提供的基础镜像上,构建一个用于ModelArts Standard推理部署的镜像。 在模型软件包和依赖包的同层目录下,创建并编辑Dockerfile。
后,会默认放入回收站占用内存,导致磁盘空间不足。 磁盘配额不足。 处理方法 查看虚拟机所使用的存储空间,再查看回收站文件占用内存,根据实际删除回收站里不需要的大文件。 在Notebook实例详情页,查看实例的存储容量。 执行如下命令,排查虚拟机所使用的存储空间,一般接近存储容量,请排查回收站占用内存。
镜像过大Push任务一直在运行,或实例节点有问题。 解决方法 以对应租户的华为云账号登录SWR服务,查看镜像是否已经Push成功。 如果Push成功,请重新注册镜像。 如果未Push成功,联系SRE查看对应实例的节点是否有问题。 父主题: 自定义镜像故障
E用于分布式训练? ModelArts会帮用户生成RANK_TABLE_FILE文件,可通过环境变量查看文件位置。 在Notebook中打开terminal,可以运行如下命令查看RANK_TABLE_FILE: 1 env | grep RANK 在训练作业中,您可以在训练启
在“订单信息确认”页面,确认服务信息和费用,单击“确定”提交模型训练任务。 单击“返回模型训练”跳转到微调大师页面,可以查看训练作业状态。当“状态”为“训练完成”时,表示微调任务完成。 单击操作列的“查看模型”跳转到微调获得的新模型的详情页面。 单击操作列的“任务详情”可以在弹窗中查看“训练信息”、“训练日志”和“指标效果”。
作请参见《对象存储服务快速入门》。 您在创建OBS桶时,需保证您的OBS桶与ModelArts在同一个区域。如何查看OBS桶与ModelArts的所处区域,请参见查看OBS桶与ModelArts是否在同一区域。 建议根据业务情况及使用习惯,选择OBS使用方法。 如果您的数据量较小
计费FAQ 如何查看ModelArts中正在收费的作业? 如何查看ModelArts消费详情? 如果不再使用ModelArts,如何停止收费? 为什么项目删除完了,仍然还在计费? 欠费后,ModelArts的资源是否会被删除? ModelArts Standard数据管理相关计费FAQ
华为云根据客户等级定义了不同客户的宽限期和保留期时长。 避免和处理欠费 欠费后需要及时充值,详细操作请参见账户充值。 如果确认不再使用ModelArts服务,需在ModelArts管理控制台总览页确认会收费的实例已全部停止或删除,同时需清理运行Notebook实例时存储到云硬盘中的数据和其他存储到对象存储服务中的数据,以免继续扣费。