正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
C的方式,使得专属资源池和已绑定EIP的弹性云服务器处于同一VPC内,实现专属资源池访问外网。 前提条件 已拥有需要部署SNAT的弹性云服务器。 待部署SNAT的弹性云服务器操作系统为Linux操作系统。 待部署SNAT的弹性云服务器网卡已配置为单网卡。 Step 1 打通VPC
ssh 上传公钥到服务器。 例如用户名为root,服务器地址为192.168.222.213,则将公钥上传至服务器的命令如下: ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.222.213 通过如下命令可以看到客户端写入到服务器的id_rsa
安装ptdbg_ascend工具。 下载最新的whl包至服务器并复制至运行的容器环境中(下载链接),通过pip安装ptdbg_ascend工具。 #shell pip install ./ptdbg_ascend-{version}-py3-none-any.whl 获取NPU和GPU的dump数据。
订阅应用模型与云服务订阅AI应用的区别: 在管理控制台,模型管理所在位置不同。订阅应用统一管理在“AI应用>订阅应用”页面中,而云服务订阅AI应用管理在“AI应用>云服务订阅AI应用”页面中。 模型来源不同。订阅应用,模型来源于AI Gallery;云服务订阅AI应用,模型来源于其他AI服务开发的模型。
订阅应用模型与云服务订阅AI应用的区别: 在管理控制台,模型管理所在位置不同。订阅应用统一管理在“AI应用>订阅应用”页面中,而云服务订阅AI应用管理在“AI应用>云服务订阅AI应用”页面中。 模型来源不同。订阅应用,模型来源于AI Gallery;云服务订阅AI应用,模型来源于其他AI服务开发的模型。
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换AI应用的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。
开发包,具有root权限,结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。 开通裸金属服务器资源请见DevServer资源开通,在裸金属服务器上搭建迁移环境请见裸金属服务器环境配置指导,使用ModelArts提供的基础容器镜像请见容器环境搭建。 父主题: GPU训练业务迁移至昇腾的通用指导
由于弹性集群资源池可选择弹性裸金属或弹性云服务器作为节点资源,不同机型的节点对应的操作系统、适用的CCE集群版本等不相同,为了便于您制作镜像、升级软件等操作,本文对不同机型对应的软件配套版本做了详细介绍。 裸金属服务器的对应的软件配套版本 表1 裸金属服务器 类型 卡类型 RDMA网络协议
自动学习训练后的模型是否可以下载? 不可以下载。但是您可以在AI应用管理页面查看,或者将此模型部署为在线服务。 父主题: 模型训练
约束与限制 您能创建的ModelArts资源的数量与配额有关系,具体请参见服务配额。 更详细的限制请参见具体API的说明。 父主题: 使用前必读
本章节介绍如何申请弹性公网IP并绑定到弹性云服务器。通过本文档,您可以实现弹性云服务器访问公网的目的。 使用华为云账号登录CCE管理控制台。 找到购买Cluster资源时选择的CCE集群,单击名称进入CCE集群详情页面,单击“节点管理”页签,在“节点”页签中单击需要登录的节点名称,跳转至弹性云服务器页面。 图1
进行精细的权限管理,您可以使用统一身份认证服务(Identity and Access Management,简称IAM),如果华为云帐号已经能满足您的要求,不需要创建独立的IAM用户,您可以跳过本章节,不影响您使用ModelArts服务的其它功能。 默认情况下,新建的IAM用户
modelarts:service:create:此策略项表示创建推理服务。 给子账号配置权限:限制使用公共资源池 使用主用户账号登录管理控制台,单击右上角用户名,在下拉框中选择“统一身份认证”,进入统一身份认证(IAM)服务。 在统一身份认证服务页面的左侧导航选择“权限管理 > 权限”,单击右上角
序列说明 基于vLLM(v0.5.0)部署推理服务时,不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明,如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出,为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
序列说明 基于vLLM(v0.5.0)部署推理服务时,不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明,如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出,为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
序列说明 基于vLLM(v0.5.0)部署推理服务时,不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明,如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出,为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
序列说明 基于vLLM(v0.5.0)部署推理服务时,不同模型推理支持的最小昇腾卡数和对应卡数下的max-model-len长度说明,如下面的表格所示。 以下值是在gpu-memory-utilization为0.9时测试得出,为服务部署所需的最小昇腾卡数及该卡数下推荐的最大ma
配额与限制 本节介绍ModelArts涉及的相关云服务的配额限制,帮助用户查看和管理自己的配额。 什么是配额 配额是在某一区域下最多可同时拥有的某种资源的数量。 华为云为防止资源滥用,对云服务每个区域的用户资源数量和容量做了配额限制。 如果当前资源配额限制无法满足使用需要,您可以申请扩大配额。
数据集等内容的共享。当您订阅商品失败可参照如下方式解决: 请检查您是否完成实名认证。 账号注册成功后,您需要完成“实名认证”才可以正常使用服务。具体认证方式请参见实名认证。 进入当前账号的费用中心,检查是否欠费。 如果欠费,建议您参考华为云账户充值,为您的账号充值。 如果以上都没问题,请尝试退出账号重新登录。
进入我的Gallery 表1 我的Gallery列表介绍 模块列表 功能介绍 我的主页 展示个人的成长值数据。 成长值可以通过“签到”和发布资产获取,每天只能签到一次。 说明: 成长值相关数据和功能当前是Beta版本,在正式版本发布前可能会发生变化。 我的资产 > 算法 展示个人发布和订阅的算法列表。