检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
当前环境未装OpenSSH或者OpenSSH未安装在默认路径下，详情请参考VS Code文档。 解决方法 如果当前环境未安装OpenSSH，请下载并安装OpenSSH。 当通过“可选功能”未能成功安装时，请手动下载OpenSSH安装包，然后执行以下步骤： 下载zip包并解压放入“
（可选）配置驱动 当专属资源池中的节点含有GPU/Ascend资源时，为确保GPU/Ascend资源能够正常使用，需要配置好对应的驱动。 Cluster支持两种配置驱动的方式： 方式一：购买资源池时通过自定义驱动参数进行配置 方式二：通过驱动升级功能对已有的资源池驱动版本进行升级
如果想保持长时间连接不断开，可以通过配置SSH定期发送通信消息，避免防火墙认为链路空闲而关闭。 客户端配置（用户可根据需要自行配置，不配置默认是不给服务端发心跳包），如图1，图2所示。 图1 打开VS Code ssh config配置文件 图2 增加配置信息 配置信息示例如下： Host ModelArts-xx
基本配置 权限配置 创建网络 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutil安装和配置 （可选）工作空间配置 父主题： 专属资源池训练
”，单击kubectl后的“配置”按钮。 按照界面提示步骤操作即可。 图5 配置kubectl 验证。 在安装了kubectl工具的机器上执行如下命令，显示集群节点即为成功。 kubectl get node 父主题： Lite Cluster资源配置
本的固件驱动安装。 图6 检查npu-smi工具 工具检查正常后，进行固件和驱动安装。 固件和驱动安装时，注意安装顺序： 首次安装场景：硬件设备刚出厂时未安装驱动，或者硬件设备前期安装过驱动固件但是当前已卸载，上述场景属于首次安装场景，需按照“驱动->固件”的顺序安装驱动固件。
安装步骤，您可针对需要安装的软件查看对应的内容： 安装NVIDIA驱动 安装CUDA驱动 安装Docker 安装nvidia-fabricmanager 以下提供常见的配置场景，您可查看相关文档方便您快速配置： GP Vnt1裸金属服务器EulerOS 2.9安装NVIDIA 515+CUDA
面，完成基本配置后单击“下一步：网络配置”，进入网络配置页面，选择1中打通的VPC，完成其他参数配置，完成高级配置并确认配置，下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时，弹性云服务器创建成功。单击“名称/ID”，进入服务器详情页面，查看虚拟私有云配置信息。 图4
source”。 图3 配置Grafana 单击“Prometheus”，进入Prometheus配置页面。 图4 进入Prometheus配置页面 参考下图进行配置。 图5 配置Grafana数据源 Grafana安装方式不同，Grafana版本也可能不同，图5仅为示例，请以实际配置界面为准。
d与pool_name均未配置时，会使用服务层级的cluster_id及pool_name参数，均不配置时则会使用共享资源池；对于edge服务类型，为边缘资源池ID，使用边缘资源池部署服务时需确保资源池状态正常，配置该参数时需要同时配置服务层级的cluster_id参数，且该参数
优先排查APIG（API网关）是否是通的，可以在本地使用curl命令排查，命令行：curl -kv {预测地址}。如返回Timeout则需排查本地防火墙，代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG（API网关）的限制，模型单次预测的时间不能超过40S，超过后系统会默认返回Timeout错误。
更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数；其它平台的Session鉴权请参考Session鉴权。 方式1：根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7
面，完成基本配置后单击“下一步：网络配置”，进入网络配置页面，选择1中打通的VPC，完成其他参数配置，完成高级配置并确认配置，下发购买弹性云服务器的任务。等待服务器的状态变为“运行中”时，弹性云服务器创建成功。单击“名称/ID”，进入服务器详情页面，查看虚拟私有云配置信息。 图4
当前账户需要给CES授权委托，请参考创建用户并授权使用云监控服务。 当前还不支持在CES界面直接一键安装监控，需要登录到服务器上执行以下命令安装配置Agent。其它region的安装请参考单台主机下安装Agent。 cd /usr/local && curl -k -O https://obs
配置授权 功能介绍 配置ModelArts授权。若没有授权，ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
path； 用户使用了已开启sudo权限的专属池，使用自定义镜像时，sudo工具未安装或安装错误； 用户使用的cann、cuda环境有兼容性问题； 用户的docker镜像配置错误、网络或防火墙限制、镜像构建问题（文件权限、依赖缺失或构建命令错误）等原因导致的。 父主题： 自定义镜像故障
aaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华为云安全性的构建思
操作场景 客户端上传镜像，是指在安装了容器引擎客户端的机器上使用docker命令将镜像上传到容器镜像服务的镜像仓库。 如果容器引擎客户端机器为云上的ECS或CCE节点，根据机器所在区域有两种网络链路可以选择： 如果机器与容器镜像仓库在同一区域，则上传镜像走内网链路。 如果机器与容器镜像仓
镜像分离，在服务部署时动态将模型加载到服务负载。 配置健康检查 大模型场景下导入的模型，要求配置健康检查，避免在部署时服务显示已启动但实际不可用。 图3 采用自定义引擎，开启动态加载并配置健康检查示例图 部署在线服务 部署服务时，需满足以下参数配置： 自定义部署超时时间 大模型加
举桶内对象、查询桶位置、上传对象、获取对象、删除对象、获取对象ACL等对象基本操作权限。 配置IAM权限 配置ModelArts委托权限 配置SWR组织权限 测试用户权限 父主题： 基本配置
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
