检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
登录ModelArts管理控制台,在左侧导航栏中选择“AI专属资源池 > 弹性集群 Cluster”,进入“弹性集群 Cluster”页面。 切换到“网络”页签,单击“创建”,弹出“创建网络”页面。 图1 网络列表 在“创建网络”弹窗中填写网络信息。 网络名称:创建网络时默认生成网络名称,也可自行修改。
NotebookFlavor objects 分页数据。 flavors Array of NotebookFlavor objects 支持切换的规格列表。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4
业和设备生产厂商提供了一整套安全可靠的一站式部署方式。 图1 部署模型的流程 在线推理服务,可以实现高并发,低延时,弹性伸缩,并且支持多模型灰度发布、A/B测试。 支持各种部署场景,既能部署为云端的在线推理服务和批量推理任务,也能部署到端,边等各种设备。 一键部署,可以直接推送部
登录ModelArts控制台,在自动学习作业列表中,删除正在扣费的自动学习作业。在训练作业列表中,停止因运行自动学习作业而创建的训练作业。在在线服务列表中,停止因运行自动学习作业而创建的服务。操作完成后,ModelArts服务即停止计费。 登录OBS控制台,进入自己创建的OBS桶中
开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。 表3 Notebook支持的镜像 镜像名称 镜像描述 适配芯片 支持SSH远程开发访问 支持在线JupyterLab访问 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1
安全 责任共担 资产识别与管理 身份认证与访问控制 数据保护技术 审计与日志 服务韧性 监控安全风险 故障恢复 更新管理 认证证书 安全边界
Code)或SSH客户端,通过SSH远程接入Notebook实例时需要的相关配置。 flavor 否 String 支持变更实例规格,支持变更的规格可以通过本章节的查询支持可切换规格列表的API获取。 image_id 否 String 支持更新镜像ID,镜像ID参考查询支持的镜像列表获取。
开发环境的Notebook,根据不同的工作环境,对应支持的镜像和版本有所不同。 表3 新版Notebook支持的镜像 镜像名称 镜像描述 适配芯片 支持SSH远程开发访问 支持在线JupyterLab访问 pytorch1.8-cuda10.2-cudnn7-ubuntu18.04 CPU、GPU通用算法开发和训练基础镜像,预置AI引擎PyTorch1
Notebook有代理吗?如何关闭? Notebook有代理。 执行env|grep proxy命令查询Notebook代理。 执行unset https_proxy unset http_proxy命令关闭代理。 父主题: 环境配置相关
查看资源池中的作业 在资源池详情页,切换到“作业”页签。您可以查看该资源池中运行的所有作业,如果当前有作业正在排队,可以查看作业在资源池排队的位置。 当前仅支持查看训练作业。 图1 查看资源池作业 查看资源池事件 在资源池详情页,切换到“事件”页签。您可以查看资源从创建到添加
查询方法: 单击右上方的“费用中心 > 费用账单”进入费用中心详情页面,在左侧导航栏选择“账单管理 > 流水和明细账单”,在流水和明细账单页面,可切换“账单详情”和“明细账单”页签查看账单信息。 在“流水账单”列表页,罗列该账号下各种产品类型,每个任务产生的费用详细。您可以单击“操作 >
制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压,无需重复执行。 进入benchmark_tools目录下,切换一个conda环境。 cd benchmark_tools conda activate python-3.9.10 运行静态bench
gpg && curl -s -L https://nvidia.github.io/libnvidia-container/$distribution/libnvidia-container.list | sed 's#deb https://#deb [signed-by=
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
查询方法: 单击右上方的“费用中心 > 费用账单”进入费用中心详情页面,在左侧导航栏选择“账单管理 > 流水和明细账单”,在流水和明细账单页面,可切换“账单详情”和“明细账单”页签查看账单信息。 在“流水账单”列表页,罗列该账号下各种产品类型,每个任务产生的费用详细。您可以单击“操作 >
dataset:数据集 obs:OBS swr:SWR model_list:AI应用列表 label_task:标注任务 service:在线服务 conditions 否 Array of Constraint objects 数据约束条件。 value 否 Map<String
示例: example = ServiceData(service_id = "**") # 通过ModelArts的在线服务,获取对应服务的服务ID,描述指定的在线服务。用于服务更新的场景。 表8 SWRImage 属性 描述 是否必填 数据类型 swr_path 容器镜像的SWR路径
在“AI应用管理 > AI应用 > 我的订阅”页面,选择并展开订阅的目标模型。在版本列表单击“部署”,可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”,详细操作步骤请参见部署服务。 使用订阅的HiLens技能: 在“产品订购 > 订单管理 > AI Ga
Server资源管理 查看Lite Server服务器详情 启动或停止Lite Server服务器 同步Lite Server服务器状态 切换Lite Server服务器操作系统 监控Lite Server资源 NPU日志收集上传 释放Lite Server资源