检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
则无需指定op的值。可选值如下： OR：或操作 AND：与操作 表13 SearchLabel 参数 参数类型 描述 name String 标签名。 op String 多个属性之间的操作类型。可选值如下： OR：或操作 AND：与操作 property Map<String,Array<String>>
需要申请单个模型大小配额和添加使用节点本地存储缓存的白名单。 需要使用自定义引擎Custom，配置动态加载。 需要使用专属资源池部署服务。 专属资源池磁盘空间需大于1T。 操作事项 申请扩大模型的大小配额和使用节点本地存储缓存白名单 上传模型数据并校验上传对象的一致性 创建专属资源池 创建模型 部署在线服务 申请
help='number of warm-up batches that don\'t count towards benchmark') parser.add_argument('--num-batches-per-iter', type=int, default=10
A系列裸金属服务器，单台服务器GPU间是走NVLINK，可以通过相关命令查询GPU拓扑模式： nvidia-smi topo -m 图1 查询GPU拓扑模式 操作步骤 使用以下脚本测得GPU服务器内NVLINK带宽性能。 import torch import numpy as np device
子用户在创建ModelArts的专属资源池过程中，如果需要开启自定义网络配置，需要配置VPC权限。 VPC FullAccess 可选 配置MaaS基础操作权限 创建用户组。 登录IAM管理控制台，单击“用户组>创建用户组”。在“创建用户组”界面，输入“用户组名称”单击“确定”。 配置用户组权限。
省略。 请求方法 HTTP请求方法（也称为操作或动词），它告诉服务你正在请求什么类型的操作。 表2 HTTP方法 方法 说明 GET 请求服务器返回指定资源。 PUT 请求服务器更新指定资源。 POST 请求服务器新增资源或执行特殊操作。 DELETE 请求服务器删除指定资源，如删除对象等。
华为云租户的安全责任在于对使用的IaaS、PaaS和SaaS类各项云服务内部的安全以及对租户定制配置进行安全有效的管理，包括但不限于虚拟网络、虚拟主机和访客虚拟机的操作系统，虚拟防火墙、API网关和高级安全服务，各项云服务，租户数据，以及身份账号和密钥管理等方面的安全配置。 《华为云安全白皮书》详细介绍华
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info
mistral-7b https://huggingface.co/mistralai/Mistral-7B-v0.1 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。
称进入“数据集概览页”。 在“数据集概览页”，单击右上角“导出 ”。在弹出的“导出”对话框中，填写相关信息，然后单击“确定”，开始执行导出操作。 “数据来源”：选择新数据集。 “名称”：新数据集名称。 “保存路径”：表示新数据集的输入路径，即当前数据导出后存储的OBS路径。 “输
数据特征分析 登录ModelArts管理控制台，在左侧菜单栏中选择“资产管理>数据集”，进入“数据集”管理页面。 选择对应的数据集，单击操作列的“更多 > 数据特征”，进入数据集概览页的数据特征页面。 您也可以在单击数据集名称进入数据集概览页后，单击“数据特征”页签进入。 由于
则无需指定op的值。可选值如下： OR：或操作 AND：与操作 表12 SearchLabel 参数 参数类型 描述 name String 标签名。 op String 多个属性之间的操作类型。可选值如下： OR：或操作 AND：与操作 property Map<String,Array<String>>
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。运行如下命令，返回NPU设备信息。 npu-smi info
client发送数据等。模型的推理过程在自定义镜像中完成，如下载模型，加载模型，执行预处理，完成推理，拼装响应体等。 操作步骤 WebSocket在线服务开发操作步骤如下： 上传镜像至容器镜像服务 使用镜像创建模型 使用模型部署在线服务 WebSocket在线服务调用 上传镜像至容器镜像服务
antialias=antialias) 各模型支持的卡数请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明章节。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。
antialias=antialias) 各模型支持的卡数请参见附录：基于vLLM不同模型推理支持最小卡数和最大序列说明章节。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。
定一个标注团队，或者指定标注管理员。 图1 创建团队标注作业 从控制台的“资产管理 >数据集”进入数据集页面，在需要进行团队标注的数据集的操作列，单击“标注”，进入创建标注作业页面，打开“启用团队标注”开关。对于同一个数据集，可以创建多个团队标注任务。 图2 打开启用团队标注 只
步骤二：调用MaaS模型服务进行预测 在ModelArts Studio左侧导航栏中，选择“模型部署”进入服务列表。 选择“我的服务”页签。 选择要调用的服务，单击操作列的“更多 > 调用”弹出调用页面。 选择是否启用内容审核，默认启用。 是，内容审核可以阻止模型推理中的输入输出中出现不合规的内容，但可能会对接口性能产生较大影响。
gface网站，从浏览器下载模型后，再手动上传到物理机/home/onnx_models目录下。 下载好模型后，需要编写推理脚本。为了便于操作，本指导中所需的代码已发布在ModelArts代码仓，可以使用如下命令下载推理脚本样例代码： cd /home_host/work git
节点数据盘空间分配的情况，以便您根据业务实际情况配置数据盘大小。 表1 容器挂载存储的方式及差异 容器挂载存储的方式 使用场景 特点 挂载操作参考 EmptyDir 适用于训练缓存场景。 Kubernetes的临时存储卷，临时卷会遵从Pod的生命周期，与Pod一起创建和删除。 使用临时存储路径
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
