检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：per-group Step1 模型量化 可以在Huggingface开源社区获取AWQ量化后
推理精度测试 本章节介绍如何进行推理精度测试，建议在Notebook的JupyterLab中另起一个Terminal，进行推理精度测试。若需要在生产环境中进行推理精度测试，请通过调用接口的方式进行测试。 Step1 执行精度测试 精度测试需要数据集进行测试。推荐公共数据集mmlu
配置Workflow参数 功能介绍 参数相关的配置使用Placeholder对象来表示，以占位符的形式实现用户数据运行时配置的能力，当前支持的数据类型包括：int、str、bool、float、Enum、dict、list。开发者可根据场景需要，将节点中的相关字段（如算法超参）通
VPC名称”和“NAS 子网ID”如果为空则证明没有开启，单击右上角配置NAS VPC即可。 如果单击开启后报错，可能是由于对应的VPC已经创建了对等连接，删除对等连接即可。 父主题： 专属资源池创建训练作业
3b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/
样本标注信息。如果不给出，则是未标注对象。 annotations值为一个对象列表。标注属性请见表4。 usage String 用途，可选值为TRAIN、EVAL、TEST、INFERENCE。指明该对象用于训练、评估、测试、推理，如果没有给出该字段，则使用者自行决定如何使用该对象。 inference_loc
5-32B √ √ 前提条件 在“我的模型”页面存在已创建成功的模型。 已准备好用于存放压缩后模型权重文件的OBS桶，OBS桶必须和MaaS服务在同一个Region下。 创建压缩作业 登录ModelArts管理控制台。 在左侧导航栏中，选择“ModelArts Studio”进入ModelArts
result_property 否 String 样本状态，不传或传-1默认返回全部样本。可选值如下： -1：全部 0：保留 1：修改 2：删除 3：新增 请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 count Integer 结果总数。 has_more
3b.sh 选择用户自己的专属资源池，以及规格与节点数。防止训练过程中出现内存溢出的情况，用户可参考表2进行配置。 图2 选择资源池规格 新增SFS Turbo挂载配置，并选择用户创建的SFS Turbo文件系统。 云上挂载路径：输入镜像容器中的工作路径 /home/ma-user/work/
推理性能测试 本章节介绍如何进行推理性能测试，建议在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。若需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 约束限制 创建在线服务时，每秒服务流量限制默认为100
推理性能测试 本章节介绍如何进行推理性能测试，建议在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。若需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 benchmark方法介绍 性能benchmark包括两部分。
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16 per-channel Step1
AWQ(W4A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见支持的模型列表和权重文件。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16 per-channel Step1
推理性能测试 本章节介绍如何进行推理性能测试，建议在Notebook的JupyterLab中另起一个Terminal，执行benchmark脚本进行性能测试。如果需要在生产环境中进行推理性能测试，请通过调用接口的方式进行测试。 约束限制 创建在线服务时，每秒服务流量限制默认为10
各个使用场景，同时兼顾数据集管理的灵活性，本文档描述数据集管理的接口和描述规范——Manifest文件。 Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息，没有标注信息，如生成的未标注的数据集。 Manifest文件使用UTF
在运行中的Notebook实例，支持将“OBS并行文件系统”挂载到实例中指定的文件目录，挂载后可以在容器中以文件系统操作方式完成OBS并行文件系统对象的读写。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成S
String 访问Notebook的途径，枚举值如下： NOTEBOOK：可以通过https协议访问Notebook。 SSH：可以通过SSH协议远程连接Notebook。 ssh_keys Array of strings SSH密钥对名称列表，允许设置多个密钥对实现同时对SSH实例的访问。
置信度，数值类型，范围0<=confidence<=1，表示机器标注的置信度。 position Object 标注对象的位置信息，详细请见表5。 parts Object 子标注对象列表，即嵌套的voc_object列表，详细请见表4。 mask_color String 图像分割mask图像的颜色。
在“系统属性”中切换到“高级”页签，单击“环境变量”。 在“环境变量”的“用户变量”中鼠标左键双击“Path”，在“编辑环境变量”窗口单击“新增”，新增Python和pip的安装路径。安装路径需定位到Scripts文件夹，例如“c:\python\python**\Scripts”。
Step2 为用户配置云服务使用权限 主用户为子账号授予ModelArts、OBS等云服务的使用权限后，子账号才可以使用这些云服务。此步骤介绍如何为用户组中的所有子账号授予使用ModelArts、OBS、SWR等各类云服务的权限。 主用户在IAM服务的用户组列表页面，单击“授权”，进入到授权页面，为子账号配置权限。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
