检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备环境 本文档中的模型运行环境是ModelArts Lite的Cluster。请参考本文档要求准备资源环境。 资源规格要求 计算规格：不同模型训练推荐的NPU卡数请参见表2。 硬盘空间：至少200GB。 Ascend资源规格： Ascend: 1*ascend-snt9b表示Ascend单卡。
准备数据 本教程使用到的训练数据集是Alpaca数据集。您也可以自行准备数据集。 Alpaca数据集 本教程使用Alpaca数据集，数据集的介绍及下载链接如下。 Alpaca数据集是由OpenAI的text-davinci-003引擎生成的包含52k条指令和演示的数据集。这些指令
查看日志和性能 查看日志 若查看启动作业日志信息，可通过以下命令打印正在启动的日志信息。其中${pod_name}为pod信息中的NAME，例如vcjob-main-0。 kubectl logs -f ${pod_name} 训练过程中，训练日志会在最后的Rank节点打印。 图1
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
使用AWQ量化 AWQ(W4A16/W8A16)量化方案能显著降低模型显存以及需要部署的卡数。降低小batch下的增量推理时延。支持AWQ量化的模型列表请参见表3。 本章节介绍如何使用AWQ量化工具实现推理量化。 量化方法：W4A16 per-group/per-channel，W8A16
推理性能测试 benchmark方法介绍 性能benchmark包括两部分。 静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动
eagle投机小模型训练 本章节提供eagle小模型自行训练的能力，客户可通过本章节，使用自己的数据进行训练eagle小模型，并使用自行训练的小模型进行eagle推理。 步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的
使用SmoothQuant量化 SmoothQuant(W8A8)量化方案能降低模型显存以及需要部署的卡数。也能同时降低首token时延和增量推理时延。支持SmoothQuant(W8A8)量化的模型列表请参见表3。 本章节介绍如何使用SmoothQuant量化工具实现推理量化。
使用自动分组智能标注作业 为了提升智能标注算法精度，可以均衡标注多个类别，有助于提升智能标注算法精度。ModelArts内置了分组算法，您可以针对您选中的数据，执行自动分组，提升您的数据标注效率。 自动分组可以理解为数据标注的预处理，先使用聚类算法对未标注图片进行聚类，再根据聚类
JupyterLab常用功能介绍 JupyterLab视频介绍 JupyterLab主页介绍 下面介绍如何从运行中的Notebook实例打开JupyterLab。 登录ModelArts管理控制台，在左侧菜单栏中选择“开发空间 > Notebook”，进入Notebook页面。
创建Workflow数据集节点 功能介绍 通过对ModelArts数据集能力进行封装，实现新版数据集的创建功能。主要用于通过创建数据集对已有数据（已标注/未标注）进行统一管理的场景，后续常见数据集导入节点或者数据集标注节点。 属性总览 您可以使用CreateDatasetStep
在Linux上安装配置Grafana 适用场景 本章节适用于在Linux操作系统的PC中安装配置Grafana。 前提条件 一台可访问外网的Ubuntu服务器。如果没有请具备以下条件： 准备一台ECS服务器（建议规格选8U或者以上，镜像选择Ubuntu，建议选择22.04版本，本
在Notebook上安装配置Grafana 适用场景 本章节适用于在ModelArts Standard的Notebook中安装配置Grafana。 前提条件 已创建CPU或GPU类型的Notebook实例，并处于运行中。 打开Terminal。 操作步骤 在Terminal中依
设置租户管理员：为选择的租户指定管理员。 冻结/启用：冻结、启用所选租户。 编辑：编辑维护租户信息。 续租：延长租户租期时间范围。 父主题： 数据生命周期平台操作手册
配置被叫 操作步骤 以租户管理员角色登录客户服务云，选择“配置中心 > 接入配置>被叫”，进入配置页面。 单击“新建”，如图1所示配置被叫信息。 图1 新建被叫配置 表1 新建被叫配置页面的关键参数说明 参数名称 描述 接入码 通过直接呼叫“接入码+扩展码”的方式转IVR流程。
可以主动向客户端推送数据，客户端也可以主动向服务端发送信息，是服务端推送技术的一种。 低代码平台提供了WebSocket，用户可以通过触发消息事件，将后台消息以json对象的形式，通过平台的WebScoket服务端发送，所有订阅了该事件的前台WebScoket客户端都会获得该消息
组件 说明 管理控制台 可视化的管理平台，便于您集中下发配置信息，查看在同一区域内主机的防护状态和检测结果。 HSS云端防护中心 使用AI、机器学习和深度算法等技术分析主机中的各项安全风险。 集成多种杀毒引擎，深度查杀主机中的恶意程序。 接收您在控制台下发的配置信息和检测任务，并转发给安装在服务器上的Agent。
钥管理权限。本示例中使用“华南-广州”Region举例，所以需要配置DEW密钥管理权限。 （可选）配置智能边缘平台使用权限。ModelArts的边缘服务依赖智能边缘平台，要求配置Tenant Administrator权限。 注意：Tenant Administrator权限比较
单击催审的时间。 审核说明 模板审核不通过，平台在此反馈不通过的具体原因。 操作 修改：当状态为“审核不通过”时支持修改，可以修改模板名称、模板类型、所属应用、所属签名、模板内容、变量属性（模板内容设置变量时弹出）与申请说明。 催审：单击催促平台运营经理加速审核。 更多 > 变量校验：
华为云云商店/KooGallery 指华为云建立和运营的、供交易双方或者多方独立开展交易活动的网络交易平台。 父主题： 云商店伙伴
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
