检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的
llama3系列 llama2系列 glm4-9b mixtral-8x7b baichuan2-13b 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface
t_id}/export-tasks 表1 路径参数 参数 是否必选 参数类型 描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
约束生成：可以设定某些限制条件，如关键词、主题或风格，使生成的内容更加一致和相关。 提高质量：通过引导，生成的文本通常更具逻辑性和连贯性，减少无关信息的出现。 约束限制 Guided Decoding特性不能和multi-step同时使用。 离线推理使用Guided Decoding 离线推理，要使用guid
后添加标签。 目前只有“图像分类”、“物体检测”和“图像分割”类型的数据集支持自动分组功能。 启动自动分组任务 登录ModelArts管理控制台，在左侧菜单栏中选择“数据准备>数据标注”，进入“数据标注”管理页面。 在标注作业列表中，选择“物体检测”或“图像分类”类型的标注作业，
}' 执行推理参考 配置服务化参数。Ascend vllm使用该特性需参考表1，其它参数请参考启动推理服务。 启动服务。具体请参考启动推理服务。 精度评测和性能评测。具体请参考推理服务精度评测和推理服务性能评测。 父主题： 投机推理
# 认证用的ak和sk硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件或者环境变量中密文存放，使用时解密，确保安全； # 本示例以ak和sk保存在环境变量中来实现身份验证为例，运行本示例前请先在本地环境中设置环境变量HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。
约束限制 仅使用新版专属资源池训练时才支持设置训练作业优先级。公共资源池和旧版专属资源池均不支持设置训练作业优先级。 作业优先级取值为1~3，默认优先级为1，最高优先级为3。默认用户权限可选择优先级1和2，配置了“设置作业为高优先级权限”的用户可选择优先级1~3。 如何设置训练作业优先级
入“标签名”或从下拉列表中选择已添加的标签，同时可在下拉菜单中选择标签“快捷键”。单击“确定”，完成选中音频的标注操作。 当目录中所有音频都完成标注后，您可以在“已标注”页签下查看已完成标注的音频，或者通过右侧的“全部标签”列表，了解当前已完成的标签名称和标签数量。 同步或添加音频
登录ModelArts管理控制台。 在左侧导航栏中，选择“模型训练 > 训练作业”进入训练作业列表。 单击“创建训练作业”，进入创建训练作业页面，填写作业信息，创建方式参考表1，其他参数填写请参考创建训练作业。 表1 创建训练作业的创建方式（使用自定义镜像） 参数名称 说明 创建方式 必选，选择“自定义算法”。
安装过程预计1~2分钟，如图2所示，请耐心等待。 图2 安装过程 安装完成后，系统右下角提示安装完成，导航左侧出现ModelArts图标和SSH远程连接图标，表示VS Code插件安装完成。 图3 安装完成提示 图4 安装完成 当前网络不佳时SSH远程连接插件可能未安装成功，此时无需操作，在Step4
x版本的Python版本，推荐使用3.7.x版本。 使用场景 ModelArts SDK目前仅支持在ModelArts开发环境Notebook和本地PC两种环境使用。 ModelArts SDK不支持在训练作业和在线服务中使用。 ModelArts SDK已经集成在ModelArts
CANN-GRAPH使用限制 CANNGraph图模式目前仅支持llama和qwen2系列架构的大语言模型单卡场景，包含该系列AWQ量化模型。由于部分算子暂未适配，其他场景(如Multi-lora)暂未支持。 CANN-GRAPH参数设置 相关参数如下表所示： 服务启动方式 配置项 配置说明 offline
订阅消息使用消息通知服务，在事件列表中选择需要监控的节点或者Workflow状态，在事件发生时发送消息通知。 说明： 打开开关后，需要先指定SMN主题名，如未创建主题名，需前往消息通知服务创建主题。 支持对Workflow中单个节点、多个节点以及工作流的相关事件进行订阅。订阅列表中，一行代表一个节点或者
团队的不同成员，或者指派给其他标注团队。 登录ModelArts管理控制台，在左侧菜单栏中选择“资产管理 >数据集”，打开数据集列表。 在数据集列表中，选择支持团队标注的数据集，单击数据集名称进入数据集概览页。 在数据集概览页页面，右侧的“标注任务”区域，可查看此数据集已有的标注
要创建的文件夹列表如表1所示，示例中的桶名称“test-modelarts” 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途
要创建的文件夹列表如表1所示，示例中的桶名称“test-modelarts” 和文件夹名称均为举例，请替换为用户自定义的名称。 创建OBS桶和文件夹的操作指导请参见创建桶和新建文件夹。 请确保您使用的OBS与ModelArts在同一区域。 表1 OBS桶文件夹列表 文件夹名称 用途
执行如下命令安装libfontconfig1。 sudo apt-get install -y adduser libfontconfig1 回显如下代表执行成功： 执行如下命令下载Grafana安装包。 wget https://dl.grafana.com/oss/release/grafana_9
输入数据：编译后的模型提供了predict接口用户执行模型推理任务，Inputs输入为List Tensor，这里的Tensor是MSLite的概念，具体的列表长度和tensor类型由转换时的InputShape来确定，由于后端指定了ascend，这些tensor都是在昇腾设备的显存中，用户需要在对应
景。 数据上传至OBS 在本文档中，采用通过OBS管理控制台将数据上传至OBS桶。 上传OBS的文件规范： 文件名规范：不能有+、空格、制表符。 如不需要提前上传训练数据，请创建一个空文件夹用于存放工程后期生成的文件。如：“/bucketName/data-cat”。 如需要提前
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
