检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
sample_label_separator 否 String 文本和标签之间的分隔符。分隔符仅支持一个字符，必须为大小写字母，数字或@#￥%^&*_=|?/':.;,中的某一个字符，分隔符需要转义。 label_separator 否 String 标签和标签之间的分隔符。分隔符仅支持一个字符，必须为大小写字母，数字或@#￥%^&*_=|
功能）中部署推理服务。 Step1 准备模型文件和权重文件 在OBS桶中，创建文件夹，准备模型权重文件、推理启动脚本run_vllm.sh及SSL证书。此处以chatglm3-6b为例。 模型权重文件获取地址请参见支持的模型列表和权重文件。 如果需要部署量化模型，请参考推理模型量
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的
弹性集群Lite Cluster资源池 弹性节点Server资源池 包括vCPU、GPU和NPU。 ModelArts提供了包年/包月的AI专属资源池，包括Standard资源池、弹性集群Lite Cluster资源池和弹性节点Server资源池 假设您计划购买包年/包月的Standard专属
n上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。 Step1 上传权重文件 将权重文件上传到集群节点机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模
n上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。 Step1 上传权重文件 将权重文件上传到集群节点机器中。权重文件的格式要求为Huggingface格式。开源权重文件获取地址请参见支持的模型列表和权重文件。 如果使用模
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置
填写数据集基本信息，数据集的“名称”和“描述”。 选择“标注场景”和“标注类型”，本案例中分别选择“图片”和“物体检测”。 图1 数据集标注场景和标注类型 选择OBS中的数据目录作为“数据集输入位置”，选择不同的OBS目录作为“数据集输出位置”。 图2 数据集的输入位置和输出位置 参数填写无误
推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B单机。 表1 环境要求 名称 版本 driver 23.0.6 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置
如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。 如果想详细了解脚本执行训练权重转换操作和数据集预处理操作说明请分别参见训练中的权重转换说明和训练的数据集预处理说明。 步骤二 修改训练超参配置
您可以在服务详情页的“调用指南”页签（如图5）获取API接口公网地址（对应下文示例中的在线服务的调用地址url）和AppKey/AppSecret（对应下文示例中的app_key、app_secret）和AppCode（对应下文示例中的app_code）。请注意使用图中第二行用于APP认证方式的API接口公网地址。
r1/') 异常处理 通过OBS下载文件到Notebook中时，提示Permission denied。请依次排查： 请确保读取的OBS桶和Notebook处于同一站点区域，例如：都在华北-北京四站点。不支持跨站点访问OBS桶。具体请参见查看OBS桶与ModelArts是否在同一个区域。
本文档适配昇腾云ModelArts 6.3.912版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的Server资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径
本文档适配昇腾云ModelArts 6.3.909版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的Lite Server资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称
静态性能测试：评估在固定输入、固定输出和固定并发下，模型的吞吐与首token延迟。该方式实现简单，能比较清楚的看出模型的性能和输入输出长度、以及并发的关系。 动态性能测试：评估在请求并发在一定范围内波动，且输入输出长度也在一定范围内变化时，模型的延迟和吞吐。该场景能模拟实际业务下动态的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
