检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
objects 要删除的标签列表。 表3 TmsTagForDelete 参数 是否必选 参数类型 描述 key 是 String TMS标签的key。 value 否 String TMS标签的value，非必填。 响应参数 状态码： 400 表4 响应Body参数 参数 参数类型
或指定团队自行分配。 表3 WorkforcesConfig 参数 是否必选 参数类型 描述 agency 否 String 管理员。 workforces 否 Array of WorkforceConfig objects 执行标注任务的团队列表。 表4 WorkforceConfig
使用DCGM监控Lite Server资源 场景描述 本文主要介绍如何在Lite Server上配置DCGM监控，用于监控Lite Server上的GPU资源。 DCGM是用于管理和监控基于Linux系统的NVIDIA GPU大规模集群的一体化工具，提供多种能力，包括主动健康监控
是否使用的是缓存。 表13 WorkflowConditionExecution 参数 参数类型 描述 result String 执行结果。 metric_list Array of WorkflowMetricPair objects 工作流度量信息列表。 表14 WorkflowMetricPair
Array of Scene objects 场景。 表28 Scene 参数 参数类型 描述 id String 场景ID。 name String 场景名称。 steps Array of strings 节点列表。 表29 WorkflowServicePackege 参数
是否同步更新新增数据 表3 WorkforcesConfig 参数 是否必选 参数类型 描述 agency 否 String 管理员。 workforces 否 Array of WorkforceConfig objects 执行标注任务的团队列表。 表4 WorkforceConfig
可以根据实际需求设置。 --num-requests：输出数据集的数量，可以根据实际需求设置。 进入benchmark_tools目录下，切换一个conda环境。 cd benchmark_tools conda activate python-3.9.10 执行脚本benchmark_serving
系统容器异常退出 问题现象 在训练创建后出现“系统容器异常退出”的故障。 [ModelArts Service Log]2022-10-11 19:18:23,267 - file_io.py[1ine:748] - ERROR: stat:404 errorCode:NoSuchKey
或指定团队自行分配。 表3 WorkforcesConfig 参数 是否必选 参数类型 描述 agency 否 String 管理员。 workforces 否 Array of WorkforceConfig objects 执行标注任务的团队列表。 表4 WorkforceConfig
不同软件版本对应的基础镜像地址不同，请严格按照软件版本和镜像配套关系获取基础镜像。 支持的模型列表和权重文件 本方案支持vLLM的v0.3.2版本。不同vLLM版本支持的模型列表有差异，具体如表3所示。 表3 支持的模型列表和权重获取地址 序号 模型名称 支持vLLM v0.3.2 开源权重获取地址
资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称 获取路径 插件代码包 AscendCloud-6.3.908软件包中的AscendCloud-AIGC-6.3.908-xxx.zip 文件名中的xxx表示具体的时间戳，以包名发布的实际时间为准。 获取路径：Support-E
议使用SFS存放数据，SFS支持扩容。 GPU规格的资源 表1 GPU cache目录容量 GPU规格 cache目录容量 GP Vnt1 800G 8*GP Vnt1 3T GP Pnt1 800G CPU规格的资源 表2 CPU cache目录容量 CPU规格 cache目录容量
ModelArts日志查询界面看到日志 通过OBS创建模型时，构建日志中提示pip下载包失败 通过自定义镜像创建模型失败 导入模型后部署服务，提示磁盘不足 创建模型成功后，部署服务报错，如何排查代码问题 自定义镜像导入配置运行时依赖无效 通过API接口查询模型详情，model_name返回值出现乱码
nodes/batch-reboot 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 pool_name 是 String 资源池名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型
腾资源为单卡时，cache目录保持500G大小限制；除单卡外，cache盘大小与卡数有关，计算方式为卡数*500G，上限为3T。详细表1所示。 表1 不同Notebook规格资源“/cache”目录的大小 规格类别 cache盘大小 GPU-0.25卡 500G*0.25 GPU-0
配额管理 查询OS的配额
deleteNodeNames 是 Array of strings 待删除的节点名称列表。 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 - String 状态码： 404 表4 响应Body参数 参数 参数类型 描述 error_code String ModelArts错误码。
RO内存优化等高级特性，以提高训练效率和性能 stage sft 表示当前的训练阶段。可选择值：sft、rm、ppo、dpo。 sft代表指令监督微调； rm代表奖励模型训练； ppo代表PPO训练； dpo代表DPO训练。 finetuning_type full 用于指定微调策略类型，可选择值full、lora。
些Function Calling的使用场景： 表1 Function Calling使用场景说明 使用场景 说明 增强能力 大模型通过Function Calling可以调用外部工具或服务，例如实时数据检索、文件处理、数据库查询等，从而扩展其能力。 实时数据访问 由于大模型通常
适配的CANN版本是cann_8.0.rc2，驱动版本是23.0.5。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持的模型列表、对应的开源权重获取地址如表1所示。 表1 支持的模型列表和权重获取地址 序号 支持模型 支持模型参数量 开源权重获取地址 1 Llama llama-7b https://huggingface
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
