检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0
0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241112192643-c45ac6b 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2
0-cann_8.0.rc3-py_3.9-hce_2.0.2409-aarch64-snt9b-20241113174059-fcd3700 镜像发布到SWR， region：西南-贵阳一， 从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0
参数 参数类型 描述 auths Array of ApiAuthInfo objects 授权信息数组。 count Integer 查询到的授权信息数量。 total_count Integer 授权信息总数量。 表4 ApiAuthInfo 参数 参数类型 描述 app ApigAppDetailInfo
in {0..7};do hccn_tool -i $i -ip -g; done 配置rank_table_file.json文件，并复制到每台机器上的${path-to-file}目录中。存放路径例如：/home/data/rank_table_file.json。详细样例参见附录：rank_table_file
put"].get_output_variable("access_address")} # 获取子服务输出的推理地址，并通过envs传递到主服务中 ) main_service_step = wf.steps.ServiceStep( name="main_service_step"
driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 获取代码并上传 上传推理代码AscendCloud-CV-6.3.910-xxx.zip到宿主机的工作目录中，包获取路径请参见表2。 上传代码到宿主机时使用的是root用户，此处需要
目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step3 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 执行如下命令进入容器。
请求参数 无 响应参数 状态码： 200 表3 响应Body参数 参数 参数类型 描述 name String Workflow工作流名称，1到64位只包含中英文、数字、空格、下划线（_）和中划线（-），并且以中英文开头。 workflow_id String Workflow工作流ID。创建工作流时后台自动生成。
0-cann_8.0.rc2-py_3.9-hce_2.0.2312-aarch64-snt9b-20240727152329-0f2c29a 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc2 容器镜像OS：hce_2.0 PyTorch：pytorch_2
响应参数 状态码： 201 表6 响应Body参数 参数 参数类型 描述 step_name String 节点的名称，在一个DAG中唯一，1到64位只包含中英文，数字，空格，下划线（_）和中划线（-），并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时，后台自动生成。
3.909版本相对于6.3.908版本新增如下内容： 文档中新增对Llama3.1的适配。 ModelLink框架和MindSpeed已升级到最新版本。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1
表3 StepExecution 参数 是否必选 参数类型 描述 step_name 否 String 节点的名称，在一个DAG中唯一，1到64位只包含中英文，数字，空格，下划线（_）和中划线（-），并且以中英文开头。 duration 否 Integer Execution执行的运行时长。
查询模型详情 查询当前模型对象的信息。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 方式1：根据导入模型生成的模型对象进行模型详情查询 1 2 3 4 5 6 7 from modelarts
Preference Optimization)：直接偏好优化方法，通过直接优化语言模型来实现对大模型输出的精确把控，不用进行强化学习，也可以准确判断和学习到使用者的偏好，最后，DPO算法还可以与其他优化算法相结合，进一步提高深度学习模型的性能。 RM奖励模型(Reward Model)：是强化学
推理专属预置镜像列表 ModelArts的推理平台提供了一系列的基础镜像，用户可以基于这些基础镜像构建自定义镜像，用于部署推理服务。 X86架构（CPU/GPU）的推理基础镜像 表1 TensorFlow AI引擎版本 支持的运行环境 镜像名称 URI 2.1.0 CPU GPU(cuda10
目前性能测试已经支持投机推理能力。 静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step3 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 执行如下命令进入容器。
0-cann_8.0.rc3-py_3.10-hce_2.0.2312-aarch64-snt9b-20240829092203-4ccf328 镜像发布到SWR，从SWR拉取 固件驱动：23.0.6 CANN：cann_8.0.rc3 容器镜像OS：hce_2.0 PyTorch：pytorch_2
Preference Optimization)：直接偏好优化方法，通过直接优化语言模型来实现对大模型输出的精确把控，不用进行强化学习，也可以准确判断和学习到使用者的偏好，最后，DPO算法还可以与其他优化算法相结合，进一步提高深度学习模型的性能。 RM奖励模型(Reward Model)：是强化学
3.909版本相对于6.3.908版本新增如下内容： 文档中新增对Llama3.1的适配。 ModelLink框架和MindSpeed已升级到最新版本。 支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
