检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的部署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.910版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
i18n_description 参数 参数类型 描述 language String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description String 国际化语种的描述信息。 表8 inputs 参数 参数类型 描述 name String 数据输入通道名称。
静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-3rdLLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，执行如下命令安装性能测试的关依赖。
静态benchmark验证 本章节介绍如何进行静态benchmark验证。 已经上传benchmark验证脚本到推理容器中。如果在Step5 进入容器安装推理依赖软件步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，切换一
ECS中构建新镜像（二选一） 通过ECS获取和上传基础镜像获取基础镜像后，可通过ECS运行Dockerfile文件，在镜像的基础上构建新镜像。 获取模型软件包，并上传到ECS的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
doc_url String 文档http(s)链接。 doc_name String 文档名称，支持1-48位可见字符（含中文），只能以英文大小写字母或者中文字符开头，名称可以包含字母、中文、数字、中划线、下划线。 表5 ModelHealth 参数 参数类型 描述 protocol
i18n_description 参数 参数类型 描述 language String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description String 国际化语种的描述信息。 表10 inputs 参数 参数类型 描述 name String 数据输入通道名称。
--outputFile=./mindirs --configFile=./configs/unet.ini 最多支持100档配置，每一档通过英文逗号分隔。 如果用户设置的dim数值过大或档位过多，可能会导致模型编译失败，此时建议用户减少档位或调低档位数值。 如果用户设置了动态维度，
IAM是提供权限管理的基础服务，无需付费即可使用，您只需要为您账号中的资源进行付费。 通过IAM，您可以通过授权控制用户对服务资源的访问范围。例如您的员工中有负责软件开发的人员，您希望这些用户拥有ModelArts的使用权限，但是不希望这些用户拥有删除ModelArts等高危操作的权限，那么您可以使用I
eger/boolean）的参数下配置index参数，指定使用csv数据中对应索引下标的数据作为此参数的值去发送推理请求，csv数据必须以英文半角逗号分隔，index从0开始计数，特殊地，当index为-1时忽略此参数。具体可参考创建批量服务的样例。 src_type 否 String
i18n_description 参数 参数类型 描述 language String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description String 国际化语种的描述信息。 表25 inputs 参数 参数类型 描述 name String 数据输入通道名称。
i18n_description 参数 参数类型 描述 language String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description String 国际化语种的描述信息。 表25 inputs 参数 参数类型 描述 name String 数据输入通道名称。
准备Docker机器并配置环境信息 准备一台具有Docker功能的机器，如果没有，建议申请一台弹性云服务器并购买弹性公网IP，并在准备好的机器上安装必要的软件。 ModelArts提供了ubuntu系统的脚本，方便安装docker。 本地Linux机器的操作等同ECS服务器上的操作，请参考本案例。
可以通过执行docker pull、apt-get update/upgrade和pip install命令判断是否可正常访问外部可用的开源软件仓库，若可以正常访问表示环境已连接外部网络。 上述的虚拟机或物理机需要为arm64架构。 建议构建节点安装的Linux系统版本为Ubuntu
可选，开启“SSH远程开发”功能后，可以设置此参数。 设置为允许远程接入访问这个Notebook的IP地址（例如本地PC的IP地址或者访问机器的外网IP地址，最多配置5个，用英文逗号隔开），不设置则表示无接入IP地址限制。 如果用户使用的访问机器和ModelArts服务的网络有隔离，则访问机器的外网地址需要在主流搜
eger/boolean）的参数下配置index参数，指定使用csv数据中对应索引下标的数据作为此参数的值去发送推理请求，csv数据必须以英文半角逗号分隔，index从0开始计数，特殊地，当index为-1时忽略此参数。具体可参考创建批量服务的样例。 src_type 否 String
i18n_description 参数 是否必选 参数类型 描述 language 否 String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description 否 String 国际化语种的描述信息。 表26 Input 参数 是否必选 参数类型 描述 name 是 String
i18n_description 参数 参数类型 描述 language String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description String 国际化语种的描述信息。 表11 policies 参数 参数类型 描述 auto_search auto_search
i18n_description 参数 参数类型 描述 language String 国际语种，可选值如下： zh-cn（中文） en-us（英文） description String 国际化语种的描述信息。 表12 policies 参数 参数类型 描述 auto_search auto_search
工具查看 nerdctl --namespace k8s.io image list 步骤三 构建ModelArts Lite训练镜像 获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的训练代码AscendCloud-LLM-6
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
