检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
是否必选 参数类型 描述 user_id 否 String IAM用户ID。此参数与user_name必填一个。两者都填优先使用user_id。 user_name 否 String IAM用户名称。此参数与user_id必填一个。 响应参数 状态码： 200 表5 响应Body参数 参数
的华为方技术支持。 适配的CANN版本是cann_8.0.rc2，驱动版本是23.0.5。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练，如表1所示。
docker exec -it ${container_name} bash Step4 构建与代码解耦的镜像和容器环境 Step3 构建标准镜像和容器环境 和 Step4 构建与代码解耦的镜像和容器环境 都是搭建容器环境，任选其中一个即可。 一、启动镜像 启动容器镜像，训练需
查看密钥文件的路径，建议放在C:\Users\{user}\.ssh下，并确保密钥文件无中文字符。 排查插件包是否为最新版：在extensions中搜索，看是否需要升级。检查Remote-ssh三方插件是否兼容。 4. 检查本地Vscode是否为最新版，最新版可能有bug，建议使用推荐版本v1.82。 如
--port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地址与"/generate"拼接而成；如果以openai接口方式启动服务，API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。
--port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地址与"/generate"拼接而成；如果以openai接口方式启动服务，API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法： 升级transformers版本到4.43.1 pip install transformers --upgrade 问题4：使用Smooth
使用ModelArts SDK或Moxing接口从OBS下载文件请参见如何在Notebook中上传下载OBS文件？。 文件夹 将文件夹压缩成压缩包，上传方式与大文件相同。将文件上传至Notebook后， 可在Terminal中解压压缩包。 unzip xxx.zip #在xxx.zip压缩包所在路径直接解压
查看密钥文件的路径，建议放在C:\Users\{user}\.ssh下，并确保密钥文件无中文字符。 排查插件包是否为最新版：在extensions中搜索，看是否需要升级。检查Remote-ssh三方插件是否兼容。 4. 检查本地Vscode是否为最新版，最新版可能有bug，建议使用推荐版本v1.82。 如
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法：升级transformers版本到4.43.1：pip install transformers --upgrade 问题5：使用Smooth
Service）作为存储的方案，OBS用于存储模型文件、训练数据、代码、日志等，提供了高可靠性的数据存储解决方案。 约束限制 如果要使用自动重启功能，资源规格必须选择八卡规格，只有llama3-8B/70B支持该功能。 本案例仅支持在专属资源池上运行。 支持的模型列表 本方案支持以下模型的训练，如表1所示。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
'original_max_position_embeddings': 8192, 'rope_type': 'llama3'} 解决方法： 升级transformers版本到4.43.1 pip install transformers --upgrade 问题4：使用Smooth
--port：服务端口，和推理服务端口8080。 --url：如果以vllm接口方式启动服务，API接口公网地址与"/generate"拼接而成；如果以openai接口方式启动服务，API接口公网地址与"/v1/completions"拼接而成。部署成功后的在线服务详情页中可查看API接口公网地址。
户之间隔离。如需要在服务实例中访问名下VPC内的其他服务组件，则可配置此参数为对应VPC的ID。VPC一旦配置，不支持修改。当vpc_id与cluster_id一同配置时，只有专属资源池参数生效。 否 str subnet_network_id 子网的网络ID，默认为空，当配置了
本文档适配昇腾云ModelArts 6.3.911版本，请参考获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行 install.sh文件，来安装依赖以及下载完整代码。
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
本文档适配昇腾云ModelArts 6.3.911版本，请参考表1获取配套版本的软件包和镜像，请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 软件配套版本 表1 获取软件 分类 名称
使用基础镜像 通过ECS获取和上传基础镜像将镜像上传至SWR服务后，可创建训练作业，在“选择镜像”中选择SWR中基础镜像。 由于基础镜像内需要安装固定版本依赖包，如果直接使用基础镜像进行训练，每次创建训练作业时，训练作业的图1中都需要执行install.sh文件，来安装依赖以及下载完整代码。命令如下：
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
