检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数；其它平台的Session鉴权请参考Session鉴权。 方式1：根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7
tl工具安装在和集群在相同vpc下的某一台机器上。单击kubectl后的“配置”按钮。按照界面提示步骤操作即可。 图3 通过内网使用kubectl工具 通过公网使用kubectl工具，可以将kubectl安装在任一台可以访问公网的机器。 首先需要绑定公网地址，单击公网地址后的“绑定”按钮。
上传数据和算法至SFS（首次使用时需要） 前提条件 ECS服务器已挂载SFS，请参考ECS服务器挂载SFS Turbo存储。 在ECS中已经创建ma-user和ma-group用户，请参考在ECS中创建ma-user和ma-group。 已经安装obsutil，请参考下载和安装obsutil。 参考线下容
Step3 安装云端Python插件 在新打开的VS Code界面，单击左侧列表的Extensions选项，在搜索框中输入Python，在下拉列表中单击“Install”进行安装。 图8 安装云端Python插件 如果安装云端的Python插件不成功时，建议通过离线包的方式安装。具体操
仅适用于GPU资源监控。 前提条件 裸金属服务器需要安装driver、cuda、fabric-manager软件包。 步骤一：安装Docker 使用Docker官方脚本安装最新版Docker： curl https://get.docker.com | sh sudo systemctl
Diffusion v1.5的onnx pipeline代码为例进行说明。 进入容器环境，创建自己的工作目录。 由于在Snt9B裸金属服务器环境配置指南的配置环境步骤中，在启动容器时将物理机的home目录挂载到容器的“/home_host”目录下，该目录可以直接使用上传到物理机“hom
构建新镜像。 注意：训练作业的资源池以及ECS都需要联通外网，否则会安装和下载失败。 ECS获取和上传基础镜像 创建ECS。 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建
配置授权 功能介绍 配置ModelArts授权。若没有授权，ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
"Action": [ "vpc:*:*", "ecs:*:get*", "ecs:*:list*" ], "Effect": "Allow"
配置用户缺失的服务权限 在使用MaaS服务时，如果未配置或缺失相关权限，会出现授权相关提示，请您及时处理。如果未处理，会导致部分功能出现异常。 添加依赖服务授权 由于大模型即服务平台的数据存储、模型导入以及部署上线等功能依赖OBS、SW等服务，需获取依赖服务授权后才能正常使用相关功能。
单击左侧“配置管理”，进入资源池配置管理页面。 图1 配置管理 在镜像预热中单击编辑图标，填写镜像预热信息。 表1 镜像预热参数 参数名称 说明 镜像来源 可选择“预置”或“自定义”的镜像。 预置：可选择SWR服务上自有的或他人共享的镜像。 自定义：可直接填写镜像地址。 添加镜像密钥
Verification successful 安装Gallery CLI配置工具 当Gallery CLI配置工具包下载完成后，进入服务器安装工具。不管是ModelArts Lite云服务，还是本地Windows/Linux等服务器，安装操作都相同。 登录服务器，激活python虚拟环境。 conda
Yaml配置文件参数配置说明 本小节主要详细描述demo_yaml配置文件、配置参数说明，用户可根据实际自行选择其需要的参数。 表1 模型训练脚本参数 参数 示例值 参数说明 model_name_or_path /home/ma-user/ws/model/Qwen2-72B
准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
准备大模型训练适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置Standard物理机环境操作。 基础镜像地址 本教程中用到的训练的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 配套版本 基础镜像 swr.cn-southwest-2
自定义镜像导入模型部署上线调用API报错 部署上线调用API报错，排查项如下： 确认配置文件模型的接口定义中有没有POST方法。 确认配置文件里url是否有定义路径。例如：“/predictions/poetry”（默认为“/”）。 确认API调用中body体中的调用路径是否拼接
储和镜像知识。 配置流程 图1 Lite Cluster资源配置流程图 表1 Cluster资源配置流程 配置顺序 配置任务 场景说明 1 配置Lite Cluster网络 购买资源池后，需要弹性公网IP并进行网络配置，配置网络后可通过公网访问集群资源。 2 配置kubectl工具
根据报错提示，请您排查代码，是否已添加以下配置，设置该程序可见的GPU： os.environ['CUDA_VISIBLE_DEVICES'] = '0,1,2,3,4,5,6,7' 其中，0为服务器的GPU编号，可以为0，1，2，3等，表明对程序可见的GPU编号。如果未进行添加配置则该编号对应的GPU不可用。
问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
问并编辑以上源码文件。编辑完成后重新构建新镜像。 训练作业的资源池以及ECS都需要连通公网，否则会安装和下载失败。资源池打通公网配置请参见配置Standard专属资源池访问公网，ECS打通公网配置请参见ECS绑定弹性公网IP。 父主题： 准备镜像
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
