检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
操作步骤 调用认证鉴权接口获取用户的Token。
Notebook进行代码调试 创建训练任务 单机多卡 资源购买： 购买虚拟私有云VPC 购买弹性文件服务SFS 购买容器镜像服务SWR 创建网络 购买ModelArts专属资源池 购买弹性云服务器ECS 基本配置： 权限配置 专属资源池VPC打通 ECS服务器挂载SFS Turbo
在“部署模型服务”页面，完成创建配置。 图3 资源设置 表2 部署模型服务 参数 说明 取值样例 服务设置 服务名称 自定义模型服务的名称。 service-1122 描述 自定义部署模型服务的简介。
查询OS的配额 功能介绍 获取ModelArts OS服务中部分资源的配额，如资源池配额、网络配额等。 调试 您可以在API Explorer中调试该接口，支持自动认证鉴权。API Explorer可以自动生成SDK代码示例，并提供SDK代码示例调试功能。
建议使用官方提供的镜像部署推理服务。镜像地址{image_url}参见表2 获取软件和镜像。 docker pull {image_url} 启动容器镜像。启动前请先按照参数说明修改${}中的参数。可以根据实际需要增加修改参数。
图1 复制完整资产名称 获取待上传的文件名 获取待上传的文件在服务器的绝对路径。 上传单个文件 在服务器执行如下命令，可以将服务器上的文件上传到AI Gallery仓库里面。
示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。
修改服务部署新版本模型或者切换模型版本时，原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。 前提条件 已存在部署完成的服务。 已完成模型调整，创建模型。
前提条件 一台可访问外网的Ubuntu服务器。如果没有请具备以下条件： 准备一台ECS服务器（建议规格选8U或者以上，镜像选择Ubuntu，建议选择22.04版本，本地存储100G），具体操作请参考《购买弹性云服务器》。
pip install diffusers==0.21.2 Step6 启动训练服务 执行如下命令启动训练脚本diffusers_lora_train.sh。
网络配置主要分为以下两个场景： 单个弹性公网IP用于单个Server服务器：为单台Server服务器绑定一个弹性公网IP，该Server服务器独享网络资源。
num_processes: 8 rdzv_backend: static same_network: true tpu_env: [] tpu_use_cluster: false tpu_use_sudo: false use_cpu: false 启动SD1.5 Finetune训练服务
/bin/bash export MA_NUM_HOSTS=1 if [[ $MA_NUM_HOSTS == 1 ]]; then Step6 启动训练服务 执行如下命令运行训练脚本。
单幅图像示例 如果您的输入仅包含一张图片，则可以使用单个占位符<image>来指示应在对话中插入图像的位置。
ECS获取基础镜像 Step1 登录ECS服务器 根据创建ECS服务器创建完成ECS服务器后，单击“远程登录”，可使用华为CloudShell远程登录。后续安装Docker、获取镜像、构建镜像等操作均在该ECS上进行。 Step2 创建镜像组织 在SWR服务页面创建镜像组织。
当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主机的元数据。具体操作请参见禁止容器获取宿主机元数据。 SSH登录机器后，检查NPU卡状态。
如果一个自定义策略中包含多个服务的授权语句，这些服务必须是同一属性，即都是全局级服务或者项目级服务。 由于OBS为全局服务，ModelArts为项目级服务，所以需要创建两条“作用范围”别为“全局级服务”以及“项目级服务”的自定义策略，然后将两条策略同时授予用户。
如果一个自定义策略中包含多个服务的授权语句，这些服务必须是同一属性，即都是全局级服务或者项目级服务。 由于OBS为全局服务，ModelArts为项目级服务，所以需要创建两条“作用范围”别为“全局级服务”以及“项目级服务”的自定义策略，然后将两条策略同时授予用户。
使用MaaS压缩模型 在ModelArts Studio大模型即服务平台完成模型创建后，可以对模型进行压缩，获得更合适的模型。 场景描述 模型压缩是指将高比特浮点数映射到低比特量化空间，从而减少显存占用的资源，降低推理服务时延，提高推理服务吞吐量，并同时减少模型的精度损失。
下载单个文件 在服务器执行如下命令，可以从AI Gallery仓库下载单个文件到服务器的缓存目录下。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
