检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
n"。dtype类型不影响int8的scale系数的抽取和加载。 Step3 启动kv-cache-int8量化服务 在使用OpenAI接口或vLLM接口启动推理服务时添加如下参数： --kv-cache-dtype int8 #只支持int8，表示kvint8量化 --qua
to("cpu") quantized_model.save_pretrained("CodeLlama-34b-hf") 步骤二：启动量化服务 使用量化模型需要在NPU的机器上运行。 在模型的保存目录中创建quant_config.json文件，bits必须设置为8，指定量化为i
口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后，使用下列示例命令将Standard镜像上传至SWR： docker tag ${dockerfile_image_name}
vServer资源开通，购买DevServer资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254.169.254），以防止容器获取宿主
6GB”资源为灰色，无法选择。 解决方案： 方法1：如果您希望使用公共资源池下的Ascend Snt3，可以等待其他用户释放，即其他使用Ascend Snt3芯片的服务停止，您即可选择此资源进行部署上线。 方法2：如果专属资源池还有Ascend Snt3资源，您可以创建一个Ascend Snt3专属资源池使用。
service_type String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。
String 训练作业子任务名称。 exit_code Integer 训练作业子任务退出码。 message String 训练作业子任务错误消息。 表9 RunningRecord 参数 参数类型 描述 start_at Integer 本次运行开始时间的unix时间戳，单位为秒(s)。
口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图1 复制登录指令 Step3 修改并上传镜像 1. 在ECS服务器中输入登录指令后，使用下列示例命令将Standard镜像上传至SWR： docker tag ${dockerfile_image_name}
8*ascend-snt9b表示昇腾8卡。 推荐使用“西南-贵阳一”Region上的昇腾资源。 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）进行数据存储以及模型的备份和快照，实现安全、高可靠和低成本的存储需求。因此，在
0.5，表示固件版本为7.1.0.7.220，驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此
0.5，表示固件版本为7.1.0.7.220，驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此
0.5，表示固件版本为7.1.0.7.220，驱动版本为23.0.5。 图2 查看专属池驱动 创建OBS桶 ModelArts使用对象存储服务（Object Storage Service，简称OBS）存储输入输出数据、运行代码和模型文件，实现安全、高可靠和低成本的存储需求。因此
service_type String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。
service_type String 镜像支持服务类型。枚举值如下： COMMON：通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 size Long 镜像大小（单位KB）。
容器镜像training:v1。 docker build . -t training:v1 将构建好的新镜像上传至SWR。 登录容器镜像服务控制台，选择区域。 单击右上角“创建组织”，输入组织名称完成组织创建。您可以自定义组织名称，本示例使用“deep-learning”，实际
--per-channel：权重量化方法，如果指定则为per-channel粒度量化，否则为per-tensor粒度量化。 参考启动推理服务，启动推理服务时添加如下命令。 -q smoothquant 或者 --quantization smoothquant 使用llm-compre
数据校验：对您的数据集的数据进行校验，是否存在数据异常。 图像分类：将发布好的数据集版本进行训练，生成对应的模型。 模型注册：将训练后的结果注册到模型管理中。 服务部署：将生成的模型部署为在线服务。 快速查找创建好的项目 在自动学习总览页，您可以通过搜索框，根据自动学习的属性类型（项目名称）快速搜索过滤到相应的工作流，可节省您的时间。
缺点：资源申请周期长，购买成本高，管理视角下资源使用效率较低。 环境开通指导请参考DevServer资源开通；环境配置指导请参考Snt9B裸金属服务器环境配置指南。 本文基于方式二的环境进行操作，请参考方式二中的环境开通和配置指导完成裸机和容器开发初始化配置。注意业务基础镜像选择Ascend+PyTorch镜像。
网段设置以后不能修改，避免与将要打通的VPC网段冲突。可能冲突的网段包括： 用户的vpc网段 容器网段（固定是172.16.0.0/16） 服务网段（固定是10.247.0.0/16） 确认无误后，单击“确定”。 父主题： 基本配置
布成功，则代码开放会失败。 发布算法 进入AI Gallery首页，选择“资产集市 > 算法”，进入算法页面。 单击“发布”，弹出“选择云服务区域”，选择区域后单击“确定”跳转到“发布资产到AI Gallery”页面。 在发布资产页面，填写相关信息，发布资产。 如果是发布新资产。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
