检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
准备镜像 准备训练模型适用的容器镜像。 准备Notebook（可选） 如果用户有自定义开发的需要，比如查看和编辑代码、数据预处理、权重转换等操作，可通过Notebook环境进行，并且Notebook环境具有一定的存储空间，可与OBS中的数据相互传递。
准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。
准备镜像 准备训练模型适用的容器镜像。 准备Notebook 本案例需要创建一个Notebook，以便能够通过它访问SFS Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。
如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。
如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。
如果在步骤四 制作推理镜像步骤中已经上传过AscendCloud-LLM-x.x.x.zip并解压，无需重复执行。 进入benchmark_tools目录下，运行静态benchmark验证。
OBS OperateAccess 必选 SWR容器镜像仓库 授予子用户使用SWR服务权限。ModelArts的自定义镜像功能依赖镜像服务SWR FullAccess权限。
image_name String 镜像名称。 image_tag String 镜像标签。 annotations Map<String,String> 注解信息，可扩展字段，缺省值为“NULL”。
os.path.exists("SimSun.ttf"): # ttf = requests.get("https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf") #
os.path.exists("SimSun.ttf"): # ttf = requests.get("https://qianwen-res.oss-cn-beijing.aliyuncs.com/Qwen-VL/assets/SimSun.ttf") #
image_url 否 String 算法选择的自定义镜像地址。
command 否 String 自定义镜像场景下，训练作业的自定义镜像的容器的启动命令。 parameters 否 Array of Parameters objects 训练作业的运行参数。
准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。
image_name String 镜像名称。 image_tag String 镜像标签。 annotations Map<String,String> 注解信息，可扩展字段，缺省值为“NULL”。
image_url 否 String 算法选择的自定义镜像地址。
准备镜像 准备推理模型适用的容器镜像。 准备Notebook 本案例在Notebook上部署推理服务进行调试，因此需要创建Notebook。
弹性裸金属支持深度自定义环境安装，可以方便地替换驱动、固件和上层开发包，具有root权限，结合配置指导、初始化工具及容器镜像可以快速搭建昇腾开发环境。
表8 ResourceFlavorAnnotation 参数 参数类型 描述 os.modelarts.flavor/image.filter String 私有镜像的过滤条件。
量化的一般步骤是：1、对浮点类型的权重镜像量化并保存量化完的权重；2、使用量化完的权重进行推理部署。 什么是W4A16量化 W4A16量化方案能显著降低模型显存以及需要部署的卡数（约75%）。大幅降低小batch下的增量推理时延。
# 样例yaml配置文件 |──intall.sh # 需要的依赖包 |──LLaMA-Factory # 执行install.sh后生成此目录,容器内执行参考步骤三：启动容器镜像
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
