检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Fine-tuning)：是一种利用有标签数据进行模型训练的方法。 它基于一个预先训练好的模型，通过调整模型的参数，使其能够更好地拟合特定任务的数据分布。 与从头开始训练模型相比，监督式微调能够充分利用预训练模型的知识和特征表示，从而加速训练过程并提高模型的性能。 LoRA微调LoRA(Low-Rank
使用自定义镜像创建开发环境Notebook实例。 按需配置。 使用SSH功能 ECS ecs:serverKeypairs:list ecs:serverKeypairs:get ecs:serverKeypairs:delete ecs:serverKeypairs:create 为开发环境Notebook实例配置登录密钥。
在线服务运行中但是预测失败时，如何排查报错是不是模型原因导致的 问题现象 在线服务启动后，当在线服务进入到“运行中”状态后，进行预测，预测请求发出后，收到的响应不符合预期，无法判断是不是模型的问题导致的不符合预期。 原因分析 在线服务启动后，ModelArts提供两种方式的预测：
当您使用自定义脚本创建算法的时候，如果您的模型引用了其他依赖，您需要在“算法管理 > 创建算法”的“代码目录”下放置相应的文件或安装包。 安装python依赖包请参考模型中引用依赖包时，如何创建训练作业？ 安装C++的依赖库请参考如何安装C++的依赖库？ 在预训练模型中加载参数请参考如何在训练中加载部分训练好的参数？
ud-3rdLLM-6.3.905-xxx.zip代码包已包含数据集。 精度测试使用的是openai接口，部署服务的时候请使用openai-api启动，暂不支持vllm-api接口。 获取精度测试代码。精度测试代码存放在代码包AscendCloud-3rdLLM的/llm_eva
pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到DevSer
定义镜像的方式将编写的模型导入ModelArts。 约束与限制 关于自定义镜像规范和说明，请参见模型镜像规范。 使用容器化部署，导入的元模型有大小限制，详情请参见导入模型对于镜像大小限制。 前提条件 确保您使用的OBS目录与ModelArts在同一区域。 创建模型操作步骤 登录M
Standard资源池 ModelArts支持使用ECS创建专属资源池吗？ 1个节点的专属资源池，能否部署多个服务？ 专属资源池购买后，中途扩容了一个节点，如何计费？ 共享池和专属池的区别是什么？ 如何通过ssh登录专属资源池节点？ 训练任务的排队逻辑是什么？ 专属资源池下的在线
色（ClusterRole），为该角色赋予相应的访问权限。同时创建Prometheus所使用的账号（ServiceAccount），将账号与角色进行绑定（ClusterRoleBinding）。 apiVersion: rbac.authorization.k8s.io/v1 kind:
MA-Advisor使用指导 工具安装 下载ma-advisor安装包至开发环境中。 （可选）完成软件包签名校验。 下载软件包签名校验文件。 安装openssl并进行软件一致性验证，具体签名校验命令如下： openssl cms -verify -binary -in ma_ad
pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.910-xxx.zip和算子包AscendCloud-OPP-6.3.910-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到DevSer
自定义镜像规范 模型包规范 在AI应用管理创建AI应用时，如果是从OBS或容器镜像中导入元模型，则需要符合一定的模型包规范。 您需要编写对应的推理代码和配置文件，方便后续进行推理部署。 说明：由于使用预置算法训练得到的模型，已包含了推理代码和配置文件，所以无需另外编写提供。 模型包规范介绍 订阅模型
表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-6.3.909-xxx.zip软件包中的AscendCloud-CV-6.3.909-xxx.zip 说明： 包名中的xxx表示具体的时间戳，以包名的实际时间为准。 获取路径：Support-E 说明：
S目录下（输入参数为train_url）。 针对使用常用框架或自定义镜像创建的训练作业，需根据模型包结构介绍，将推理代码和配置文件上传至模型的存储目录中。 确保您使用的OBS目录与ModelArts在同一区域。 创建模型操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“模型管理”，进入模型列表页面。
是，则修改安全组的配置，具体操作请参见修改安全组规则。 否，则继续下一步。 确认SFS Turbo是否存在异常。 新建一个和SFS Turbo在同一个网段的ECS，用ECS去挂载SFS Turbo，如果挂载失败，则表示SFS Turbo异常。 是，联系SFS服务的技术支持处理。 否，联系ModelArts的技术支持处理。
objects 依赖包集合。 表8 Packages 参数 是否必选 参数类型 描述 package_version 否 String 依赖包版本。不填时默认安装最新版本。不能含有中文及特殊字符&!'"<>=。 package_name 是 String 依赖包名称。请确保包名正确且存在。不能含有中文及特殊字符&
pull {image_url} 步骤三 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.909-xxx.zip和算子包AscendCloud-OPP-6.3.909-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到DevSer
pull {image_url} Step3 上传代码包和权重文件 上传安装依赖软件推理代码AscendCloud-LLM-6.3.908-xxx.zip和算子包AscendCloud-OPP-6.3.908-xxx.zip到主机中，包获取路径请参见表2。 将权重文件上传到DevSer
署，需要先联系您所在企业的华为方技术支持。 约束限制 本文档适配昇腾云ModelArts 6.3.906版本，请参考表1获取配套版本的软件包，请严格遵照版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8
用预置镜像“从模板中选择”或“从OBS中选择”导入模型，则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像，后续统一镜像将作为主流的推理基础镜像。统一镜像中的安装包更齐全，详细信息可以参见推理基础镜像列表。 推荐将旧版镜像切换为统一镜像，旧版镜像后续将会逐渐下线。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
