检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
yaml。修改详细步骤如下所示。 选择训练策略类型。 sft，复制sft_yaml样例模板内容覆盖demo.yaml文件内容。 lora，复制lora_yaml样例模板内容覆盖demo.yaml文件内容。 dpo，复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。 修改yaml文件(demo
昇腾云服务6.3.906版本说明 本文档主要介绍昇腾云服务6.3.906版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 配套关系镜像软件说明 配套关系 PyTorch： 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts
在线服务预测报错DL.0105 问题现象 在线服务预测报错DL.0105，报错日志：“TypeError:‘float’object is not subscriptable”。 原因分析 根据报错日志分析，是因为一个float数据被当做对象下标访问了。 处理方法 将模型推理代码
步骤三 在宿主机上传镜像到SWR 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中复制临时登录指令，即可完成登录。 图2 复制登录指令 登录指令输入之后，使用下列示例命令。 docker tag sdxl-train:0.0.1
clone的文件，如下列所示。运行git clone命令，并git checkout切换到指定的版本。注意：针对Megatron-LM下载完成后，需要将megatron文件夹复制至ModelLink中。 git clone https://gitee.com/ascend/ModelLink.git cd ModelLink
时，则需要先完成配置才能正常使用MaaS服务。 ModelArts在任务执行过程中需要访问用户的其他服务，典型的就是训练过程中，需要访问OBS读取用户的训练数据。在这个过程中，就出现了ModelArts“代表”用户去访问其他云服务的情形。从安全角度出发，ModelArts代表用户
参数类型 描述 data_path 否 String 数据源所在路径。 data_type 否 Integer 数据类型。可选值如下： 0：OBS桶（默认值） 1：GaussDB(DWS)服务 2：DLI服务 3：RDS服务 4：MRS服务 5：AI Gallery 6：推理服务 schema_maps
数据库安全服务。 云服务防抖动和遭受攻击后的应急响应/恢复策略 ModelArts服务具备租户资源隔离能力，避免单租户资源被攻击导致爆炸半径大，影响其他租户。 ModelArts服务具备资源池和隔离能力，避免单租户资源被攻击导致爆炸半径过大风险。 ModelArts服务定义并维护
在线服务 部署在线服务时，自定义预测脚本python依赖包出现冲突，导致运行出错 在线服务预测时，如何提高预测速度？ 调整模型后，部署新版本AI应用能否保持原API接口不变？ 在线服务的API接口组成规则是什么？ 在线服务运行中但是预测失败时，如何排查报错是不是模型原因导致的 在
yaml。修改详细步骤如下所示。 选择训练阶段类型。 指令监督微调,复制tune_yaml样例模板内容覆盖demo.yaml文件内容。 DPO偏好训练，复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。 PPO强化训练，先进行RM奖励训练任务后，复制ppo_yaml样例模板内容覆盖demo.yaml内容。
yaml。修改详细步骤如下所示。 选择训练阶段类型。 指令监督微调,复制tune_yaml样例模板内容覆盖demo.yaml文件内容。 DPO偏好训练，复制dpo_yaml样例模板内容覆盖demo.yaml文件内容。 PPO强化训练，先进行RM奖励训练任务后，复制ppo_yaml样例模板内容覆盖demo.yaml内容。
Gallery页面的资产详情页，单击复制完整的资产名称，如图1所示，获取到的信息即为“repo_id”。例如，复制出的信息为“ur5468675/test_cli_model1”，则该资产的“repo_id”为“ur5468675/test_cli_model1”。 图1 复制完整资产名称 获取待上传的文件名
n/LLaMAFactory/demo.yaml。修改详细步骤如下所示： 选择指令微调类型 sft，复制sft_yaml样例模板内容覆盖demo.yaml文件内容。 lora，复制lora_yaml样例模板内容覆盖demo.yaml文件内容。 修改yaml文件(demo.yaml)的参数如表1所示
不同区域支持的AI引擎有差异，请以实际环境为准。 推理支持的AI引擎 在ModelArts创建AI应用时，若使用预置镜像“从模板中选择”或“从OBS中选择”导入模型，则支持如下常用引擎及版本的模型包。 标注“推荐”的Runtime来源于统一镜像，后续统一镜像将作为主流的推理基础镜像。统
n修改，例如cn-southwest-2 value: "https://mtest-bucket.obs.{region-id}.myhuaweicloud.com/acc/rank" - name: NAME
在线服务的API接口组成规则是什么？ AI应用部署成在线服务后，用户可以获取API接口用于访问推理。 API接口组成规则如下： https://域名/版本/infer/服务ID 示例如下： https://6ac81cdfac4f4a30be95xxxbb682.apig.xxx
在遇到资源不足的情况时，ModelArts会进行三次重试，在服务重试期间，如果有资源释放出来，则服务可以正常部署成功。 如果三次重试后依然没有足够的资源，则本次服务部署失败。参考以下方式解决： 如果是在公共资源池部署服务，可等待其他用户释放资源后，再进行服务部署。 如果是在专属资源池部署服务，在满足模型需求的前提下
Step4 在ECS中Docker登录 在SWR中单击右上角的“登录指令”，然后在跳出的登录指定窗口，单击复制临时登录指令。在创建的ECS中粘贴临时登录指令，即可完成登录。 图3 复制登录指令 Step5 获取训练镜像 建议使用官方提供的镜像部署训练服务。镜像地址{image_url}请参见表1。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
