检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
<baseline>：<可选>GP-Ant8机器精度基线Yaml文件路径，不填则使用工具自带基线配置，默认基线配置样例如下： 客户使用工具自带精度基线Yaml则需使用accuracy_cfgs.yaml文件中默认配置，权重使用表1 模型权重中指定的Huggingface地址，数据指定data.tgz里面提供的gsm8k数据。
Standard推理部署 如何将Keras的.h5格式的模型导入到ModelArts中？ ModelArts导入模型时，如何编写模型配置文件中的安装包依赖参数？ 在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ ModelArts平台是否支持多模型导入？ 在Mod
在线服务实例所在的安全组，服务自定义网络配置时返回。 status String 服务状态，取值包含： running：运行中，服务正常运行。 deploying：部署中，服务正在部署，包含打镜像和调度资源部署。 concerning：告警，后端实例部分存在异常。 failed：失败，服务部署失败，失败原因可以看事件和日志标签页。
前提条件 已存在部署完成的服务。 已完成模型调整，创建模型。 操作步骤 登录ModelArts管理控制台，在左侧导航栏中选择“部署上线 > 在线服务”，默认进入“在线服务”列表。 在部署完成的目标服务中，单击操作列的“修改”，进入“修改服务”页面。 在选择模型及配置中，单击“增加模型版本进行灰度发布”添加新版本。
放置在配置的“代码目录”下，“启动方式”必须选择“预置框架”。 需要在创建训练作业前将相关文件上传至OBS路径下，文件打包要求请参见安装文件规范。 安装文件规范 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 暂时不支持直接从github的源码中安装。 在“
Cluster资源池上使用Snt9B完成推理任务 场景描述 本案例介绍如何在Snt9B环境中利用Deployment机制部署在线推理服务。首先创建一个Pod以承载服务，随后登录至该Pod容器内部署在线服务，并最终通过新建一个终端作为客户端来访问并测试该在线服务的功能。 图1 任务示意图 操作步骤
支持在部署在线服务时开启AppCode认证（部署模型为在线服务中的“支持APP认证”参数）。对于已部署的在线服务，ModelArts支持修改其配置开启AppCode认证。 本文主要介绍如何修改一个已有的在线服务，使其支持AppCode认证并进行在线预测。 前提条件 提前部署在线服
py”中，需要添加一个子类，该子类继承对应模型类型的父类，各模型类型的父类名称和导入语句如表1所示。导入语句所涉及的Python包在ModelArts环境中已配置，用户无需自行安装。 表1 各模型类型的父类名称和导入语句 模型类型 父类 导入语句 TensorFlow TfServingBaseService
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask只支持布尔（bool）数据类型，或者为None。
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask 只支持布
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask 只支持布
部署的在线服务状态为告警 问题现象 在部署在线服务时，状态显示为“告警”。 解决方法 使用状态为告警的服务进行预测，可能存在预测失败的风险，请从以下4个角度进行排查，并重新部署。 后台预测请求过多。 如果您使用API接口进行预测，请检查是否预测请求过多。大量的预测请求会导致部署的在线服务进入告警状态。
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask 只支持布
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask只支持布尔（bool）数据类型，或者为None。
-dir/AscendSpeed; sh ./scripts/obs_pipeline.sh Step2 配置数据输入和输出 单击“增加训练输入”和“增加训练输出”，用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量：ORIGINA
-dir/AscendSpeed; sh ./scripts/obs_pipeline.sh Step2 配置数据输入和输出 单击“增加训练输入”和“增加训练输出”，用于配置训练作业开始时需要输入数据的路径和训练结束后输出数据的路径。 在“输入”的输入框内设置变量：ORIGINA
检查依赖包是否存在 如果依赖包不存在，您可以使用以下两种方式完成依赖包的安装。 方式一（推荐使用）：在创建我的算法时，需要在“代码目录”下放置相应的文件或安装包。 请根据依赖包的类型，在代码目录下放置对应文件： 依赖包为开源安装包时 在“代码目录”中创建一个命名为“pip-requirements
部署在线服务出现报错No CUDA runtime is found 问题现象 部署在线服务出现报错No CUDA runtime is found，using CUDA_HOME='/usr/local/cuda'。 原因分析 从日志报错信息No CUDA runtime is
description 否 String Workflow工作流配置参数的描述。 example 否 Object Workflow工作流配置参数的样例。 delay 否 Boolean 是否为延迟输入的参数，默认为否。 default 否 Object 配置参数的默认值。 value 否 Object
在创建训练作业前，推荐您先使用ModelArts开发环境调试训练代码，避免代码迁移过程中的错误。 直接使用线上notebook环境调试请参考使用JupyterLab开发模型。 配置本地IDE（Pycharm或者VsCode）联接云上环境调试请参考使用本地IDE开发模型。 父主题： 业务代码问题
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
