检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方式一
准备FP8至BF16权重转换脚本fp8_cast_bf16.py，具体脚本内容参见权重转换脚本文件fp8_cast_bf16.py。权重转换需要使用有CPU资源的机器，建议直接登录Lite Server节点执行权重转换。 在Server机器上创建权重转换后的存放目录${path-
ModelArts在线服务预测请求体大小限制是多少？ 服务部署完成且服务处于运行中后，可以往该服务发送推理的请求，请求的内容根据模型的不同可以是文本，图片，语音，视频等内容。 当使用调用指南页签中显示的调用地址（华为云APIG网关服务的地址）预测时，对请求体的大小限制是12MB，超过12MB时，请求会被拦截。
graph failed 问题现象 日志提示：Compile graph failed。 图1 报错提示 原因分析 模型转换时未指定Ascend后端。 处理方法 需要在模型转换阶段指定“--device=Ascend”。 父主题： 常见问题
ModelArts在线服务的API接口组成规则是什么？ 模型部署成在线服务后，用户可以获取API接口用于访问推理。 API接口组成规则如下： https://域名/版本/infer/服务ID 示例如下： https://6ac81cdfac4f4a30be95xxxbb682.apig
SampleLabels objects 视频在线服务推理结果。 service_id String 在线服务ID。 service_name String 在线服务名称。 service_resource String 用户绑定的在线服务资源ID。 total_sample_count
PU上进行模型转换时无需考虑动态shape问题，因为CPU算子支持动态shape；而在Ascend场景上，算子需要指定具体的shape信息，并且在模型转换的编译阶段完成对应shape的编译任务，从而能够在推理时支持多种shape的输入。 动态batch 在模型转换阶段通过--co
加密桶的数据集，不支持启动主动学习和自动分组任务，支持预标注任务。 “智能标注”是指基于当前标注阶段的标签及图片学习训练，选中系统中已有的模型进行智能标注，快速完成剩余图片的标注操作。“智能标注”又包含“主动学习”和“预标注”两类。 “主动学习”表示系统将自动使用半监督学习、难例
表1 在线服务配置 参数 说明 名称 在线服务名称。 状态 在线服务当前状态。 来源 在线服务的来源。 服务ID 在线服务的ID。 描述 您可以单击编辑按钮，添加服务描述。 资源池 当前服务使用的资源池规格。如果使用公共资源池部署，则不显示该参数。 个性化配置 您可以为在线服务的
标注的图片不少于5张。 启动智能标注时，必须存在未标注图片。 启动智能标注前，保证当前系统中不存在正在进行中的智能标注任务。 检查用于标注的图片数据，确保您的图片数据中，不存在RGBA四通道图片。如果存在四通道图片，智能标注任务将运行失败，因此，请从数据集中删除四通道图片后，再启动智能标注。
pipeline的最终输出结果确认迁移效果。如果精度和性能都没有问题，则代表迁移完成。 对比图片生成效果 在CPU上推理onnx，将原始onnx和适配完成的MindSpore Lite pipeline输出的结果图片进行对比，在这里保证输入图片及文本提示词一致。如果差异较为明显可以进行模型精度调优。 确认性能是否满足要求
静态shape模型转换 转换静态shape模型需要在模型转换阶段固定模型的输入shape，也就是说每个输入shape是唯一的。静态shape转换主要包括两种场景： 第一种是待转换onnx模型的输入本身已经是静态shape，此时不需要在转换时指定输入shape也能够正常转换为和onnx模
ModelArts在线服务处于运行中时，如何填写request header和request body？ 问题现象 部署在线服务完成且在线服务处于“运行中”状态时，通过ModelArts console的调用指南tab页签可以获取到推理请求的地址，但是不知道如何填写推理请求的header及body。
根据提示完成身份验证，下载密钥，并妥善保管。 获取在线服务信息 在调用接口时，需获取在线服务的调用地址，以及在线服务的输入参数信息。步骤如下： 登录ModelArts管理控制台，在左侧导航栏中选择“模型部署 > 在线服务”，默认进入“在线服务”列表。 单击目标服务名称，进入服务详情页面。 在“在线服务”的详情页面
设置在线服务故障自动重启 场景描述 当系统检测到Snt9b硬件故障时，自动复位Snt9B芯片并重启推理在线服务，提升了推理在线服务的恢复速度。 约束限制 仅支持使用Snt9b资源的同步在线服务。 只支持针对整节点资源复位，请确保部署的在线服务为8*N卡规格，请谨慎评估对部署在该节点的其他服务的影响。
ketName/data-cat”。 如需要提前上传待标注的图片，请创建一个空文件夹，然后将图片文件保存在该文件夹下，图片的目录结构如：“/bucketName/data-cat/cat.jpg”。 如您将已标注好的图片上传至OBS桶，请按照如下规范上传。 物体检测数据集要求用户
对于不同类型的数据，用户可以选择不同的标注类型。当前ModelArts支持如下类型的标注作业： 图片 图像分类：识别一张图片中是否包含某种物体。 物体检测：识别出图片中每个物体的位置及类别。 图像分割：根据图片中的物体划分出不同区域。 音频 声音分类：对声音进行分类。 语音内容：对语音内容进行标注。
对于不同类型的数据集，用户可以选择不同的标注任务，当前ModelArts支持如下类型的标注任务。 图片 图像分类：识别一张图片中是否包含某种物体。 物体检测：识别出图片中每个物体的位置及类别。 图像分割：根据图片中的物体划分出不同区域。 音频 声音分类：对声音进行分类。 语音内容：对语音内容进行标注。
运行完成的工作流会自动部署为相应的在线服务，您只需要在相应的服务详情页面进行预测即可。 在服务部署节点单击“实例详情”直接跳转进入在线服务详情页，或者在ModelArts管理控制台，选择“模型部署 > 在线服务”，单击生成的在线服务名称，即可进入在线服务详情页。 在服务详情页，选择“预测”页签。
重启服务使修改生效。在提交修改服务任务时，如果涉及重启，会有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。 修改在线服务参数时，可通过增加一个自定义的环境变量参数，触发服务重启。例如，如果
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
