检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
AI应用封面图 否 上传一张AI应用封面图，AI应用创建后，将作为AI应用页签的背景图展示在AI应用列表。建议使用16：9的图片，且大小不超过7MB。 如果未上传图片，AI Gallery会为AI应用自动生成封面。 应用描述 否 输入AI应用的功能介绍，AI应用创建后，将展示在AI应用页签上，方便其他用户了解与使用。
实时推理的部署及使用流程 在创建完模型后，可以将模型部署为一个在线服务。当在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。访问在线服务时，您可以根据您的业务需求，分别确认使用何种认证方式、
型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模
如何将Keras的.h5格式模型导入到ModelArts中 ModelArts不支持直接导入“.h5”格式的模型。您可以先将Keras的“.h5”格式转换为TensorFlow的格式，然后再导入ModelArts中。 从Keras转TensorFlow操作指导请参见其官网指导。 父主题： 导入模型
描述 add_sample_count Integer 处理后新增的图片数量。 create_time Long 数据处理任务的创建时间。 deleted_sample_count Integer 处理后删除的图片数量。 description String 数据处理任务的版本描述。
以通过如下方式重启在线服务： 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署>在线服务”，进入在线服务列表页面。您可以单击“操作”列的“更多>重启”，重启服务。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署>在线服务”，进入在线服务列表页面。单击
1：物体检测 3: 图像分割 100：文本分类 101：命名实体 102：文本三元组 200：声音分类 201：语音内容 202：语音分割 400：表格数据集 600：视频标注 900：自由格式 limit 否 Integer 指定每一页返回的最大条目数，取值范围[1,100]，默认为10。
ModelArts.4711 数据集标注样本数满足算法要求 每个类别至少包含5张以上图片。 ModelArts.4342 标注信息不满足切分条件 出现此故障时，建议根据如下建议，修改标注数据后重试。 多标签的样本（即一张图片包含多个标签），至少需要有2张。如果启动训练时，设置了数据集切分功能，
lm_tools/spec_decode/EAGLE文件夹，使用convert_eagle_ckpt_to_vllm_compatible.py脚本进行权重转换。转换命令为 python convert_eagle_ckpt_to_vllm_compatible.py --base-path 大模型权重地址
已在云监控页面设置告警规则，具体操作请参见设置告警规则。 在线服务已正常运行一段时间（约10分钟）。 对于新创建的在线服务，需要等待一段时间，才能查看上报的监控数据和监控视图。 故障、删除状态的在线服务，无法在云监控中查看其监控指标。当在线服务再次启动或恢复后，即可正常查看。 对接云监控之前，
部署服务时，ModelArts报错“ModelArts.3520: 在线服务总数超限，限制为20”，接口返回“A maximum of xxx real-time services are allowed.”，表示服务数量超限。 正常情况下，单个用户最多可创建20个在线服务。可采取以下方式处理： 删除状态为“异常”的服务。
1234 随机种子数。每次数据采样时，保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换，则删除该环境变量。 对于Yi系列模型、ChatGLMv3-6B和Qwen系列模型，还需要手动修改训练参数和to
to_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
tebook实例中不支持不同引擎之间的切换。 不同Region支持的AI引擎不一样，请以控制台实际界面为准。 亮点特性4：提供在线的交互式开发调试工具JupyterLab ModelArts集成了基于开源的JupyterLab，可为您提供在线的交互式开发调试。您无需关注安装配置，
1234 随机种子数。每次数据采样时，保持一致。 CONVERT_MG2HF True 表示训练完成的权重文件会自动转换为Hugging Face格式权重。若不需要自动转换，则删除该环境变量。 对于ChatGLMv3-6B、GLMv4-9B和Qwen系列模型，还需要手动修改token
在线服务预测报错ModelArts.4206 问题现象 在线服务部署完成且服务已经处于“运行中”的状态，向服务发起推理请求，报错“ModelArts.4206”。 原因分析 ModelArts.4206表示该API的请求流量超过了设定值。为了保证服务的平稳运行，ModelArts
to_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session
to_awq.html。 Step2 权重格式离线转换（可选） AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，在线转换会增加启动时间，可以提前对权重进行转换以减少启动时间，转换步骤如下： 进入llm_tools/AutoAWQ代码目录下执行以下脚本：
1：物体检测 3: 图像分割 100：文本分类 101：命名实体 102：文本三元组 200：声音分类 201：语音内容 202：语音分割 400：表格数据集 600：视频标注 900：自由格式 description 否 String 标注任务的描述信息。 父主题： 标注任务管理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
