检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Step2 权重格式转换 AutoAWQ量化完成后，使用int32对int4的权重进行打包。昇腾上使用int8对权重进行打包，需要进行权重转换。 进入llm_tools代码目录下执行以下脚本： 执行时间预计10分钟。执行完成后会将权重路径下的原始权重替换成转换后的权重。
执行权重转换。
执行权重转换。
执行权重转换。
执行权重转换。
执行权重转换。
执行权重转换。
--quan-path：转换后权重保存路径。
使用AI Gallery在线推理服务部署模型 AI Gallery支持将训练的模型或创建的模型资产部署为在线推理服务，可供用户直接调用API完成推理业务。 约束限制 如果模型的“任务类型”是“文本问答”或“文本生成”，则支持在线推理。
自定义镜像模型部署为在线服务时出现异常 问题现象 在部署在线服务时，部署失败。进入在线服务详情页面，“事件”页签，提示“failed to pull image, retry later”，同时在“日志”页签中，无任何信息。
时序预测-time_series_v2算法部署在线服务预测报错 问题现象 在线服务预测报错：ERROR: data is shorter than windows。 原因分析 该报错说明预测使用的数据行数小于window超参值。
在ModelArts中使用自定义镜像创建在线服务，如何修改端口？ 当模型配置文件中定义了具体的端口号，例如：8443，创建模型没有配置端口，或者配置了其他端口号，均会导致服务部署失败。您需要把模型中的端口号配置为8443，才能保证服务部署成功。
启用语音内容标注（语音分割） 仅“语音分割”类型数据集支持设置，默认关闭。如果启用此功能，支持针对语音内容进行标注。 启用团队标注（语音分割） 仅“语音分割”类型支持团队标注，因此选择创建语音分割类型时，支持设置是否启用团队标注。
使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments 问题现象 使用预置AI算法部署在线服务报错gunicorn：error：unrecorgized arguments...
通过JupyterLab在线使用Notebook实例进行AI开发 使用JupyterLab在线开发和调试代码 JupyterLab常用功能介绍 在JupyterLab使用Git克隆代码仓 在JupyterLab中创建定时任务 上传文件至JupyterLab 下载JupyterLab
语音内容：对语音内容进行标注。 语音分割：对语音进行分段标注。 文本 文本分类：对文本的内容按照标签进行分类处理。 命名实体：针对文本中的实体片段进行标注，如“时间”、“地点”等。 文本三元组：针对文本中的实体片段和实体之间的关系进行标注。
ModelArts部署在线服务时，如何避免自定义预测脚本python依赖包出现冲突？ 导入模型时，需同时将对应的推理代码及配置文件放置在模型文件夹下。使用Python编码过程中，推荐采用相对导入方式（Python import）导入自定义包。
图22 资源监控 父主题： 通过JupyterLab在线使用Notebook实例进行AI开发
使用AI市场物体检测YOLOv3_Darknet53算法训练后部署在线服务报错 问题现象 使用AI市场物体检测YOLOv3_Darknet53算法进行训练，将数据集切分后进行部署在线服务报错，日志如下：TypeError: Cannot interpret feed_dict key
服务部署 自定义镜像模型部署为在线服务时出现异常 部署的在线服务状态为告警 服务启动失败 服务部署、启动、升级和修改时，拉取镜像失败如何处理？ 服务部署、启动、升级和修改时，镜像不断重启如何处理？ 服务部署、启动、升级和修改时，容器健康检查失败如何处理？
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
