检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
而不需要关心底层的技术。同时，ModelArts支持Tensorflow、MXNet等主流开源的AI开发框架，也支持开发者使用自研的算法框架，匹配您的使用习惯。 ModelArts的理念就是让AI开发变得更简单、更方便。面向不同经验的AI开发者，提供便捷易用的使用流程。例如，面
管理批量推理作业 查看批量服务详情 查看批量服务的事件 管理批量服务生命周期 修改批量服务配置 父主题： 使用ModelArts Standard部署模型并推理预测
使用自定义引擎创建AI应用，用户可以通过选择自己存储在SWR服务中的镜像作为AI应用的引擎，指定预先存储于OBS服务中的文件目录路径作为模型包来创建AI应用，轻松地应对ModelArts平台预置引擎无法满足个性化诉求的场景。 自定义引擎创建AI应用的规范 使用自定义引擎创建AI应用，用户的SWR镜像、OBS模型包和文件大小需要满足以下规范：
修改服务个性化配置 服务个性化配置规则由配置条件、访问版本、自定义运行参数（包括配置项名称和配置项值）组成。 您可以为在线服务的不同版本设定不同配置条件，并支持携带自定义运行参数。 个性化配置规则的优先级与顺序相对应，从高到低设置。您可以通过拖动个性化配置规则的顺序更换优先级。
管理同步在线服务 查看在线服务详情 查看在线服务的事件 管理在线服务生命周期 修改在线服务配置 在云监控平台查看在线服务性能指标 集成在线服务API至生产环境中应用 父主题： 使用ModelArts Standard部署模型并推理预测
录结构是什么样的？ 问题现象 创建AI应用时，元模型来源指定的OBS目录下存放了自定义的文件和文件夹，都会拷贝到镜像中去。拷贝进去的路径是什么，怎么读取对应的文件或者文件夹里面的内容？ 原因分析 通过OBS导入AI应用时，ModelArts会将指定的OBS目录下的所有文件和文件夹
创建AI应用不同方式的场景介绍 AI开发和调优往往需要大量的迭代和调试，数据集、训练代码或参数的变化都可能会影响模型的质量，如不能统一管理开发流程元数据，可能会出现无法重现最优模型的现象。 ModelArts的AI应用可导入所有训练生成的元模型、上传至对象存储服务（OBS）中的元模型和容器
修改在线服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换AI应用的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
修改批量服务配置 对于已部署的服务，您可以修改服务的基本信息以匹配业务变化，更换AI应用的版本号，实现服务升级。 您可以通过如下两种方式修改服务的基本信息： 方式一：通过服务管理页面修改服务信息 方式二：通过服务详情页面修改服务信息 前提条件 服务已部署成功，“部署中”的服务不支持修改服务信息进行升级。
创建AI应用规范参考 模型包结构介绍 模型配置文件编写说明 模型推理代码编写说明 自定义引擎创建模型规范 自定义脚本代码示例 父主题： 使用ModelArts Standard部署模型并推理预测
管理AI应用 查看AI应用详情 查看AI应用事件 管理AI应用版本 发布AI应用 父主题： 使用ModelArts Standard部署模型并推理预测
创建AI应用 创建AI应用不同方式的场景介绍 从训练作业中导入AI应用文件创建模型 从OBS中导入AI应用文件创建模型 从容器镜像中导入AI应用文件创建模型 从AI Gallery订阅模型 父主题： 使用ModelArts Standard部署模型并推理预测
创建和保存Manifest文件 需要先创建包含Manifest信息的对象，然后保存。Manifest信息请见表2。路径支持本地和OBS，如果是OBS，需要Session信息。 manifest_info.save(path, session=None, save_mode="w")
可能原因如下： 导入AI应用使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号，没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像 处理方法 到SWR检查下对应的镜像是否存在，对应镜像的镜像地址是否和实际地址一致，大小写，拼写等是否一致。
large”。请减少预测请求内容后重试。 当使用API调用地址预测时，请求体的大小限制是12MB，超过12MB时，请求会被拦截。 使用ModelArts console的预测页签进行的预测，由于console的网络链路的不同，要求请求体的大小不超过8MB。 图2 请求报错APIG.0201 APIG
待推理服务的状态变为“运行中”时，可单击操作列的“调用”，复制对应的接口代码，在本地环境或云端的开发环境中进行接口。 图1 调用接口 当部署推理服务的“安全认证”选择了“AppCode认证”，则需要将复制的接口代码中headers中的X-Apig-AppCode的参数值修改为真实的AppCode值。 Python示例代码如下：
”，表示配置模型推理代码需要的依赖包，需要提供依赖包名、安装方式和版本约束的信息，详细参数见模型配置文件编写说明。导入模型时，模型配置文件中的安装包依赖参数“dependencies”如何编写？ 解决方案 安装包存在前后依赖关系。例如您在安装“mmcv-full”之前，需要完成“
系统默认关联您存储在OBS中的配置文件。打开开关，您可以直接在当前界面查看或编辑模型配置文件。 说明： 该功能即将下线，后续请根据“AI引擎”、“运行时依赖”和“apis定义”修改模型的配置信息。 “部署类型” 选择此AI应用支持部署服务的类型，部署上线时只支持部署为此处选择的部署类型，例如此处
引擎选择Custom，引擎包选择步骤3构建的镜像。 图3 创建AI应用 将创建的AI应用部署为在线服务，大模型加载启动的时间一般大于普通的模型创建的服务，请配置合理的“部署超时时间”，避免尚未启动完成被认为超时而导致部署失败。 图4 部署为在线服务 调用在线服务进行大模型推理，请
pip软件包版本不匹配，需要修改为日志中打印的存在的版本。 图3 pip版本不匹配 构建日志中出现报错：“exec /usr/bin/sh: exec format error”。 这种报错一般是因为所用镜像系统引擎和构建镜像的系统引擎不一致引起的，例如使用的是x86的镜像却标记的是arm的系统架构。 可以
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
