检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
租户不可见域名：指华为云服务在内网相互调用使用的域名，外部用户无法访问到对应的权威DNS服务器；或者Internet受限访问域名，只允许华为办公网络黄&绿区华为员工及合作方或外包人员访问的域名。 华为云基础域名安全使用，避免直接为租户分配基础域名。 华为云服务在内网互相调用使用的域名，避免使用外部已备案域名。
更新和迭代，必须对已部署的服务执行相应的升级操作，以确保服务使用的是最新模型。 ModelArts Studio大模型即服务平台支持滚动升级模型权重，允许模型服务在运行时进行权重的迭代升级，该操作不会影响部署服务的正常运行。滚动升级模型权重的功能避免了重新部署整个模型服务的必要性
型。 步骤2：部署模型服务：使用创建成功的自定义模型部署模型服务。 步骤3：在模型体验使用模型服务：在模型体验页面，体验部署的模型服务，进行对话问答。 准备工作 已注册华为账号并开通华为云，且在使用ModelArts前检查账号状态，账号不能处于欠费或冻结状态。 配置委托访问授权
这种报错一般是因为所用镜像系统引擎和构建镜像的系统引擎不一致引起的，例如使用的是x86的镜像却标记的是arm的系统架构。 可以通过查看AI应用详情看到配置的系统运行架构。基础镜像的系统架构详情可以参考推理基础镜像列表。 父主题： AI应用管理
builder.add_meta_graph_and_variables( sess = K.get_session(), # 推理部署需要定义tf.saved_model.tag_constants.SERVING标签 tags=[tf.saved_model.tag_constants
创建网络 购买ModelArts专属资源池 购买弹性云服务器ECS 基本配置： 权限配置 专属资源池VPC打通 ECS服务器挂载SFS Turbo存储 在ECS中创建ma-user和ma-group obsutils安装和配置 （可选）工作空间配置 训练： 上传数据至OBS（首次使用时需要）
本文档从模型部署的环境配置、模型转换、模型推理等方面进行介绍moondream2模型在ModelArts DevServer上部署，支持NPU推理场景。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 资源规格要求 推理部署推荐使用DevServer资源和Ascend
自定义镜像导入不支持配置运行时依赖，在构建镜像的dockerfile文件中安装pip依赖包。FAQ 异常 非自定义镜像不支持指定swr_location字段。 Non-custom type models should not contain swr_location. 请删除模型配置文件config
更新服务配置 更新当前服务对象配置。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数；其它平台的Session鉴权请参考Session鉴权。 方式1：根据部署在线服务生成的服务对象进行更新服务配置 1 2 3 4 5 6 7
如出现错误，可能是机器上的NPU设备没有正常安装，或者NPU镜像被其他容器挂载。请先正常安装固件和驱动，或释放被挂载的NPU。 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y
在数据并行场景下，也是类似的流程，只是更为简单，无需生成并行策略文件和策略恢复文件，只要保存和加载临终ckpt文件即可。 特性使用操作 安装优雅退出二进制包 通过ma_pre_start.sh安装whl包。 echo "[ma-pre-start] Enter the input directory" c
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
导入AI应用提示该账号受限或者没有操作权限 问题现象 在导入AI应用时，提示用户账号受限。 原因分析 提示用户账号受限，常见原因有如下几种： 导入AI应用账号欠费导致被冻结； 导入AI应用账号没有对应工作空间的权限； 导入AI应用账号为子账号，主账号没有给子账号赋予AI应用相关权限。
用户创建AI应用时构建镜像或导入文件失败 问题现象 用户创建AI应用时，构建镜像失败，失败日志中提示下载obs文件失败（Get object size from OBS failed！）。 图1 下载obs文件失败 用户创建AI应用时，事件提示：复制模型文件失败，请检查OBS权限是否正常（Failed
Cluster上使用昇腾计算资源开展常见开源大模型Llama、Qwen、ChatGLM、Yi、Baichuan等推理部署的详细过程。本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts
资源池规格只能选择专属资源池。 使用子账号用户登录ModelArts控制台，选择“模型部署 > 在线服务”，单击“部署”，在部署服务页面，资源池规格只能选择专属资源池。 父主题： 典型场景配置实践
荐使用免费资源，将模型部署为在线服务推荐使用免费资源。但是数据集存储在OBS桶中会收取少量费用，具体计费请参见OBS价格详情页，案例使用完成后请及时清除资源和数据。 准备工作 注册华为账号并开通华为云、实名认证 注册华为账号并开通华为云 进行实名认证 配置委托访问授权 Model
AI识别可以单独针对一个标签识别吗？ 标注多个标签进行训练而成的模型，最后部署成在线服务之后也是对标注的多个标签去进行识别的。如果只需要快速识别一种标签，建议单独训练识别此标签的模型使用，并选择较大的部署上线的规格也可以提供识别速度。 父主题： 一般性问题
导入AI应用提示单个模型文件超过5G限制 问题现象 在导入AI应用时，提示单个模型文件大小超过5G限制。 原因分析 在不使用动态加载的情况下，系统对单个模型文件的限制大小为5G，超过时无法进行导入。 处理方法 精简模型文件后，重新导入。 使用动态加载功能进行导入。 图1 使用动态加载
构建新镜像。 注意：训练作业的资源池以及ECS都需要联通外网，否则会安装和下载失败。 ECS获取和上传基础镜像 创建ECS。 下文中介绍如何在ECS中构建一个训练镜像，请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤，可根据默认选择，或进行自定义。创建
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
