检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
开发Workflow的核心概念介绍 Workflow Workflow是一个有向无环图（Directed Acyclic Graph，DAG），由节点和节点之间的关系描述组成。
、代码生成、数学推理 中文、英文 通义千问2 文本生成 多语言处理、数学推理、对话问答 英文 通义千问2.5 文本生成 多语言处理、数学推理、对话问答 中文、英文 DeepseekCoder 文本生成 对话问答、文本推理 中文、英文 通义千问2-VL 图像理解 图像理解、对话问答
支持管理托管的资产文件，例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。
在AI应用详情页的“应用”页签，可以在线体验应用。 父主题： 发布和管理AI Gallery中的AI应用
支持管理托管的资产文件，例如在线预览、下载、删除文件。 只支持预览大小不超过10MB、格式为文本类或图片类的文件。 支持编辑资产介绍。每个资产介绍可分为基础设置和使用描述。 基础设置部分包含了该资产所有重要的结构化元数据信息。
如果ModelArts的自动学习项目、Notebook实例、训练作业或在线服务，都已经处于停止状态，即总览页面没看到收费项目，仍然发现账号还在计费。 有以下几种可能情况： 因为您在使用ModelArts过程中，将数据上传至OBS进行存储，OBS会根据实际存储的数据进行计费。
此处仅介绍关键参数，更多详细参数解释请参见部署在线服务。 图6 部署在线服务-专属资源池 单击“下一步”，再单击“提交”，开始部署服务，待服务状态显示“正常”服务部署完成。 图7 服务部署完成 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。
部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
此处仅介绍关键参数，更多详细参数解释请参见部署在线服务。 图3 部署在线服务-专属资源池 单击“下一步”，再单击“提交”，开始部署服务，待服务状态显示“正常”服务部署完成。
部署成功后的在线服务详情页中可查看API接口公网地址。 图1 API接口公网地址 --app-code：获取方式见访问在线服务（APP认证）。 --tokenizer：tokenizer路径，HuggingFace的权重路径。
此处仅介绍关键参数，更多详细参数解释请参见部署在线服务。 图3 部署在线服务-专属资源池 单击“下一步”，再单击“提交”，开始部署服务，待服务状态显示“正常”服务部署完成。 Step4 调用在线服务 进入在线服务详情页面，选择“预测”。
如果使用自定义镜像进行部署推理服务，操作步骤可以参考使用AI Gallery在线推理服务部署模型，其中“推理任务类型”默认选择“自定义”，且不支持修改。
在线服务创建成功后，您可以在服务详情页查看服务详情。 您可以通过“预测”页签访问在线服务。 图5 访问在线服务 父主题： Standard推理部署
问题现象 在部署或升级在线服务时，如果部署或升级失败，并且在事件中出现如下类似提示。 图1 内存不足提示样例1 运行中服务出现告警时，在事件中出现建议：内存不足，请增加内存。
如果自定义模型的模型文件不符合gallery_inference文件列表要求或文件内容为空，都将不能正常部署在线推理服务。
参考部署为在线服务将模型部署为在线服务。
设置模型的参数，如图13所示。 元模型来源：从容器镜像中选择。 容器镜像所在的路径：单击选择前面创建的镜像。 容器调用接口：选择HTTPS。 host：设置为8443。 部署类型：选择在线部署。 图13 设置模型参数 填写apis定义，单击“保存”生效。
图模式 Cuda-graph/cann-graph 记录算子执行的依赖关系构图；消除python host耗时；且支持动态shape。 Torch.compile Torch.dynamo构图，转ascend-GE后端推理；使用静态分档。
如何修改默认端口号，请参考使用自定义镜像创建在线服务，如何修改默认端口。 父主题： 服务部署
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
