检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
单击服务名称，进入服务详情页面，查看服务详情信息，单击“日志”页签，查看服务日志信息。 图2 查看服务日志信息 服务预测 在服务详情页面，单击“预测”页签，进行服务预测。 图3 服务预测 父主题： 创建AI应用规范参考
调用MaaS部署的模型服务 在ModelArts Studio大模型即服务平台部署成功的模型服务支持在其他业务环境中调用。 约束限制 只有“状态”是“运行中”的模型服务才支持被调用。 步骤1：获取API Key 在调用MaaS部署的模型服务时，需要填写API Key用于接口的鉴权认证。
Gallery工具链服务。 硬件资源 选择支持运行该模型的硬件类型。 最低可运行规格 设置能够运行该模型的最低计算规格。在AI Gallery工具链服务中使用该模型时，只能选取等同或高于该规格的算力资源进行任务下发。 是否支持分布式训练/推理 选择该模型资产是否支持在单机多卡的资源节点上进行并行训练或推理。
Turbo服务。随后，通过Notebook将OBS中的数据上传至SFS Turbo，并对存储在SFS Turbo中的数据执行编辑操作。 创建Notebook 创建开发环境Notebook实例，具体操作步骤请参考创建Notebook实例。 镜像选择已注册的自定义镜像，资源类型选择创
选择代码目录中训练作业的Python启动脚本。例如“obs://test-modelarts/code/main.py”。 超参 当资源规格为单机多卡时，需要指定超参world_size和rank。 当资源规格为多机时（即计算节点个数大于 1），无需设置超参world_size和rank，超参会由平台自动注入。
路径不存在，请在更换为一个可用的OBS路径。 检查使用的资源是否为CPU，CPU的“/cache”与代码目录共用10G，可能是空间不足导致，可在代码中使用如下命令查看磁盘大小。 os.system('df -hT') 磁盘空间满足，请执行5。 磁盘空间不足，请您使用GPU资源。 如果是在Notebook使
管理ModelArts服务的委托授权 本节通过调用一系列API，以管理ModelArts服务的委托授权为例介绍ModelArts API的使用流程。 概述 管理ModelArts服务的委托授权流程如下： 调用认证鉴权接口获取用户Token，在后续的请求中需要将Token放到请求消息头中作为认证。
TPE算法优化的超参数必须是分类特征（categorical features）吗 对于优化的超参数类型，TPE算法本身是没有限制的，但出于面对普通用户节省资源的目的，ModelArts在前端限制了TPE的超参数必须是float，如果想离散型和连续型参数混用的话，可以调用rest接口。 父主题： 功能咨询
包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 获取模型权重文件 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法
Events协议的方式访问在线服务 背景说明 Server-Sent Events（SSE）是一种服务器向客户端推送数据的技术，它是一种基于HTTP的推送技术，服务器可以向客户端推送事件。这种技术通常用于实现服务器向客户端推送实时数据，例如聊天应用、实时新闻更新等。 SSE主要解决了客户端与服务器之间的
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后，将为用户提供一个可调用的API，此API为标准Restful API。您可以在服务详情页面，调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
根据创建AI应用时的设置，显示部署服务的使用约束，如请求模式、启动命令、模型加密等。对于异步请求模式的AI应用，可显示输入模式、输出模式、服务启动参数和作业配置参数等参数。 关联服务 展示使用该AI应用部署的服务列表，单击服务名称可以直接跳转到服务详情页面。 父主题： 管理AI应用
检查containerd是否安装 在创建CCE集群时，会选择 containerd 作为容器引擎，并默认给机器安装。如尚未安装，说明机器操作系统安装错误。需要重新纳管机器，重新安装操作系统。 安装nerdctl工具。nerdctl是containerd的一个客户端命令行工具，使用方式和docker命令基本一致，可用于后续镜像构建步骤中。
参数类型 描述 vpcep_service_id String VPC访问通道vpcep终端节点服务ID。 vpcep_service_name String VPC访问通道vpcep终端节点服务名称。 service_port Integer VPC访问通道的端口。 状态码： 401
太小，无法满足应用部署，请增大内存规格。 运行中服务告警中出现该提示，可能代码有问题导致内存溢出或者业务使用量太大导致内存需求增多。 处理方法 在部署或升级在线服务时，选择更大内存规格的计算节点。 图3 选择计算节点规格 运行中服务出现告警时，需要分析是您的代码是否出现漏洞导致内
ignore 系统已自动过跳过这张图片，不需要用户处理。 2 tf-decode failed 图片无法被TensorFlow解码且不能修复 ignore 系统已跳过这张图片，不需要用户处理。 3 size over 图片大于5MB resize to small 系统已将图片压缩到5MB以内处理，不需要用户处理。
明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型列表 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b https://huggingface
训练完成后，可先在开发环境Notebook中创建本地模型，在开发环境Notebook调试完成后再部署到推理服务上。 只支持使用ModelArts Notebook部署本地服务。 示例代码 在ModelArts Notebook平台，Session鉴权无需输入鉴权参数。其它平台的S
单击服务名称，进入服务详情页面，查看服务详情信息，单击“日志”页签，查看服务日志信息。 图2 查看服务日志信息 服务预测 在服务详情页面，单击“预测”页签，进行服务预测。 图3 服务预测 父主题： Standard推理部署
明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型类型和权重获取地址 序号 支持模型 支持模型参数量 权重文件获取地址 1 llama2 llama2-7b
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
