检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Notebook中进行权重转换，并将转换后的权重上传至OBS中。 权重文件夹不要以"model"命名，若以"model"命名会导致后续创建AI应用报错。 推理启动脚本run_vllm.sh制作请参见•创建推理脚本文件run_vllm.sh。 SSL证书制作包含cert.pem和key
若权重文件大于60G，创建AI应用会报错，提示模型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“模型部署 > 在线服务 > 部署”，开始部署在线服务。 设置部署服务名称，选择Step2 部署模型中创建的
型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模
tebook中进行权重转换，并将转换后的权重上传至OBS中。 权重文件夹不要以"model"命名，若以"model"命名会导致后续创建AI应用报错。 推理启动脚本run_vllm.sh制作请参见下文创建推理脚本文件run_vllm.sh的介绍。 SSL证书制作包含cert.pem和key
型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模
型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模
型大于60G，请提工单扩容。 Step3 部署在线服务 将Step2 部署模型中创建的AI应用部署为一个在线服务，用于推理调用。 在ModelArts控制台，单击“部署上线 > 在线服务 > 部署”，开始部署在线服务。 图5 部署在线服务 设置部署服务名称，选择Step2 部署模
认证证书 合规证书 华为云服务及平台通过了多项国内外权威机构（ISO/SOC/PCI等）的安全合规认证，用户可自行申请下载合规资质证书。 图1 合规证书下载 资源中心 华为云还提供以下资源来帮助用户满足合规性要求，具体请查看资源中心。 图2 资源中心 销售许可证&软件著作权证书 另
在线服务的API接口组成规则是什么？ AI应用部署成在线服务后，用户可以获取API接口用于访问推理。 API接口组成规则如下： https://域名/版本/infer/服务ID 示例如下： https://6ac81cdfac4f4a30be95xxxbb682.apig.xxx
ssl_certificate /etc/nginx/ssl/server/server.crt; ssl_password_file /etc/nginx/keys/fifo; ssl_certificate_key /etc/nginx/ssl/server/server
在线服务预测报错MR.0105 问题现象 部署为在线服务，服务处于运行中状态，预测时报错：{ "erno": "MR.0105", "msg": "Recognition failed","words_result": {}}。 图1 预测报错 原因分析 请在“在线服务”详情页面
推理服务在线测试支持文件、图片、json三种格式。通过部署为在线服务Predictor可以完成在线推理预测。 示例代码 在ModelArts notebook平台，Session鉴权无需输入鉴权参数。其它平台的Session鉴权请参见Session鉴权。 场景：部署在线服务Predictor的推理预测
在线服务预测时，如何提高预测速度？ 部署在线服务时，您可以选择性能更好的“计算节点规格”提高预测速度。例如使用GPU资源代替CPU资源。 部署在线服务时，您可以增加“计算节点个数”。 如果节点个数设置为1，表示后台的计算模式是单机模式；如果节点个数设置大于1，表示后台的计算模式为分布式的。您可以根据实际需求进行选择。
查看在线服务详情 当模型部署为在线服务成功后，您可以进入“在线服务”页面，来查看服务详情。 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署 > 在线服务”，进入“在线服务”管理页面。 单击目标服务名称，进入服务详情页面。 您可以查看服务的“名称”、“状态”等信息，详情说明请参见表1。
在线服务预测报错ModelArts.4503 问题现象 在线服务部署完成且服务已经处于“运行中”的状态后，向运行的服务发起推理请求，报错ModelArts.4503。 原因分析及处理方法 服务预测报错ModelArts.4503有多种场景，常见场景如下： 通信出错 请求报错：{"
instance xxx: 'ssh' ...”如何解决？ 问题现象 或 VS Code连接Notebook一直提示选择证书，且提示信息除标题外，都是乱码。选择证书后，如上图所示仍然没有反应且无法进行连接。 原因分析 当前环境未装OpenSSH或者OpenSSH未安装在默认路径下，详情请参考VS
通过Token认证的方式访问在线服务 如果在线服务的状态处于“运行中”，则表示在线服务已部署成功，部署成功的在线服务，将为用户提供一个可调用的API，此API为标准Restful API。在集成至生产环境之前，需要对此API进行调测，您可以使用以下方式向在线服务发起预测请求： 方式一
有弹窗提醒。 在线服务参数说明请参见部署模型为在线服务。修改在线服务还需要配置“最大无效实例数”设置并行升级的最大节点数，升级阶段节点无效。 方式二：通过服务详情页面修改服务信息 登录ModelArts管理控制台，在左侧菜单栏中选择“模型部署”，进入目标服务类型管理页面。 单击目标服务名称，进入服务详情页面。
部署在线服务 部署在线服务包括： 已部署为在线服务的初始化。 部署在线服务predictor。 部署批量服务transformer。 部署服务返回服务对象Predictor，其属性包括服务管理章节下的所有功能。 示例代码 在ModelArts notebook平台，Session
Notebook”，进入“Notebook”管理页面。停止Step1 在Notebook中构建一个新镜像中创建的Notebook。 在Notebook对应操作列，单击“更多 > 变更镜像”，打开“变更镜像”弹出框，变更镜像选择“自定义镜像”，将当前镜像变更为Step2 构建成功的镜像注册到镜像管理模块注册的镜像，如图8所示。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
