检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查询资源实时利用率 功能介绍 查询当前项目下所有资源池的实时利用率。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI GET /v2/{project_id}/metrics/runtime/pools
rver-Sent Events访问主要解决了客户端与服务器之间的单向实时通信需求(例如ChatGPT回答的流式输出),相较于WebSocket(双向实时),它更加轻量级且易于实现。 父主题: 将模型部署为实时推理作业
extract_archive(from_path, to_path): to_path = os.path.join(to_path, os.path.splitext(os.path.basename(from_path))[0]) with open(to_path
REBOOT_FAILED: 重启失败; CHANGINGOS: 切换操作系统中: CHANGINGOS_FAILED: 切换操作系统失败: REINSTALLINGOS: 重装操作系统中: REINSTALLINGOS_FAILED。重装操作系统失败。 vpc_id String 实例所在虚拟私有云ID。
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题: 使用ModelArts Standard部署模型并推理预测
系统容器异常退出 问题现象 在训练创建后出现“系统容器异常退出”的故障。 [ModelArts Service Log]2022-10-11 19:18:23,267 - file_io.py[1ine:748] - ERROR: stat:404 errorCode:NoSuchKey
Turbo: 文件系统名称:选择对应的SFS Turbo极速文件。不支持选择跨区域(Region)的极速文件系统。 挂载路径:指定容器内部的挂载路径,如“/sfs-turbo-mount/”。请选择全新目录,选择存量目录会覆盖存量文件。 说明: 相同的文件系统只能挂载一次 ,且只
P_KEY和HUAWEICLOUD_APP_SECRET。 app_key = os.environ["HUAWEICLOUD_APP_KEY"] app_secret= os.environ["HUAWEICLOUD_APP_SECRET"] file_path
访问在线服务支持的传输协议 使用WebSocket协议的方式访问在线服务 使用Server-Sent Events协议的方式访问在线服务 父主题: 将模型部署为实时推理作业
使用WebSocket协议的方式访问在线服务 背景说明 WebSocket是一种网络传输协议,可在单个TCP连接上进行全双工通信,位于OSI模型的应用层。WebSocket协议在2011年由IETF标准化为RFC 6455,后由RFC 7936补充规范。Web IDL中的WebSocket
通过VPC高速访问通道的方式访问在线服务 背景说明 访问在线服务的实际业务中,用户可能会存在如下需求: 高吞吐量、低时延 TCP或者RPC请求 因此,ModelArts提供了VPC直连的高速访问通道功能以满足用户的需求。 使用VPC直连的高速访问通道,用户的业务请求不需要经过推理
在线服务发起预测请求: 方式一:使用图形界面的软件进行预测(以Postman为例)。Windows系统建议使用Postman。 方式二:使用curl命令发送预测请求。Linux系统建议使用curl命令。 方式三:使用Python语言发送预测请求。 方式四:使用Java语言发送预测请求。
通过公网访问通道的方式访问在线服务 通过VPC访问通道的方式访问在线服务 通过VPC高速访问通道的方式访问在线服务 父主题: 将模型部署为实时推理作业
访问在线服务支持的认证方式 通过Token认证的方式访问在线服务 通过AK/SK认证的方式访问在线服务 通过APP认证的方式访问在线服务 父主题: 将模型部署为实时推理作业
向客户端推送事件。这种技术通常用于实现服务器向客户端推送实时数据,例如聊天应用、实时新闻更新等。 SSE主要解决了客户端与服务器之间的单向实时通信需求(例如ChatGPT回答的流式输出),相较于WebSocket(双向实时),它更加轻量级且易于实现。 前提条件 在线服务中的模型导入选择的镜像需支持SSE协议。
户的权限管理,各个云服务都提供了一些预置的“系统策略”供用户直接使用。如果预置的策略不能满足您的细粒度权限控制要求,则可以通过“自定义策略”来进行精细控制。 表1列出了ModelArts的所有预置系统策略。 表1 ModelArts系统策略 策略名称 描述 类型 ModelArts
通过公网访问通道的方式访问在线服务 背景描述 ModelArts推理默认使用公网访问在线服务。在线服务部署成功后,将为用户提供一个可调用的API,此API为标准Restful API。您可以在服务详情页面,调用指南页签中查看API接口公网地址。 图1 API接口公网地址 约束限制
elArts所在区域保持一致。 服务类别:请选择“按名称查找服务”。 服务名称:填入步骤1中获取的“终端节点服务地址”。单击右侧验证按钮,系统将为您自动填入虚拟私有云、子网和节点IP。 创建内网域名:保持默认值。 确认规格无误后,单击“立即购买”后提交任务,界面自动跳转至终端节点列表页面。
HUAWEICLOUD_SDK_AK和HUAWEICLOUD_SDK_SK。 ak = os.environ["HUAWEICLOUD_SDK_AK"] sk = os.environ["HUAWEICLOUD_SDK_SK"] file_path = "预测文件的本地路径"
账单管理”查看资源的费用账单,以了解该资源在某个时间段的使用量和计费信息。 账单上报周期 包年/包月计费模式的资源完成支付后,会实时上报一条账单到计费系统进行结算。 按需计费模式的资源按照固定周期上报使用量到计费系统进行结算。按需计费模式产品根据使用量类型的不同,分为按小时、按天、按月三种周期进行结算,具体扣费