检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
吗? 1个节点的专属资源池,能否部署多个服务? 专属资源池购买后,中途扩容了一个节点,如何计费? 共享池和专属池的区别是什么? 如何通过ssh登录专属资源池节点? 训练任务的排队逻辑是什么? 专属资源池下的在线服务停止后,启动新的在线服务,提示资源不足 不同实例的资源池安装的cuda和驱动版本号分别是什么?
Studio大模型即服务平台。 在ModelArts Studio左侧导航栏中,选择“模型部署”进入服务列表。 选择“预置服务”页签。 领取免费调用额度。 在预置服务列表,选择所需的服务,单击操作列的“领取”。当领取置灰时,表示该服务的免费额度已领取。 有以下两种方式免费体验预置服务。 在“模型体验”页面进行推理。
在MaaS体验模型服务 在ModelArts Studio大模型即服务平台,运行中的模型服务可以在“模型体验”页面在线体验模型服务的推理效果。 前提条件 在“模型部署”的服务列表存在“运行中”的模型服务。 操作步骤 登录ModelArts管理控制台。 在左侧导航栏中,选择“ModelArts
使用CTS审计ModelArts服务 ModelArts支持云审计的关键操作 查看ModelArts相关审计日志
Not Allowed 问题现象 服务预测报错:Method Not Allowed 原因分析 服务预测默认注册的API需要使用POST方法调用。如您使用了GET方法,APIG(API网关)将会拦截请求。 处理方法 使用POST方法调用。 父主题: 服务预测
0 CANN:cann_8.0.rc2 PyTorch:2.1.0 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。
项”、“到期不续费项”页签查询全部待续费资源,对资源进行手动续费的操作。 所有需手动续费的资源都可归置到“手动续费项”页签,具体操作请参见如何恢复为手动续费。 手动续费资源。 单个续费:在资源页面找到需要续费的资源,单击操作列的“续费”。 图1 单个续费 批量续费:在资源页面勾选
使用MoXing复制数据报错 如何关闭Mox的warmup Pytorch Mox日志反复输出 moxing.tensorflow是否包含整个TensorFlow,如何对生成的checkpoint进行本地Fine Tune? 训练作业使用MoXing复制数据较慢,重复打印日志 MoXing如何访问文件
导入模型 如何将Keras的.h5格式模型导入到ModelArts中 导入模型时,模型配置文件中的安装包依赖参数如何编写? 使用自定义镜像创建在线服务,如何修改默认端口 ModelArts平台是否支持多模型导入 导入AI应用对于镜像大小的限制 父主题: 模型管理
查看作业详情 如何查看训练作业资源占用情况? 如何访问训练作业的后台? 两个训练作业的模型都保存在容器相同的目录下是否有冲突? 训练输出的日志只保留3位有效数字,是否支持更改loss值? 训练好的模型是否可以下载或迁移到其他账号?如何获取下载路径? 父主题: Standard训练作业
Studio左侧导航栏中,选择“模型部署”进入服务列表。 选择“我的服务”页签。 单击服务名称,进入部署模型服务详情页面,可以查看服务信息。 “详情”:可以查看服务的基本信息,包括服务、模型、资源等设置信息。 “监控”:可以查看服务监控和资源监控信息。 “算力利用率”表示每分钟N
VPC访问在线服务 通过VPC访问通道访问在线服务,API如下: https://{DNS内网域名}/{URL} DNS内网域名:设置的内网域名。您还可以通过在线服务列表页,单击“VPC访问通道”,打开弹出框,查看“访问域名”。 URL:在线服务的URL为服务详情页,调用指南页
WebSocket使得客户端和服务器之间的数据交换变得更加简单,允许服务端主动向客户端推送数据。在WebSocket API中,浏览器和服务器只需要完成一次握手,两者之间就可以建立持久性的连接,并进行双向数据传输。 前提条件 在线服务部署时需选择“升级为WebSocket”。 在线服务中的模型导入
基础配置参数说明 参数名称 说明 资源类型 裸金属服务器是一款兼具弹性云服务器和物理机性能的计算类服务器,为您和您的企业提供专属的云上物理服务器。 弹性云服务器是一种可随时自助获取、可弹性伸缩的云服务器,可帮助您打造可靠、安全、灵活、高效的应用环境,确保服务持久稳定运行,提升运维效率。 计费模式
Standard推理服务访问公网方案 本章节提供了推理服务访问公网的方法。 应用场景 推理服务访问公网地址的场景,如: 输入图片,先进行公网OCR服务调用,然后进行NLP处理; 进行公网文件下载,然后进行分析; 分析结果回调给公网服务终端。 方案设计 从推理服务的算法实例内部,访问公网服务地址的方案。如下图所示:
4096, "allocatable_gpus" : 0.5 } ] } 状态码 状态码 描述 200 服务部署规格列表。 错误码 请参见错误码。 父主题: 服务管理
服务管理权限 表1 服务管理细化权限说明 权限 对应API接口 授权项 依赖的授权项 IAM项目 企业项目 部署模型服务 POST /v1/{project_id}/services modelarts:service:create - √ √ 查询模型服务列表 GET /v1/
Lite Cluster 资源池创建失败的原因与解决方法? Cluster资源池节点故障如何定位 特权池信息数据显示均为0%如何解决? 重置节点后无法正常使用?
边缘服务 什么是边缘节点? 更新AI应用版本时,边缘服务预测功能不可用? 使用边缘节点部署边缘服务能否使用http接口协议? 父主题: 部署上线
表2 请求Body参数 参数 是否必选 参数类型 描述 status 否 String 服务包状态。 pool_id 是 String 资源池ID。 service_id 否 String 在线服务ID。 workflow_id 否 String Workflow工作流ID。 order