检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
将模型部署为实时推理作业 实时推理的部署及使用流程 部署模型为在线服务 访问在线服务支持的认证方式 访问在线服务支持的访问通道 访问在线服务支持的传输协议 父主题: 使用ModelArts Standard部署模型并推理预测
AARCH64:ARM体系架构。 create_at Long 镜像创建的时间,UTC毫秒。 description String 该镜像所对应的描述信息,长度限制512个字符。 dev_services Array of strings 镜像支持的服务。枚举值如下: NOTEBOOK:镜像支持通过https协议访问Notebook。
资源池吗? 在ModelArts中1个节点的专属资源池,能否部署多个服务? 在ModelArts中公共资源池和专属资源池的区别是什么? ModelArts中的作业为什么一直处于等待中? ModelArts控制台为什么能看到创建失败被删除的专属资源池? ModelArts训练专属资
服务授权列表 待授权的服务 适用场景 ModelArts 授予子用户使用ModelArts服务的权限。 ModelArts CommonOperations没有任何专属资源池的创建、更新、删除权限,只有使用权限。推荐给子用户配置此权限。 如果需要给子用户开通专属资源池的创建、更新、删除权限,此处要勾选ModelArts
3567:用户只能访问自己账号下的obs目录,ModelArts在读取其他用户obs下的数据时,需要用户委托权限,没有创建委托,就没有权限使用其他用户obs中的数据。 登录ModelArts控制台,管理控制台,在左侧导航栏中选择“权限管理”,单击“查看权限”,检查是否配置了obs的委托权限。 图1
息头中X-Subject-Token的值)。 响应参数 状态码: 200 表4 响应Body参数 参数 参数类型 描述 total_count Integer 不分页的情况下符合查询条件的总服务数量。 count Integer 当前查询结果的服务数量,不设置offset、lim
Integer 资源规格的弹性使用量,物理池该值和count相同。 azs Array of azs objects 资源所在的AZ的数量。 nodePool String 节点池名称。比如:nodePool-1。 表15 azs 参数 参数类型 描述 az String AZ的名称。 count
在ModelArts中,用户的数据都是存放在OBS桶中,而训练作业运行在容器中,无法通过访问本地路径的方式访问OBS桶中的文件。 处理方法 读取文件报错,您可以使用Moxing将数据复制至容器中,再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型,进行读取。请参见读
Token的有效期为24小时,需要使用同一个Token鉴权时,可以缓存起来,避免频繁调用。 Token在计算机系统中代表令牌(临时)的意思,拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头,从而通过身份认证,获得操作API的权限。 T
ServerResponse objects DevServer实例列表。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4 ServerResponse 参数 参数类型 描述 create_at Long 创建时间。
GPU业务迁移至昇腾训练推理 ModelArts昇腾迁移调优工具总览 GPU训练业务迁移至昇腾的通用指导 基于AIGC模型的GPU推理业务迁移至昇腾指导 GPU推理业务迁移至昇腾的通用指导 基于advisor的昇腾训练性能自助调优指导 Dit模型Pytorch迁移与精度性能调优 msprobe工具使用指导
String 用户在运营平台选择的折扣信息。 os.modelarts/service.console.url 否 String 订购订单支付完成后跳转的url地址。 os.modelarts/order.id 否 String 订单id,包周期资源创建或者计费模式变更的时候该参数必需。 表5
是 Array of strings 标注成员的邮箱列表。 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 error_code String 操作失败的错误码。 error_msg String 操作失败的错误信息。 results Array of BatchResponse
用系统默认里面自带的。 如果必须指定卡ID,需要注意1/2/4规格下,指定的卡ID与实际分配的卡ID不匹配的情况。 如果上述方法还出现了错误,可以去notebook里面调试打印CUDA_VISIBLE_DEVICES变量,或者用以下代码测试,查看结果是否返回的是True。 import
ServerResponse objects DevServer实例列表。 pages Integer 总的页数。 size Integer 每一页的数量。 total Long 总的记录数量。 表4 ServerResponse 参数 参数类型 描述 create_at Long 创建时间。
Standard推理部署 如何将Keras的.h5格式的模型导入到ModelArts中? ModelArts导入模型时,如何编写模型配置文件中的安装包依赖参数? 在ModelArts中使用自定义镜像创建在线服务,如何修改端口? ModelArts平台是否支持多模型导入? 在Mod
存储路径。 如果type为“obs”类型,该值必须填写,该值需为有效的OBS桶路径,且以“/”结束。不能指定为OBS桶的根目录,需指定为OBS桶下的具体目录。 如果type为“obsfs”类型,该值需为有效的OBS并行文件系统的桶名(当前CCE不支持挂载子目录)。 如果type为“evs”类型,该值不需要填写。
String 服务器所属的超节点资源id。 表4 Endpoints 参数 参数类型 描述 allowed_access_ips Array of strings 允许通过SSH协议访问Notebook的公网IP地址白名单列表,默认都可以访问。当配置指定IP后,则仅允许IP所在的客户端实现对Notebook的访问。
kernel,并导致实例崩溃 如何解决训练过程中出现的cudaCheckError错误? 如何处理使用opencv.imshow造成的内核崩溃? 使用Windows下生成的文本文件时报错找不到路径? 创建Notebook文件后,右上角的Kernel状态为“No Kernel”如何处理?
列单击“启动IPv6”,如图3 打通VPC前,需要保证ModelArts网络和您的VPC网络都已开启IPv6,IPv6才会生效。若是打通VPC后,才开启ModelArts网络的IPv6或VPC网络的IPv6,此时需要重新打通VPC及子网,IPv6才会生效。 图2 创建网络 图3 启动IPv6