检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
增加AppCode 功能介绍 为指定API网关应用创建新的AppCode,只有APP的创建用户才可以创建AppCode,且只有共享/专享版APIG的APP才能创建AppCode。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自
String 用户Token。通过调用IAM服务获取用户Token接口获取(响应消息头中X-Subject-Token的值)。 响应参数 无 请求示例 如下删除服务ID为xxxxxx的模型服务为例。 DELETE https://endpoint/v1/{project_id}/services/xxxxxx
、升级驱动等操作。 管理Lite Cluster节点池:为帮助您更好地管理Kubernetes集群内的节点,ModelArts支持通过节点池来管理节点。节点池是集群中具有相同配置的一组节点,一个节点池包含一个节点或多个节点,您可以创建、更新和删除节点池。 管理Lite Clust
version_list = dataset.list_versions() print(version_list) # 打印数据集的版本列表 参数说明 无。 父主题: 数据集版本管理
可能原因如下: 导入模型使用的镜像地址不合法或实际镜像不存在 用户给ModelArts的委托中没有SWR相关操作权限 用户为子账号,没有主账号SWR的权限 使用的是非自己账号的镜像 使用的镜像为公开镜像 处理方法 到SWR检查下对应的镜像是否存在,对应镜像的镜像地址是否和实际地址一致,大小写,拼写等是否一致。
Cloud)可以为您构建隔离的、用户自主配置和管理的虚拟网络环境,操作指导请参考创建虚拟私有云和子网。 创建SFS Turbo SFS Turbo HPC型文件系统为用户提供一个完全托管的共享文件存储。SFS Turbo文件系统支持无缝访问存储在OBS对象存储桶中的对象,用户可以指定SFS
ModelArts作为顶层服务,其部分功能依赖于其他服务的访问权限。本章节主要介绍对于IAM子账号使用ModelArts时,如何根据需要开通的功能配置子账号相应权限。 权限列表 子账号的权限,由主用户来控制,主用户通过IAM的权限配置功能设置用户组的权限,从而控制用户组内的子账号的权限。此处的授权列表均按照Mode
String 本地需要上传的文件路径。 dst_obs_dir 是 String 上传的目标OBS桶地址,必须以“obs://”作为前缀,上传的目标文件夹后缀必须以“/”结尾。 表2 失败响应参数说明 参数 参数类型 描述 error_code String 调用失败时的错误码。 调用成功时无此字段。
自助专属池网络打通:可以在ModelArts管理控制台自行创建和管理专属资源池所属的网络。如果需要在专属资源池的任务中访问自己VPC上的资源,可通过“打通VPC”来实现。 更加完善的集群信息:全新改版的专属资源池详情页面中,提供了作业、节点、资源监控等更加全面的集群信息,可帮助您及时了解集群现状,更好的规划使用资源。
912软件包中的AscendCloud-AIGC-6.3.912-xxx.zip 文件名中的xxx表示具体的时间戳,以包名发布的实际时间为准。 获取路径:Support-E,在此路径中查找下载ModelArts 6.3.912 版本。 说明: 如果上述软件获取路径打开后未显示相应的软件信
String 实例归属的用户ID,长度为32位小写字母、数字,在大账号/有admin权限场景下生效,值通常为当前登录用户ID。 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否 String 排序的字段,多个字段使用(“
准备代码 本教程中用到的训练推理代码和如下表所示,请提前准备好。 获取模型软件包和权重文件 本方案支持的模型对应的软件和依赖包获取地址如表1所示,模型列表、对应的开源权重获取地址如表2所示。 表1 模型对应的软件包和依赖包获取地址 代码包名称 代码说明 下载地址 AscendCloud-6
启动推理服务时,使用multi-step调度需要配置的参数如下表所示。 表1 开启multi-step调度参数配置 服务启动方式 配置项 取值类型 配置说明 offline num_scheduler_steps int 连续运行模型的步数。 默认为1,推荐设置为8 offline
开启图模式后,服务第一次响应请求时会有一个较长时间的图编译过程,并且会在当前目录下生成.torchair_cache文件夹来保存图编译的缓存文件。当服务第二次启动时,可通过缓存文件来快速完成图编译的过程,避免长时间的等待,并且基于图编译缓存文件来启动服务可获得更优的推理性能,因此请在有图编译缓存文件的前提下启动服务
String 实例归属的User Id,长度为32位小写字母、数字,在主账号/有admin权限场景下生效,值通常为当前登录用户ID。 sort_dir 否 String 排序方式,ASC升序,DESC降序,默认DESC。 sort_key 否 String 排序的字段,多个字段使用(“
选择授权范围方案为“所有资源”,单击“确定”。 精细化授权管理 如果您需要进行精细的权限管理,可参考《ModelArts API参考》中的权限策略和授权项。 数据管理权限 开发环境权限 训练作业权限 模型管理权限 服务管理权限 工作空间管理权限 精细化授权案例可参考管理员和开发者权限分离。 父主题: 权限配置
添加资源标签 功能介绍 给指定服务添加标签(目前只支持在线服务),当添加的标签key已存在,则覆盖该标签的value。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI
PD分离部署场景下,大模型推理的Prefill阶段(全量推理)和Decode阶段(全量推理)分别实例化部署在不同的推理卡资源上同时进行推理,用于提高资源利用效率。 PD分离结合Prefill阶段的计算密集型特性,以及Decode阶段的访存密集型特性,通过调节PD节点数量配比来提升Decode节点的batch
Server在日常操作与维护过程中涉及的高危操作,需要严格按照操作指导进行,否则可能会影响业务的正常运行。 高危操作风险等级说明: 高:对于可能直接导致业务失败、数据丢失、系统不能维护、系统资源耗尽的高危操作。 中:对于可能导致安全风险及可靠性降低的高危操作。 低:高、中风险等级外的其他高危操作。 表1
Notebook时长续约 功能介绍 该接口用于延长运行中的Notebook实例的运行时间。 接口约束 暂无约束 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。 URI PATCH