检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。 滚动升级(扩实例)
在ModelArts中调整模型后,部署新版本模型能否保持原API接口不变? ModelArts提供多版本支持和灵活的流量策略,您可以通过使用灰度发布,实现模型版本的平滑过渡升级。修改服务部署新版本模型或者切换模型版本时,原服务预测API不会变化。 调整模型版本的操作可以参考如下的步骤。
训练作业算法。目前支持三种形式: id只取算法的id; subscription_id+item_version_id取算法的订阅id和版本id; code_dir+boot_file取训练作业的代码目录和启动文件。 tasks Array of TaskResponse objects 异构训练作业的任务列表。
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 offset 否 Integer 分页列表的起始页,默认为0。 limit 否
ipAddress:主节点IP地址,即rank_table_file.json文件中的server_id。 managementIpAddress:主节点IP地址,和ipAddress取值一致。 modelName:设置为DeepSeek-V3或DeepSeek-R1。 modelWeightPath:权
"top_k": -1 "use_beam_search":true "best_of":2 Step5 推理性能和精度测试 推理性能和精度测试操作请参见推理性能测试和推理精度测试。 父主题: 主流开源大模型基于Standard适配PyTorch NPU推理指导(6.3.906)
”页面。 图1 网络列表 在“创建网络”弹窗中填写网络信息。 网络名称:创建网络时默认生成网络名称,也可自行修改。 网段类型:可选“预置”和“自定义”。自定义网络目前支持网段范围:10.0.0.0/8~26、172.16.0.0/12~26、192.168.0.0/16~26。
执行记录使用到的执行策略。 表3 StepExecution 参数 参数类型 描述 step_name String 节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时,后台自动生成。
推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 表1 环境要求 名称 版本 CANN cann_8.0.rc2 PyTorch pytorch_2.1.0 获取软件和镜像 表2 获取软件和镜像 分类 名称 获取路径 插件代码包 AscendCloud-3rdAIGC-6
ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档需要将运行代码以及输入输出数据存放O
执行记录使用到的执行策略。 表8 StepExecution 参数 参数类型 描述 step_name String 节点的名称,在一个DAG中唯一,1到64位只包含中英文,数字,空格,下划线(_)和中划线(-),并且以中英文开头。 uuid String 唯一标识uuid。创建节点执行时,后台自动生成。
描述 dataset_id 是 String 数据集ID。 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 workforce_task_id 是 String 团队标注任务ID。 表2 Query参数 参数 是否必选 参数类型 描述 label_stats
ModelArts使用对象存储服务(Object Storage Service,简称OBS)进行数据存储以及模型的备份和快照,实现安全、高可靠和低成本的存储需求。因此,在使用ModelArts之前通常先创建一个OBS桶,然后在OBS桶中创建文件夹用于存放数据。 本文档需要将运行代码以及输入输出数据存放O
910版本,请参考获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region上的DevServer资源和Ascend Snt9B。 获取软件和镜像 表1 获取软件和镜像 分类 名称 获取路径 插件代码包
非订阅算法和预置框架无法满足需求,否则不推荐使用。自定义镜像需上传至容器镜像服务(SWR),才能用于ModelArts Standard上训练。 自定义镜像的启动命令规范 用户遵循ModelArts镜像的规范要求制作镜像,选择自己的镜像,并且通过指定代码目录(可选)和启动命令的方式来创建的训练作业。
查询处理任务详情 功能介绍 查询处理任务详情,支持查询“特征分析”任务和“数据处理”两大类任务。可通过指定路径参数“task_id”来查询某个具体任务的详情。 调试 您可以在API Explorer中调试该接口,支持自动认证鉴权。API Explorer可以自动生成SDK代码示例,并提供SDK代码示例调试功能。
某个网络操作列的“打通VPC”。 图1 打通VPC 在打通VPC弹框中,打开“打通VPC”开关,在下拉框中选择可用的VPC和子网。 需要打通的对端网络不能和当前网段重叠。 图2 打通VPC参数选择 如果没有VPC可选,可以单击右侧的“创建虚拟私有云”,跳转到网络控制台,申请创建虚拟私有云。
Arts计算资源费用和对象存储、云硬盘等基础资源费用组成。 表1 计费项 计费项 计费项说明 适用的计费模式 计费公式 适用的功能模块 计算资源费用 计费因子:包括vCPU、GPU和NPU。 按需计费的资源,按购买规格和时长计费 包年/包月的资源,按购买规格和周期计费 按需计费 包年/包月
ig文件中配置ge.dynamicDims和input_shape使用,在input_shape中将输入shape的动态维度设为-1,并在ge.dynamicDims中指定动态维度的档位,更多配置项可以参考官方文档。 如果网络模型只有一个输入:每个档位的dim值与input_sh
Notebook实例ID,可通过调用查询Notebook实例列表接口获取。 project_id 是 String 用户项目ID,获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 description 否 String 支持更新实例描述信息,长