检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
修改驱动版本。在“驱动版本”下拉列表中指定驱动版本。 指定节点计费模式。用户增加节点数量时,可以打开“节点计费模式”开关,为资源池新扩容的节点设置不同于资源池的计费模式、购买时长和开启自动续费功能。例如用户可以在包周期的资源池中创建按需的节点。若用户不指定该参数,则新扩容的节点计费模式和资源池保持一致。 单击“提交”
提供机柜、节点、加速卡、任务多场景故障感知和检测。 提供节点级、作业级、容器级,多级故障恢复,保障千卡作业稳定训练。 多种资源形态 集群模式,开箱即提供好Kubernetes集群,直接使用,方便高效。 节点模式,客户可采用开源或自研框架,自行构建集群,更强的掌控力和灵活性。 零改造迁移 提供业
modelarts/billing.mode 否 String 计费模式,可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num 否 String 包周期订购周期,比如2。当计费模式为包周期时该参数必传。 os.modelarts/period.type
32GB的资源池,计划使用时间为1个月(30天)。该公司想要了解采用哪种计费模式才是最具性价比的方式。 计费构成分析 基于此案例,可详细计算出按需计费和包年/包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算出来的费用可能会有偏差。请以华为云官网发布的数据为准。
默认使用CANNGraph图模式启动来提升性能,设置该参数后将关闭图模式。CANNGraph图模式目前支持llama和qwen2系列大语言模型单卡场景,包含该系列AWQ量化模型,其他场景(如Multi-lora)暂未支持。小模型如Qwen2-1.5B和Qwen2-0.5B推荐不设置该参数。
AI专属集群的参数说明 参数名称 子参数 说明 计费模式 - 计费模式可以选择“包年/包月”或“按需计费”。 包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费是后付费模式,按云服务器的实际使用时长计费,可以随时开通/删除云服务器。
ix-caching特性则不配置该环境变量。 若要开启图模式,请配置以下5个环境变量,并且启动服务时不要添加enforce-eager参数。 export INFER_MODE=PTA # 开启PTA模式,若不使用图模式,请关闭该环境变量 export PTA_TORCHAIR
IGC SDXL模型: Fine-tuning微调支持Standard及DevServer模式 LoRA微调支持DevServer模式 Open-Sora1.0训练支持DevServer模式 SDXL基于Standard适配PyTorch NPU的Finetune高性能训练指导
用户项目ID,获取方法请参见获取项目ID和名称。 表2 Query参数 参数 是否必选 参数类型 描述 limit 否 Integer 每一页的数量,默认值200。 name 否 String 镜像名称,长度限制512个字符,支持小写字母、数字、中划线、下划线和点。 name_fuzzy_match
用户项目ID,获取方法请参见获取项目ID和名称。 请求参数 表2 请求Body参数 参数 是否必选 参数类型 描述 arch 否 String 服务器架构信息。 ARM; X86。 charging_mode 否 String 服务器规格计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需
储容量和时长收费。您也可以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。SFS购买指导请参考如何购买弹性文件服务?。 购买容器镜像服务SWR 容器镜像服务分为企业版和共享版。 共享版计费项包括存储空间和流量费用,目前均免费提供给您。
角色与策略相关介绍请参考权限基本概念。 “新增委托 > 权限配置 > 普通模式” 在服务列表右侧勾选“全选”。 图5 普通模式 “新增委托 > 权限配置 >高权限模式 ” 高权限模式下,配置的权限范围较大,适用于有管理员权限需求的用户。 图6 高权限模式 勾选“我已经详细阅读并同意《ModelArts服
镜像复制开关,仅当“model_type”为“Image”时有效。 取值范围: true:默认值,复制镜像模式,无法极速创建AI应用,SWR源目录中的镜像更改或删除不影响服务部署。 false:不复制镜像模式,可极速创建AI应用,更改或删除SWR源目录中的镜像会影响服务部署。 initial_config
这里Step指定为0表示只对首个Step进行数据Dump。task指定为statistics表示使用统计量模式,该模式下针对整网训练API输入输出保存最大值、最小值、均值等统计量信息比对,落盘数据量较小。GPU和NPU环境依次进行数据Dump,正常执行结束标识如下图回显Exception: msprobe:
查询方法: 单击右上方的“费用中心 > 费用账单”进入费用中心详情页面,在左侧导航栏选择“账单管理 > 流水和明细账单”,在流水和明细账单页面,可切换“账单详情”和“明细账单”页签查看账单信息。 在“流水账单”列表页,罗列该账号下各种产品类型,每个任务产生的费用详细。您可以单击“操作
对应的模型转换成MindIR格式,通过后端绑定的编译形式来运行以达到更好的性能(类似静态图的运行模式),所以需要提前准备以下几个重点参数。 输入的inputShape,包含batch信息。 MSLite涉及到编译优化的过程,不支持完全动态的权重模式,需要在转换时确定对应的inputShape,用于模型的格式的编
ModelArts Standard训练作业和模型部署如何收费? Standard中训练作业如何收费? 如果您使用的是公共资源池,则根据您选择的规格、节点数、运行时长进行计费。计费规则为“规格单价×节点数×运行时长”(运行时长精确到秒)。 如果您使用的是专属资源池,则训练作业就不再进行单独计费。由专属资源池进行收费。
modelarts/ma-cli-profile.yaml配置文件; -P表示鉴权文件中的某一组鉴权信息,默认是DEFAULT; -D表示是否开启debug模式(默认关闭),当开启debug模式后,命令的报错堆栈信息将会打印出来,否则只会打印报错信息; -h表示显示命令的帮助提示信息。 命令说明 表1 ma-cli支持的命令
默认使用CANNGraph图模式启动来提升性能,设置该参数后将关闭图模式。CANNGraph图模式目前支持llama和qwen2系列大语言模型单卡场景,包含该系列AWQ量化模型,其他场景(如Multi-lora)暂未支持。小模型如Qwen2-1.5B和Qwen2-0.5B推荐不设置该参数。
--mode:脚本的处理模式,可选值为gen或者merge。gen模式表示生成rank_table文件,merge模式表示合并global rank_table文件。 --save-dir:保存生成的rank_table文件的根目录,默认为当前目录。 --api-server:仅在gen模式有效,