检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
pd_ranktable_tools.py的入参说明如下。 --mode:脚本的处理模式,可选值为`gen`或者`merge`。`gen`模式表示生成rank_table文件,`merge`模式表示合并global rank_table文件。 --save-dir:保存生成的ra
/save_dir pd_ranktable_tools.py的入参说明如下。 --mode:脚本的处理模式,可选值为gen或者merge。gen模式表示生成rank_table文件,merge模式表示合并global rank_table文件。 --save-dir:保存生成的rank_table文件的根目录,默认为当前目录。
请求Body参数 参数 是否必选 参数类型 描述 arch 否 String 服务器架构信息。 ARM; X86。 charging_mode 否 String 服务器规格计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需 PRE_PAID:包周期 server_type
用户名密码认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户AK-SK认证模式: 支持OBS管理、数据管理、训练管理、模型管理、服务管理的鉴权。 用户名密码认证模式 本地安装完成ModelArts SDK后,可通过用户名密码认证模式进行Session鉴权。示例代码如下:
挂载到指定目录:支持设置“数据盘挂载到的指定路径”和“写入模式”,包括线性和条带化。 以本地持久卷挂载:支持“持久卷写入模式”设置,包括线性和条带化,此处设置的是所有数据盘的写入模式。 以临时存储卷挂载:支持“临时卷写入模式”设置,包括线性和条带化,此处设置的是所有数据盘的写入模式。 新增规格 - 支持添加多个规格。限制如下:
会话对象,初始化方法请参见Session鉴权。 当需要操作OBS时必填。 save_mode 否 String 保存模式。默认为w,即重写模式,另外还支持a,为追加模式。 父主题: Manifest管理
会话对象,初始化方法请参见Session鉴权。 当需要操作OBS时必填。 save_mode 否 String 保存模式。默认为w,即重写模式,另外还支持a,为追加模式。 父主题: Manifest管理
Long 创建时间。 update_at Long 更新时间。 charging_mode String 计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需模式 PRE_PAID:包周期 cloud_server CloudServer object 云服务信息。
Long 创建时间。 update_at Long 更新时间。 charging_mode String 计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需模式 PRE_PAID:包周期 cloud_server CloudServer object 云服务信息。
Long 创建时间。 update_at Long 更新时间。 charging_mode String 计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需模式 PRE_PAID:包周期 cloud_server CloudServer object 云服务信息。
查看模型的事件类型和事件信息,请参见查看ModelArts模型事件 使用约束 根据创建模型时的设置,显示部署服务的使用约束,如请求模式、启动命令、模型加密等。对于异步请求模式的模型,可显示输入模式、输出模式、服务启动参数和作业配置参数等参数。 关联服务 展示使用该模型部署的服务列表,单击服务名称可以直接跳转到服务详情页面。
modelarts/billing.mode 否 String 计费模式,可选值如下: 0:按需计费 1:包周期计费 os.modelarts/period.num 否 String 包周期订购周期,比如2。当计费模式为包周期时该参数必传。 os.modelarts/period.type
AI专属集群的参数说明 参数名称 子参数 说明 计费模式 - 计费模式可以选择“包年/包月”或“按需计费”。 包年/包月是预付费模式,按订单的购买周期计费,适用于可预估资源使用周期的场景,价格比按需计费模式更优惠。 按需计费是后付费模式,按云服务器的实际使用时长计费,可以随时开通/删除云服务器。
Long 创建时间。 update_at Long 更新时间。 charging_mode String 计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需模式 PRE_PAID:包周期 cloud_server CloudServer object 云服务信息。
USE_PFA_HIGH_PRECISION_MODE=1 # PFA算子(全量prefill阶段的flash-attention)是否使用高精度模式;默认值为1表示开启。针对Qwen2-7B模型和Qwen2-57b模型,必须开启此配置,否则精度会异常;其他模型不建议开启,会影响首token时延增加5%~10%。
修改驱动版本。在“驱动版本”下拉列表中指定驱动版本。 指定节点计费模式。用户增加节点数量时,可以打开“节点计费模式”开关,为资源池新扩容的节点设置不同于资源池的计费模式、购买时长和开启自动续费功能。例如用户可以在包周期的资源池中创建按需的节点。若用户不指定该参数,则新扩容的节点计费模式和资源池保持一致。 单击“提交
提供机柜、节点、加速卡、任务多场景故障感知和检测 提供节点级、作业级、容器级,多级故障恢复,保障千卡作业稳定训练 多种资源形态 集群模式,开箱即提供好Kubernetes集群,直接使用,方便高效 节点模式,客户可采用开源或自研框架,自行构建集群,更强的掌控力和灵活性 零改造迁移 提供业界通用的k8s接口使用资源,业务跨云迁移无压力
8 核 32GB的资源池,计划使用时间为1个月(30天)。该公司想要了解采用哪种计费模式才是最具性价比的方式。 计费构成分析 基于此案例,可详细计算出按需计费和包年/包月两种不同的计费模式的消费情况。 此案例中的单价仅为示例,且计算出的费用为估算值。单价的变动和实际场景中计算
arch 否 String 服务器规格架构类型。 ARM X86 availability_zone 否 String 可用区。 charging_info 否 ChargingInfo object 服务器计费模式信息。 count 否 Integer 单次购买的服务器数量。
Long 创建时间。 update_at Long 更新时间。 charging_mode String 计费模式。 COMMON:同时支持包周期和按需 POST_PAID:按需模式 PRE_PAID:包周期 cloud_server CloudServer object 云服务信息。