检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Array of strings 资源池支持的作业类型。用户创建标准资源池时至少选择一种,物理资源池支持全部选择。可选值如下: Train:训练作业 Infer:推理作业 Notebook:Notebook作业 resources 是 Array of PoolResourceFlavor
特定作业类型统计信息。 表4 WorkloadStatistics 参数 参数类型 描述 type String 作业类型。可选值如下: train:训练作业 infer:推理作业 notebook:Notebook作业 total Integer 作业个数。 status status object
证,即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池 服务使用的是专属资源池 从训练中选择元模型 不支持 不支持 从容器镜像中选择元模型 不支持 支持,创建模型的自定义镜像需要满足创建模型的自定义镜像规范。 从OBS中选择元模型
Gallery工具链服务创建成功且实际开始运行时,才会上报话单并开始计费,其他状态不上报就不计费,各个服务开始计费的状态如下。 微调大师:“训练中” AI应用:“运行中” 在线推理服务:“运行中” 计费规则 资源整点扣费,按需计费。 计费的最小单位为秒,话单上报后的每一小时对用户账
证,即可实现业务不中断的无损升级。 表1 支持无损滚动升级的场景 创建模型的元模型来源 服务使用的是公共资源池 服务使用的是专属资源池 从训练中选择元模型 不支持 不支持 从容器镜像中选择元模型 不支持 支持,创建模型的自定义镜像需要满足创建模型的自定义镜像规范。 从OBS中选择元模型
式的业务场景: 稳定业务需求:对于长期运行且资源需求相对稳定的业务,例如大模型训练单任务运行时间较长的场景,包年/包月计费模式能提供较高的成本效益。 长期项目:对于周期较长的项目,例如科研类的模型训练,包年/包月计费模式可以确保在整个项目周期内资源的稳定使用。 约束限制 包年/包
String 镜像支持服务类型。枚举值如下: COMMON:通用镜像。 INFERENCE: 建议仅在推理部署场景使用。 TRAIN: 建议仅在训练任务场景使用。 DEV: 建议仅在开发调测场景使用。 UNKNOWN: 未明确设置的镜像支持的服务类型。 sort_dir 否 String
Step1 创建用户组并加入用户 Step2 为用户配置云服务使用权限 Step3 为用户配置ModelArts的委托访问授权 Step4 测试用户权限 父主题: 典型场景配置实践
服务管理 服务管理概述 在开发环境中部署本地服务进行调试 部署在线服务 查询服务详情 推理服务测试 查询服务列表 查询服务对象列表 更新服务配置 查询服务监控信息 查询服务日志 删除服务
“关联sfsturbo”用于将此网络与某个选定的SFS Turbo资源做关联操作,关联完成后,表示SFS Turbo与网络已进行打通,可在训练和开发环境等功能时使用此SFS Turbo。 关联与解除关联操作需要用户委托授权ModelArts云服务操作SFS Turbo的部分权限。
ken的值)。 表3 请求Body参数 参数 是否必选 参数类型 描述 grants 否 Array of grants objects 训练作业使用的数据集。不可与data_url或dataset_id/dataset_version_id同时使用。 auth_type 否 String
PoolSpecUpdate 参数 是否必选 参数类型 描述 scope 否 Array of strings 更新启用的作业类型。可选值如下: Train:训练作业 Infer:推理作业 Notebook:Notebook作业 resources 否 Array of resources objects
动态挂载适用于哪些使用场景 场景1:数据集预览和操作,将承载数据集的OBS挂载至Notebook中,可以像本地文件系统一样操作数据集。 场景2:在Notebook中训练时,可直接使用挂载至Notebook容器中的数据集。 动态挂载OBS并行文件系统有什么限制 OBS提供两种桶,对象存储(对象桶)和并行文件系统PFS。
种同时确保准确率与推理高效的训练后量化(PTQ)方法,W8A8可实现8-bit权重、8-bit激活(W8A8)量化,引入平滑因子来平滑激活异常值,将量化难度从较难量化的激活转移到容易量化的权重上。 AWQ-W4A16:AWQ是一种大模型低比特权重的训练后量化(PTQ)方法,W4A
选择多个规格的CPU架构必须相同。例如都是X86,或者都是ARM。 如果选择了多个GPU或NPU规格,由于不同规格的参数网络平面不互通,分布式训练时训练速度会受到影响。如果您要做分布式训练,建议您只选择一个GPU或NPU规格。 一个资源池中,最多可添加10种规格。 资源调度与切分 自定义驱动 默认关闭。部
健康检查配置有问题 镜像如果配置了健康检查,服务启动失败,从以下两个方面进行排查: 健康检查端口是否可以正常工作 自定义镜像中配置了健康检查,需要在测试镜像时,同步测试健康检查接口是否可以正常工作,具体参考从0-1制作自定义镜像并创建AI应用中的本地验证镜像方法。 创建模型界面上配置的健康检查地址与实际配置的是否一致
lArts Notebook及线下虚拟机中与云端服务交互,使用ma-cli命令可以实现命令自动补全、鉴权、镜像构建、提交ModelArts训练作业、提交DLI Spark作业、OBS数据复制等,具体参见ModelArts CLI命令参考。 ModelArts Notebook内置MoXing
描述部分,保存到“README.md”文件里。 模型描述部分是一个可在线编辑、预览的Markdown文件,里面包含该模型的简介、能力描述、训练情况、引用等信息。编辑内容会自动保存在“README.md”文件里。 更新后的“README.md”文件自动存放在数据集详情页的“文件版本
参数枚举值列表,只有当参数类型为PlaceholderType.ENUM时才需要填写。 否 list constraint 参数相关的约束配置,当前该字段仅支持训练规格的约束,且用户不感知。 否 dict required 参数是否必填标记。 默认required=True。 Delay参数不能设required=False。
型。 scope Array of strings 资源池支持的作业类型。至少选择一种,物理资源池支持全部选择。可选值如下: Train:训练作业 Infer:推理作业 Notebook:Notebook作业 resources Array of resources objects