l报告进行训练作业性能调优。xlsx中记录了html中全量数据,如集群计算、通信和下发的耗时,可以基于xlsx对计算耗时、下发耗时和带宽等列进行排序,从而快速过滤出计算慢卡、下发慢卡、带宽最小卡。 html总览 html中包括总体性能分析(overall)、快慢卡算子性能比对(c
ECS获取基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注意:C
化委托授权。 本章节主要介绍如何给IAM用户下的子用户配置更细粒度的权限。 前提条件 给用户组授权之前,请先了解用户组可以添加的使用ModelArts及其依赖服务的权限,并结合实际需求进行选择,MaaS服务支持的系统权限,请参见表1。 表1 服务授权列表 待授权的服务 授权说明 IAM权限设置
表示context并行,默认为1。应用于训练长序列文本的模型。如果训练时SEQ_LEN超过32768长度,则推荐增加CP值(CP ≥ 2)。对应训练参数 context-parallel-size 。 (此参数目前仅适用于Llama3系列模型长序列训练) LR 2.5e-5 学习率设置。
专属资源池驱动版本要求23.0.6。 适配的CANN版本是cann_8.0.rc3。 支持的模型列表和权重文件 本方案支持vLLM的v0.6.0版本。不同vLLM版本支持的模型列表有差异,具体如表1所示。 表1 支持的模型列表和权重获取地址 序号 模型名称 是否支持fp16/bf16推理 是否支持W4A16量化
Failed to obtain clusters. 获取MRS集群列表失败 请检查MRS集群 400 ModelArts.4347 List files failed 表格数据列表查询或导入任务中,查询HDFS文件列表失败 请检查OBS路径是否正确或OBS路径下文件是否存在。 400
Standard Workflow 如何定位Workflow运行报错
Lite Cluster Cluster资源池如何进行NCCl Test?
存储相关 在ModelArts中如何查看OBS目录下的所有文件?
CTS支持追踪的ModelArts管理事件和数据事件列表,请参见支持云审计的关键操作、开发环境支持审计的关键操作列表、训练作业支持审计的关键操作列表、模型管理支持审计的关键操作列表、服务管理支持审计的关键操作列表。 图1 云审计服务 数据管理支持审计的关键操作列表 表1 数据管理支持审计的关键操作列表 操作名称 资源类型
欠费原因 已购买资源包,但使用量超出资源包额度或资源包属性与桶属性不匹配,进而产生按需费用,同时账户中的余额不足以抵扣产生的按需费用。请参考如何查看ModelArts中正在收费的作业?识别产生按需计费的原因,并重新选择正确的资源包或保证账户中的余额充足。 未购买资源包,在按需计费模式下账户的余额不足。
)导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像,上传至容器镜像服务(SWR),选择从容器镜像中导入元模型,部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。 父主题: 服务部署
历史文档待下线 ModelArts与其他服务的关系 如何上传数据至OBS?
FAQ 使用ModelArts时提示“权限不足”,如何解决? 父主题: Standard权限管理
JupyterLab插件故障 git插件密码失效如何解决? 父主题: 开发环境(新版Notebook)
擎空间可在创建资源池时自定义设置,设置专属资源池容器引擎空间不会造成额外费用增加。 更多信息,请参见导入AI应用对镜像大小的约束限制。 自动学习项目中,在完成模型部署后,其生成的模型也将自动上传至模型列表中。但是自动学习生成的模型无法下载,只能用于部署上线。 Standard推理服务部署
names文件记录标签列表。每一行的行标作为该标签的index。 label1 # label1的index: 0 label2 # label2的index: 1 label3 ... train.txt和valid.txt文件结构如下,其中文件路径均为相对路径,且文件列表与目录下的文件需一一对应:
精度问题定位过程中,确定性计算不是目的,而是手段。很多场景下需要在确定性计算使能的情况下,进行下一步的精度问题分析定位。Cuda对部分算子实现了确定性计算,但仍有部分算子无法固定。通常需要依赖确定性计算的场景是长稳问题,因为长稳问题需要通过多次长跑来分析Loss情况,这时候如果N
义镜像,具体请参见使用ModelArts的基础镜像构建新的训练镜像。 如镜像来源于第三方,设法找到自定义镜像的制作者咨询,制作者一般对镜像如何使用更加了解。 确定自定义镜像大小 自定义镜像的大小推荐15GB以内,最大不要超过资源池的容器引擎空间大小的一半。镜像过大会直接影响训练作业的启动时间。
以购买包年包月套餐,提前规划资源的使用额度和时长。在欠费时,您需要及时(15天之内)续费以避免您的文件系统资源被清空。SFS购买指导请参考如何购买弹性文件服务?。 购买容器镜像服务SWR 容器镜像服务分为企业版和共享版。 共享版计费项包括存储空间和流量费用,目前均免费提供给您。
您即将访问非华为云网站,请注意账号财产安全