检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注
ECS获取和上传基础镜像 Step1 创建ECS 下文中介绍如何在ECS中构建一个训练镜像,请参考ECS文档购买一个Linux弹性云服务器。完成网络配置、高级配置等步骤,可根据默认选择,或进行自定义。创建完成后,单击“远程登录”,后续安装Docker等操作均在该ECS上进行。 注
本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.910版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1
参数名称 说明 英文名称 必填项,数据集的英文名称。 如果没有填写“中文名称”,则资产发布后,在数据集页签上会显示该“英文名称”。 中文名称 数据集的中文名称。 如果填写了“中文名称”,则资产发布后,在数据集页签上会显示该“中文名称”。 许可证 数据集资产遵循的使用协议,根据业务需求选择合适的许可证类型。
旧版训练管理是否停止新购? 是的,旧版训练管理将于2023年6月30日 00:00(北京时间)正式退市。 旧版训练管理如何升级到新版训练? 请参考新版训练指导文档(模型训练)来体验新版训练。 旧版训练迁移至新版训练需要注意哪些问题? 新版训练和旧版训练的差异主要体现在以下3点。 新旧版创建训练作业方式差异
pip-requirements.txt 仅使用预置框架创建的训练作业支持在训练模型时引用依赖包。 pip-requirements.txt文件命名支持以下4种格式,文档中以pip-requirements为例说明。 pip-requirement.txt pip-requirements.txt requirement
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件,为用户提供了常见主流开源大模型在ModelArts Standard上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户,完成本方案的部署,需要先联系您所在企业的华为方技术支持。
ModelArts最佳实践案例列表 在最佳实践文档中,提供了针对多种场景、多种AI引擎的ModelArts案例,方便您通过如下案例快速了解使用ModelArts完成AI开发的流程和操作。 LLM大语言模型训练推理场景 样例 场景 说明 主流开源大模型基于DevServer适配ModelLink
Snt9B开展SD3模型的推理过程。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.912版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region
Snt9B开展SD3模型的推理过程。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.907版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region
2409-aarch64-snt9b-20241213131522-aafe527 SWR上拉取。 约束限制 本文档适配昇腾云ModelArts 6.3.912版本,请参考表2获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 步骤一:检查环境 请参考DevServer资源开通
本方案目前仅适用于部分企业客户。 本文档适配昇腾云ModelArts 6.3.911版本,请参考软件配套版本获取配套版本的软件包,请严格遵照版本配套关系使用本文档。 资源规格推荐使用“西南-贵阳一”Region上的Lite k8s Cluster和昇腾Snt9B资源。 本文档中的CCE集群版本选择v1
碍。通过大量开发者实践,针对主流昇腾云开源大模型,沉淀最佳的算力组合方案,为开发者在开发模型的最后一步,提供最佳实践的算力方案、实践指南和文档,节省开发者学习和试错资金成本,提升学习和开发效率。 父主题: 功能介绍
4096B。总共有三种大小:1024B、2048B、4096B) 创建文件越快,越容易触发。 处理方法 可以参照日志提示"write line error"文档进行修复。 如果是分布式作业有的节点有错误,有的节点正常,建议提工单请求隔离有问题的节点。 如果是触发了欧拉操作系统的限制,有如下建议措施。
常见的磁盘空间不足的问题和解决办法 该章节用于统一整体所有的常见的磁盘空间不足的问题和解决办法。减少相关问题文档的重复内容。 问题现象 训练过程中复制数据/代码/模型时出现如下报错: 图1 错误日志 原因分析 出现该问题的可能原因如下: 本地数据、文件保存将"/cache"目录空间用完。
i-toolkit的Lora训练。 约束限制 本方案目前仅适用于企业客户。 本文档适配昇腾云ModelArts 6.3.911版本,请参考表1获取配套版本的软件包和镜像,请严格遵照版本配套关系使用本文档。 确保容器可以访问公网。 资源规格要求 推荐使用“西南-贵阳一”Region
\ prom/prometheus 这里使用的是Prometheus最基本的功能,如有更高级的诉求,可参考prometheus的官方文档。 步骤五:安装Grafana 运行社区最新发行的Grafana版本: docker run -d -p 3000:3000 grafana/grafana-oss
进入JupyterLab页面后,自动打开Launcher页面,如下图所示。您可以使用开源支持的所有功能,详细操作指导可参见JupyterLab官网文档。 图3 JupyterLab主页 不同AI引擎的Notebook,打开后Launcher页面呈现的Notebook和Console内核及
小和上面的1和2有关,目录下文件数量比较大时会启动,使用方式是边用边释放) 处理方法 可以参照日志提示"write line error"文档进行修复。 如果是分布式作业有的节点有错误,有的节点正常,建议提工单请求隔离有问题的节点。 如果是触发了欧拉操作系统的限制,有如下建议措施。