检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已有镜像迁移至ModelArts用于训练模型 场景描述 本地已有镜像，需要做云上适配，用于ModelArts模型训练。 操作步骤 参考如下Dockerfile，修改已有镜像，使其符合模型训练的自定义镜像规范。 FROM {已有镜像} USER root # 如果已存在 gid
精度调优总体思路 精度问题定位首先要能在昇腾环境上稳定地复现问题，这样才可以在该异常场景下进行针对性分析。大模型训练通常使用多机训练，多机训练的问题复现成本通常较高，且难以直接Dump分析（例如直接使用精度工具采集整网Tensor信息可能会产生TB级的Dump数据，存储和复制都比较困难
托管镜像到AI Gallery 创建镜像资产 登录AI Gallery，单击右上角“我的Gallery”进入我的Gallery页面。 单击左上方“创建资产”，选择“镜像”。 在“创建镜像”弹窗中配置参数，单击“创建”。 表1 创建镜像 参数名称 说明 英文名称 必填项，镜像的英文名称
模型训练存储加速 针对AI训练场景中大模型Checkpoint保存和加载带来的I/O挑战，华为云提供了基于对象存储服务OBS+高性能弹性文件服务SFS Turbo的AI云存储解决方案，如下图所示。 SFS Turbo HPC型支持和OBS数据联动，您可以通过SFS Turbo HPC
VS Code一键连接Notebook 视频介绍 前提条件 已经创建Notebook实例 ，实例已经开启SSH连接，实例状态为运行中。 请参考创建Notebook实例。 实例的密钥文件已经下载至本地的如下目录或其子目录中： Windows：C:\Users\{{user}} Mac
【下线公告】华为云ModelArts服务旧版训练管理下线公告 华为云ModelArts服务旧版训练管理在2023年6月30日 00:00(北京时间)正式退市。 下线范围 下线区域：华为云全部Region 下线影响 正式下线后，用户将无法再使用旧版训练管理的功能，包括旧版训练作业、训练参数管理
训练网络迁移总结 确保算法在GPU训练时，持续稳定可收敛。避免在迁移过程中排查可能的算法问题，并且要有好的对比标杆。如果是NPU上全新开发的网络，请参考PyTorch迁移精度调优排查溢出和精度问题。 理解GPU和NPU的构造以及运行的差别，有助于在迁移过程中分析问题并发挥NPU的优势
增量模型训练 什么是增量训练 增量训练（Incremental Learning）是机器学习领域中的一种训练方法，它允许人工智能（AI）模型在已经学习了一定知识的基础上，增加新的训练数据到当前训练流程中，扩展当前模型的知识和能力，而不需要从头开始。 增量训练不需要一次性存储所有的训练数据
创建Notebook并执行性能诊断任务 本文介绍如何创建Notebook并执行性能诊断任务。 操作步骤 创建Notebook实例。 在ModelArts控制台创建一个Notebook实例，选择要使用的AI框架，创建Notebook时可以选择任意镜像。具体参见创建Notebook实例
AI开发基本概念 机器学习常见的分类有3种： 监督学习：利用一组已知类别的样本调整分类器的参数，使其达到所要求性能的过程，也称为监督训练或有教师学习。常见的有回归和分类。 非监督学习：在未加标签的数据中，试图找到隐藏的结构。常见的有聚类。 强化学习：智能系统从环境到行为映射的学习，
性能调优总体原则和思路 PyTorch在昇腾AI处理器的加速实现方式是以算子为粒度进行调用（OP-based），即通过Python与C++调用CANN层接口Ascend Computing Language（AscendCL）调用一个或几个亲和算子组合的形式，代替原有GPU的实现方式
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
准备权重 获取对应模型的权重文件，获取链接参考表1。 权重文件下载有如下几种方式，但不仅限于以下方式： 方法一：网页下载：通过单击表格中权重文件获取地址的访问链接，即可在模型主页的Files and Version中下载文件。 方法二：huggingface-cli：huggingface-cli
使用PyCharm Toolkit插件连接Notebook 由于AI开发者会使用PyCharm工具开发算法或模型，为方便快速将本地代码提交到ModelArts的训练环境，ModelArts提供了一个PyCharm插件工具PyCharm ToolKit，协助用户完成SSH远程连接Notebook
创建Notebook实例 功能介绍 创建Notebook实例，可以根据您指定的实例规格，不同AI引擎镜像，存储等相关参数，为您创建一个Notebook，您可以通过网页和SSH客户端访问Notebook实例。 该接口为异步操作，创建Notebook实例的状态请通过查询Notebook
计算规格说明 AI Gallery提供了多种计算规格供用户按需选用。只要用户的账号费用充足，就可以持续使用资源，详细计费说明请参见计费说明。 计费说明 AI Gallery的计费规则如表1所示。 表1 计费说明 规则 说明 话单上报规则 仅当AI Gallery工具链服务创建成功且实际开始运行时
场景介绍 方案概览 本文档利用训练框架PyTorch_npu+华为自研Ascend Snt9B硬件，为用户提供了常见主流开源大模型在ModelArts Lite DevServer上的预训练和全量微调方案。 本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持
发布技术文章（AI说） AI Gallery中的“AI说”，是一个AI开发人员的交流园地。在这里可以阅读其他用户分享的技术文章，并参与评论。也可以发布分享个人技术文章。 前提条件 已入驻AI Gallery。 发布技术文章 进入AI Gallery首页，单击“AI说”，在下拉框中单击
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
