检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
安全可信，基于安全加固最佳实践，访问策略、用户权限划分、开发软件漏洞扫描、操作系统安全加固等方式，确保镜像使用的安全性。 ModelArts的自定义镜像使用场景 当用户对深度学习引擎、开发库有特殊需求场景的时候，预置镜像已经不能满足用户需求。ModelArts提供自定义镜像功能支持用户自定义运行引擎。 Model
套餐包 购买方式 登录ModelArts管理控制台，在“总览”页中，单击“购买套餐包”，进入“购买套餐包”页面。可根据需要，自行购买适用规格的套餐包。 适用场景 ModelArts服务支持购买套餐包，根据用户选择使用的资源不同进行收费。您可以根据业务需求选择使用不同规格的套餐包。
数据扩增算子说明 数据扩增主要用于训练数据集不足或需要仿真的场景，能通过对已标注的数据集做变换操作来增加训练图片的数量，同时会生成相应的标签。在深度学习领域，增强有重要的意义，能提升模型的泛化能力，增加抗扰动的能力。数据扩增过程不会改动原始数据，扩增后的图片或xml文件保存在指定的输出路径下。
支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam search解码场景 支持AdvanceStep算子，满足vllm投机推理场景 多个融合算子支持PTA图模式适配，满足AIGC场景
Scatter、Gather算子性能提升，满足MoE场景 昇腾随机数生成算子与GPU保持一致 支持GroupNorm+transpose+BMM融合算子 FFN推理算子支持geglu激活函数 支持配套pybind推理的10+算子（matmul 、swiglu、rope等） 配套CANN8
USE_VOCAB_PARALLEL #关闭词表切分开关 配置后重启服务生效。 Matmul_all_reduce融合算子。 使用Matmul_all_reduce融合算子能提升全量推理性能；该算子要求驱动和固件版本为Ascend HDK 24.1.RC1.B011及以上，默认不开启。如需开启，配置以下环境变量：
--warmUpLoopCount=100 --loopCount=100 图1 调优前模型 图2 调优后模型 AOE优化成功的mindir已经融合了优化的知识库，是一个独立可用的模型。即使AOE知识库删除，不影响该mindir的性能。可以备份这个模型优化产生的知识库，以后需要的话再使用。
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 新增random随机数算子，优化FFN算子，满足AIGC等场景 新增自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 新增CopyBlocks算子，满足vllm框架beam
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam
可以重写的方法有以下几种。 表2 重写方法 方法名 说明 __init__(self, model_name, model_path) 初始化方法，适用于深度学习框架模型。该方法内加载模型及标签等（pytorch和caffe类型模型必须重写，实现模型加载逻辑）。 __init__(self, model_path)
matmul、swiglu、rope等算子性能提升，支持vllm推理场景 支持random随机数算子，优化FFN算子，满足AIGC等场景 支持自定义交叉熵融合算子，满足BMTrain框架训练性能要求 优化PageAttention算子，满足vllm投机推理场景 支持CopyBlocks算子，满足vllm框架beam
欠拟合的解决方法有哪些？ 模型复杂化。 对同一个算法复杂化。例如回归模型添加更多的高次项，增加决策树的深度，增加神经网络的隐藏层数和隐藏单元数等。 弃用原来的算法，使用一个更加复杂的算法或模型。例如用神经网络来替代线性回归，用随机森林来代替决策树。 增加更多的特征，使输入数据具有更强的表达能力。
install.sh 安装torch-npu适配修改及优化脚本 --- model_modify.patch 优化模型融合算子git patch文件 --- modify.patch 适配优化MiniCPM-V2.0代码git patch文件
迁移环境准备 迁移环境准备有以下两种方式： 方式一 ModelArts Notebook：该环境为在线调试环境，主要面向演示、体验和快速原型调试场景。 优点：可快速、低成本地搭建环境，使用标准化容器镜像，官方notebook示例可直接运行。 缺点：由于是容器化环境因此不如裸机方式
功能总览 功能总览 全部 自动学习 Workflow 开发工具 算法管理 训练管理 AI应用管理 部署上线 镜像管理 资源池 AI Gallery ModelArts SDK 昇腾生态 自动学习 自动学习是帮助人们实现AI应用的低门槛、高灵活、零代码的定制化模型开发工具。自动学习
ModelArts计费模式概述 ModelArts服务提供包年/包月和按需计费两种计费模式，以满足不同场景下的用户需求。如您需要快速了解ModelArts服务不同计费模式的具体价格，请参见ModelArts价格详情。 包年/包月：一种预付费模式，即先付费再使用，按照订单的购买周期
增量模型训练 什么是增量训练 增量训练（Incremental Learning）是机器学习领域中的一种训练方法，它允许人工智能（AI）模型在已经学习了一定知识的基础上，增加新的训练数据到当前训练流程中，扩展当前模型的知识和能力，而不需要从头开始。 增量训练不需要一次性存储所有的
Lite功能介绍 ModelArts Lite基于软硬件深度结合、垂直优化，构建开放兼容、极致性价比、长稳可靠、超大规模的云原生AI算力集群，提供一站式开通、网络互联、高性能存储、集群管理等能力，满足AI高性能计算等场景需求。目前其已在大模型训练推理、自动驾驶、AIGC、内容审核等领域广泛得到应用。
IAM 介绍ModelArts所有功能涉及到的IAM权限配置。 IAM权限简介 如果您需要为企业中的员工设置不同的权限访问ModelArts资源，以达到不同员工之间的权限隔离，您可以使用统一身份认证服务（Identity and Access Management，简称IAM）进
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
