检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题:
介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题:
如果在滚动升级时要求不中断业务,那么必须在config.json文件中配置健康检查的接口,供ModelArts调用,在config.json文件中配置。当业务可提供正常服务时,健康检查接口返回健康状态,否则返回异常状态。 如果要实现无损滚动升级,必须配置健康检查接口。 自定义镜像如果需要在“在线服务”
} ] } 相关案例 更多权限配置案例如下,根据实际需要参考。 给子用户配置开发环境基本使用权限 给子用户配置训练作业基本使用权限 给子用户配置部署上线基本使用权限 管理员和开发者权限分离 限制用户使用公共资源池 给子用户配置文件夹级的SFS Turbo访问权限 查看所有子账号的Notebook实例
新版训练和旧版训练的差异主要体现在以下3点: 新旧版创建训练作业方式差异 新旧版训练代码适配的差异 新旧版训练预置引擎差异 新旧版创建训练作业方式差异 旧版训练支持使用“算法管理”(包含已保存的算法和订阅的算法)、“常用框架”、“自定义”(即自定义镜像)方式创建训练作业。 新版训练支持使用“自定义算法
介绍如何进行预训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 微调训练 SFT全参微调 介绍如何进行SFT全参微调,包括训练数据处理、超参配置、创建训练任务及性能查看。 LoRA微调训练 介绍如何进行LoRA微调训练,包括训练数据处理、超参配置、创建训练任务及性能查看。 父主题:
String 来源训练作业的版本。 source_type String 模型来源的类型。 当模型为自动学习部署过来时,取值为“auto”。 当模型是用户通过训练作业或OBS模型文件部署时,此值为空。 model_type String 模型类型,取值为:TensorFlow/MXNet
s管理控制台,完成权限管理配置,然后选择所需功能,直接使用即可。 ModelArts平台仅针对使用计算规格的功能才涉及计费,公共资源池全部为按需模式,根据选用规格以及作业运行时长收费。专属资源池可按需购买,也可选择包年包月购买,在运行训练作业或部署服务时,选择专属资源池,无需另外付费。
Standard Workflow Workflow是开发者基于实际业务场景开发用于部署模型或应用的流水线工具,核心是将完整的机器学习任务拆分为多步骤工作流,每个步骤都是一个可管理的组件,可以单独开发、优化、配置和自动化。Workflow有助于标准化机器学习模型生成流程,使团队能够大规模执行AI任务,并提高模型生成的效率。
健康检查:选填,用于指定模型的健康检查。仅当自定义镜像中配置了健康检查接口,才能配置“健康检查”,否则会导致模型创建失败。 apis定义:选填,用于编辑自定义镜像的apis定义。模型apis定义需要遵循ModelArts的填写规范,参见模型配置文件说明。 本样例的配置文件如下所示: [{
测试用户权限 由于权限配置需要等待15-30分钟生效,建议在配置完成后,等待30分钟,再执行如下验证操作。 使用用户组02中任意一个子用户登录ModelArts管理控制台。在登录页面,请使用“IAM用户登录”方式进行登录。 首次登录会提示修改密码,请根据界面提示进行修改。 验证ModelArts权限。
请联系您所在企业的华为方技术支持下载获取。 获取模型权重文件 获取对应模型的权重文件,获取链接参考表1。 权重文件下载有如下几种方式,但不仅限于以下方式: 方法一:网页下载:通过单击表格中权重文件获取地址的访问链接,即可在模型主页的Files and Version中下载文件。
昇腾云服务6.3.905版本说明 本文档主要介绍昇腾云服务6.3.905版本配套的镜像地址、软件包获取方式和支持的特性能力。 配套的基础镜像 镜像地址 获取方式 镜像软件说明 配套关系 PyTorch: 西南-贵阳一 swr.cn-southwest-2.myhuaweicloud
在左上角选择区域,区域需与授权配置中的区域相同。 在ModelArts左侧菜单栏中,选择“开发环境>Notebook”,界面未提示权限不足,表明ModelArts的使用权限和委托授权配置成功。 如果提示“需获取依赖服务的授权”,说明未配置ModelArts委托访问授权,请参考Step3 为用户配置Mod
需的规格和进行权限配置。随后,在ModelArts控制台上购买Lite Cluster资源。请参考Lite Cluster资源开通。 资源配置:完成资源购买后,需要对网络、存储、驱动进行相关配置。请参考Lite Cluster资源配置。 资源使用:完成资源配置后,您可以使用集群资
昇腾云服务6.3.909版本说明 本文档主要介绍昇腾云服务6.3.909版本配套的镜像地址、软件包获取方式和支持的特性能力。 当前版本仅适用于华为公有云。 配套的基础镜像 芯片 镜像地址 获取方式 镜像软件说明 配套关系 Snt9B 西南-贵阳一 PyTorch: swr.cn-southwest-2
当已有的数据处理任务不再使用时,您可以删除数据处理任务。 请注意,数据处理任务删除后不可恢复,请谨慎操作。 处于“完成”、“失败”、“已停止”、“运行失败”、“部署中”状态的训练作业,您可以单击操作列的“删除”,删除对应的数据处理任务。 查看数据处理任务详情 登录ModelArts管理控制台,在左侧的
Standard自动学习、Workflow、Notebook、模型训练、模型部署 Lite Cluster Lite Server Standard自动学习、Workflow、Notebook、模型训练、模型部署 变更计费模式 不支持 支持变更为包年/包月计费模式。 变更计费模式 变更规格
典型场景配置实践 个人用户快速配置ModelArts访问权限 配置ModelArts基本使用权限 给子账号配置开发环境基本使用权限 给子账号配置训练作业基本使用权限 给子账号配置部署上线基本使用权限 给子账号配置查看所有Notebook实例的权限 管理员和开发者权限分离 不允许子账号使用公共资源池创建作业
更新管理 ModelArts在线服务更新 对于已部署的推理服务,ModelArts支持通过更换模型的版本号,实现服务升级。 推理服务有三种升级模式:全量升级、滚动升级(扩实例)和滚动升级(缩实例)。了解三种升级模式的流程,请参见图1。 全量升级 需要额外的双倍的资源,先全量创建新版本实例,然后再下线旧版本实例。