检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
下载whl文件“mindspore-2.1.1-cp37-cp37m-linux_aarch64.whl”（下载链接）。 ModelArts当前仅支持CANN商用版本，不支持社区版。 下载Miniconda3安装文件。 使用地址https://repo.anaconda.com/miniconda/Miniconda3-py37_4
= list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格，会根据参数args.json_keys的设置，从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00
= list(map(lambda x: x['input_ids'], sample[key])) return sample 支持的是预训练数据风格，会根据参数args.json_keys的设置，从数据集中找到对应关键字的文本内容。例如本案例中提供的 train-00
服务的免费体验过程。 第三方推理框架迁移到ModelArts Standard推理自定义引擎 第三方框架 推理部署 - ModelArts支持第三方的推理框架在ModelArts上部署，本文以TFServing框架、Triton框架为例，介绍如何迁移到推理自定义引擎。 第三方案例列表
预训练任务 Step1 上传训练权重文件和数据集 如果在准备代码和数据阶段已经上传权重文件和数据集到容器中，可以忽略此步骤。 如果未上传训练权重文件和数据集到容器中，具体参考上传代码和权重文件到工作环境和上传数据到指定目录章节完成。训练脚本中会自动执行训练前的权重转换操作和数据处理操作。
NPU，即神经网络处理器，是专门为加速神经网络计算而设计的硬件。与GPU相比，NPU在神经网络计算方面具有更高的效率和更低的功耗。 密钥对 弹性裸金属支持SSH密钥对的方式进行登录，用户无需输入密码就可以登录到弹性裸金属服务器，因此可以防止由于密码被拦截、破解造成的账户密码泄露，从而提高弹性裸金属服务器的安全性。
在数据集管理中，对难例的管理有如下场景。 智能标注后，确认难例 将数据集中的数据标注为难例 目前只有“图像分类”和“物体检测”类型的数据集支持难例发现功能。 智能标注后，确认难例 “智能标注”任务执行过程中，ModelArts将自动识别难例，并完成标注。当智能标注结束后，难例标注
成委托授权，由ModelArts为用户自动创建委托并配置到ModelArts服务中。 本章节主要介绍一键式自动授权方式。一键式自动授权方式支持给IAM子用户、联邦用户（虚拟IAM用户）、委托用户和所有用户授权。 约束与限制 华为云账号 只有华为云账号可以使用委托授权，可以为当前账
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 在Notebook中修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参
预训练 前提条件 已上传训练代码、训练权重文件和数据集到SFS Turbo中。 Step1 修改训练超参配置 以llama2-13b预训练为例，执行脚本0_pl_pretrain_13b.sh。 修改模型训练脚本中的超参配置，必须修改的参数如表1所示。其他超参均有默认值，可以参考表1按照实际需求修改。
准备镜像 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
准备镜像 准备训练模型适用的容器镜像，包括获取镜像地址，了解镜像中包含的各类固件版本，配置物理机环境操作。 镜像地址 本教程中用到的训练和推理的基础镜像地址和配套版本关系如下表所示，请提前了解。 表1 基础容器镜像地址 镜像用途 镜像地址 基础镜像 swr.cn-southwest-2
基础知识。 CCE 云容器引擎（Cloud Container Engine，简称CCE）是一个企业级的Kubernetes集群托管服务，支持容器化应用的全生命周期管理，为您提供高度可扩展的、高性能的云原生应用部署和管理方案。CCE官网文档可参考云容器引擎。 BMS 裸金属服务器（Bare
如果训练启动脚本用的是sh文件，例如“main.sh”，则启动命令如下所示。 bash ${MA_JOB_DIR}/demo-code/main.sh 启动命令支持使用“;”和“&&”拼接多条命令，命令中的“demo-code”为存放代码目录的最后一级OBS目录，以实际情况为准。 本地代码目录 指定训
description="是否进行数据清洗, 数据格式异常会导致训练失败，建议开启，保证训练稳定性。数据量过大时，数据清洗可能耗时较久，可自行线下清洗（支持BMP.JPEG,PNG格式, RGB三通道）。建议用JPEG格式数据")), wf.AlgorithmParam
制为64字符)。同一个Step的输入名称不能重复 是 str data 数据集标注节点的输入数据对象 是 数据集或标注任务相关对象，当前仅支持Dataset， DatasetConsumption， DatasetPlaceholder，LabelTask，LabelTaskPl
│╰─────────────────────────────────────────────────────────────────────╯ 具体支持如下使用场景： 上传单个文件 上传多个文件 上传单个文件到指定仓库目录 上传整个文件夹 准备工作 获取“repo_id”和待上传的文件名。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
