检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确保容器可以访问公网。 仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/m
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
制作推理镜像 获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.910-xxx.zip，并直接进入到llm_inference/ascend_vllm文件夹下面
pretrain # 预训练输出权重 |── tokenizers #原始权重及tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── Llama2-70B |── training_data
若您使用了CloudPond云服务，您可以在此处看到对应的边缘可用区。边缘可用区将云基础设施和云服务部署到企业现场，适合对应用访问时延、数据本地化留存及本地系统交互等有高要求的场景，可便捷地将云端丰富应用部署到本地，CloudPond介绍可参考产品介绍。 表3 集群配置参数说明 参数名称 说明
erLab界面，打开Terminal。 在Notebook中制作自定义镜像 首先配置鉴权信息，指定profile，根据提示输入账号、用户名及密码。鉴权更多信息请查看配置登录信息。 ma-cli configure --auth PWD -P xxx 执行env|grep -i C
您可以在资源池规格中选择对应的规格进行使用。 “模型来源” 根据您的实际情况选择“自定义模型”或者“订阅模型”。 “选择模型及版本” 选择状态“正常”的模型及版本。 “输入数据目录位置” 选择输入数据的OBS路径，即您上传数据的OBS目录。只能选择文件夹或“.manifest”文件。“
定义一个容器名称。 --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4进入容器 通过容器名
--device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4 进入容器 通过容器
--device=/dev/davinci7：挂载NPU设备，finetune全量微调示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step5 进入容器 通过容器
Command 启动本次训练作业的运行命令。例如“bash /home/work/run_train.sh python {python启动文件及参数}”。当“Algorithm source”选“Custom”时，显示此参数。 当用户输入的命令中不包含“--data_url”和“--
0：完成验收时，通过全部样本（包括单张驳回）。 1：完成验收时，驳回全部样本（包括单张通过）。 4：完成验收时, 只通过单张验收通过的样本及未处理的样本。 5：完成验收时, 只驳回单张验收驳回的样本及未处理的样本。 checking_stats CheckTaskStats object 验收任务实时验收报告。
7B”，单击操作列的“更多 > 删除”，在弹窗中输入“DELETE”，单击“确定”，删除模型。 进入OBS控制台，删除本示例使用的OBS桶及文件夹。
制作推理镜像 获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.911-xxx.zip和算子包AscendCloud-OPP-6.3.911-xxx
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
bf16: true fp16，配置以下参数 fp16: true 是否使用自定义数据集 是，参考准备数据（可选）后，填写自定义注册后数据集前缀名称及数据集绝对路径，参考表1dataset_dir行，如demo.json数据集前缀则为demo dataset: demo dataset_dir:
目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 进入容器。需要将${conta
0：完成验收时，通过全部样本（包括单张驳回）。 1：完成验收时，驳回全部样本（包括单张通过）。 4：完成验收时, 只通过单张验收通过的样本及未处理的样本。 5：完成验收时, 只驳回单张验收驳回的样本及未处理的样本。 checking_stats CheckTaskStats object 验收任务实时验收报告。
目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 --name ${contai
查看2中创建好的实例，确保其状态为“运行中”，单击操作列的“打开”，进入JupyterLab页面。JupyterLab详细操作请参见JupyterLab简介及常用操作。 创建一个ipynb文件。 图1 新建ipynb文件 然后执行如下命令。如果能成功导入，则表示环境准备完成。 from modelarts
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
