检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MindSpore：MindSpore 2.3.0 FrameworkPTAdapter：6.0.RC3 如果用到CCE，版本要求是CCE Turbo v1.28及以上 软件包获取地址 软件包名称 软件包说明 获取地址 AscendCloud-6.3.908-xxx.zip 包含 三方大模型训练和推理代码包：AscendCloud-LLM
制作推理镜像 获取模型软件包，并上传到机器SFS Turbo的目录下（可自定义路径），获取地址参考表1。 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6.3.909-xxx.zip，并直接进入到llm_inference/ascend_vllm文件夹下面
进行查看，或者对于模型结构中的输入进行shape的打印，并明确输入的batch。 一般来说，推理时指定的inputShape是和用户的业务及推理场景是紧密相关的，可以通过原始模型推理脚本或者网络模型进行判断。需要把Notebook中的模型下载到本地后，再放入netron官网中，查看其inputShape。
Gallery仓库的存储空间。 在资产详情页，选择“设置”页签。 在“删除资产”处，单击“删除”按钮，确认后资产将被删除。 删除操作不可撤销，执行此操作后该资产及相关文件将被永久删除，请谨慎操作。 已被订阅的资产不可用删除。 父主题： 发布和管理AI Gallery模型
├── pretrain #预训练输出权重 ├── tokenizers #原始权重及tokenizer目录 ├── Qwen-14B #请根据实际模型命名，Qwen-7B、Qwen-14B或Qwen-72B
目录为ma-user用户家目录。如果容器挂载到/home/ma-user下，拉起容器时会与基础镜像冲突，导致基础镜像不可用。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 ${image_name} 为
若您使用了CloudPond云服务，您可以在此处看到对应的边缘可用区。边缘可用区将云基础设施和云服务部署到企业现场，适合对应用访问时延、数据本地化留存及本地系统交互等有高要求的场景，可便捷地将云端丰富应用部署到本地，CloudPond介绍可参考产品介绍。 表3 规格配置参数说明 参数名称 说明
文件输入形式的预测结果样例如图5所示，返回结果的字段值根据不同AI应用可能有所不同。 文本输入形式的预测结果样例如图6所示，请求体包含“meta”及“data”。如输入请求中包含“uuid”，则输出结果中回传此“uuid”。如未输入，则为空。“data”包含了一个“resp_data”的
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 3.权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h 步骤四 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
数据集版本，默认按V001、V002递增规则进行命名，您也可以在发布时自定义设置。 您可以将任意一个版本设置为当前目录，即表示数据集列表中进入的数据集详情，为此版本的数据及标注信息。 针对每一个数据集版本，您可以通过“存储路径”参数，获得此版本对应的Manifest文件格式的数据集。可用于导入数据或难例筛选操作。
Command 启动本次训练作业的运行命令。例如“bash /home/work/run_train.sh python {python启动文件及参数}”。当“Algorithm source”选“Custom”时，显示此参数。 当用户输入的命令中不包含“--data_url”和“--
--device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4 进入容器 通过容器
确保容器可以访问公网。 仅支持313T、376T、400T 训练支持的模型列表 本方案支持以下模型的训练，如表1所示。 表1 支持的模型列表及权重文件地址 支持模型 支持模型参数量 权重文件获取地址 Llama2 llama2-7b https://huggingface.co/m
如果使用模型训练后的权重文件进行推理，模型训练及训练后的权重文件转换操作可以参考相关文档章节中提供的模型训练文档。 权重要求放在磁盘的指定目录，并做目录大小检查，参考命令如下： df -h Step4 制作推理镜像 解压AscendCloud压缩包及该目录下的推理代码AscendCloud-LLM-6
--device=/dev/davinci7：挂载NPU设备，示例中挂载了8张卡davinci0~davinci7。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4 进入容器 通过容器
pretrain # 预训练输出权重 |── tokenizers #原始权重及tokenizer目录，需要用户手动创建，后续操作步骤中会提示 |── Llama2-70B |── training_data
erLab界面，打开Terminal。 在Notebook中制作自定义镜像 首先配置鉴权信息，指定profile，根据提示输入账号、用户名及密码。鉴权更多信息请查看配置登录信息。 ma-cli configure --auth PWD -P xxx 执行env|grep -i C
表1 参数说明 参数名称 说明 “AI应用来源” 根据您的实际情况选择“自定义应用”或者“订阅应用”。 “选择AI应用及版本” 选择状态“正常”的AI应用及版本。 “输入数据目录位置” 选择输入数据的OBS路径，即您上传数据的OBS目录。只能选择文件夹或“.manifest”文件。“
定义一个容器名称。 --device=/dev/davinci0：挂载NPU设备，该推理示例中挂载了1张卡davinci0。 driver及npu-smi需同时挂载至容器。 不要将多个容器绑到同一个NPU上，会导致后续的容器无法正常使用NPU功能。 Step4进入容器 通过容器名
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
