检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
不同模型推理支持最小卡数和最大序列说明章节。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6
版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
的容器镜像构建操作。 不建议在容器内再创建多个conda env。因为容器已经能满足隔离需求，没有必要再通过conda env做隔离。 本教程通过打包conda env来构建环境，也可以通过pip install、conda install等方式安装conda环境的依赖。 更多M
不同模型推理支持最小卡数和最大序列说明章节。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6
不同模型推理支持最小卡数和最大序列说明章节。 操作流程 图1 操作流程图 表2 操作任务流程说明 阶段 任务 说明 准备工作 准备资源 本教程案例是基于ModelArts Standard运行，需要购买ModelArts专属资源池。 准备权重 准备对应模型的权重文件。 准备代码 准备AscendCloud-6
文档。 附：decord在arm版本安装参考 由于训练使用decord的Python包没有arm版本，请自行进行编译安装，以下给出安装编译教程仅供参考： decord包编译 可参考如下脚本： bash install_decord.sh # install_decord.sh内容如下
版本。 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
rc1-py_3.9-hce_2.0.2312-aarch64-snt9b-20240516142953-ca51f42 从SWR拉取。 获取软件 本教程使用的是Open-clip源码包。 昇腾适配过程通过修改训练脚本方式实现，不涉及其他软件获取。 Step1 准备环境 请参考DevServ
获取路径：Support-E 说明： 如果上述软件获取路径打开后未显示相应的软件信息，说明您没有下载权限，请联系您所在企业的华为方技术支持下载获取。 镜像版本 本教程中用到基础镜像地址和配套版本关系如下表所示，请提前了解。 表2 基础容器镜像地址 配套软件版本 镜像用途 镜像地址 配套 获取方式 6.3
for i in $(seq 0 7);do hccn_tool -i $i -net_health -g;done 容器化个人调测环境搭建 准备业务基础镜像。 当前推荐的开发模式是在物理机上启动自己的docker容器进行开发。容器镜像可以使用自己的实际业务镜像，也可以使用Mo
附：decord和triton在arm版本安装参考 由于训练使用decord和triton的Python包没有arm版本，请自行进行编译安装，以下给出安装编译教程仅供参考： decord包编译 可参考如下脚本： bash install_decord.sh # install_decord.sh内容如下
技术），这使得模型可以感知到小物体、密集文字等更加细粒度的视觉信息。 高效部署。MiniCPM-V2.0可以高效部署在大多数消费级显卡、个人电脑以及移动手机等终端设备。 双语支持。MiniCPM-V2.0提供领先的中英双语多模态能力支持。 该能力通过VisCPM [ICLR'24]论文中提出的多模态能力的跨语言泛化技术实现。
练作业。 ubuntu-18.04 cann-6.3.RC2 (商用版本) python-3.7.13 mindspore-2.1.1 本教程以cann-6.3.RC2、mindspore-2.1.1为例介绍。 本示例仅用于示意Ascend容器镜像制作流程，且在匹配正确的Asce
MODEL_NAME model ENTRYPOINT [] CMD /bin/bash /home/mind/run.sh Triton框架迁移操作步骤 本教程基于nvidia官方提供的nvcr.io/nvidia/tritonserver:23.03-py3镜像进行适配，使用开源大模型llama7b进行推理任务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
