检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在版本列表单击“部署”，可以将订阅的ModelArts模型部署为“在线服务”、“批量服务”或“边缘服务”，详细操作步骤请参见部署服务。
安装Docker。 以Linux aarch64架构的操作系统为例，获取Docker安装包。您可以使用以下指令安装Docker。关于安装Docker的更多指导内容参见Docker官方文档。
没安装nvidia-fabricmanager组件或被误卸载。 处理方法 如果未安装fabricmanager，则需安装改组件。 如果已安装fabricmanager，运行以下命令重启fabricmanager.service。
但是如果nvidia和cuda是使用runfile(local)方式安装的，那么需要在下一步中再次卸载。 若使用nvidia run包直接安装的驱动，需要找到对应的卸载命令。
启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。 在目录下执行如下命令，即可安装 EAGLE。
步骤一：安装Eagle Eagle训练适配代码存放在代码包AscendCloud-LLM-x.x.x.zip的llm_tools/spec_decode/EAGLE目录下。 在目录下执行如下命令，即可安装 EAGLE。
启动vLLM前，请开启图模式（参考步骤六 启动推理服务中的配置环境变量），启动服务的命令和启动非量化模型一致。 父主题： 推理模型量化
/config/resnet50_imagenet2012_config.yaml --epoch_size=1 --device_target="Ascend" 图17 配置云端python解释器 云端Notebook安装依赖。
注意：样例为4机部署配置，如果是2机部署则需要删除多余的配置，仅保留2机16卡的配置。 设置rank_table_file.json文件权限。进入rank_table_file.json文件存放目录${path-to-file}，执行如下命令。
图2 创建镜像组织 Step3 安装Docker 检查docker是否安装。 docker -v #检查docker是否安装 如尚未安装，运行以下命令安装docker。 yum install -y docker 配置IP转发，用于容器内的网络访问。
步骤五：安装Grafana 运行社区最新发行的Grafana版本： docker run -d -p 3000:3000 grafana/grafana-oss 在BMS页面打开Grafana所在节点的安全组配置，添加入方向规则，允许外部访问3000、9090端口： 在浏览器地址栏输入
string 是 - - --config_path 指定模型配置文件路径。 string 否 - tailor支持动态分档转换功能，需要指定配置文件路径，需要注意即便有配置文件，只要是动态模型就需要指定--input_shape参数。
安装和卸载放在同一层，不要跨层删除。
具体操作请参考配置网络。 配置VM环境。 在docker机器中，使用如下命令下载安装脚本。
named module_dir ImportError: No module named xxx 原因分析 训练作业导入模块时日志出现前两条报错信息，可能原因如下： 代码如果在本地运行，需要将“project_dir”加入到PYTHONPATH或者将整个“project_dir”安装到
首先安装社区Msprobe工具，命令如下： pip install mindstudio-probe 使能工具进行数据Dump分析。
确认该cuda版本与您安装的mmcv版本是否匹配。 部署时是否需要使用GPU，取决于的模型需要用到CPU还是GPU，以及推理脚本如何编写。 父主题： 服务部署
在Lite Cluster资源池上使用Snt9B完成分布式训练任务 场景描述 本案例介绍如何在Snt9B上进行分布式训练任务，其中Cluster资源池已经默认安装volcano调度器，训练任务默认使用volcano job形式下发lite池集群。
场景三： 当前无可使用的镜像，需要从0制作镜像（既需要安装代码依赖，又需要制作出的镜像满足ModelArts平台约束）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
