检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.rc3。 DevServer驱动版本要求23.0.6 PyTorch版本：2.1.0 确保容器可以访问公网。 文档更新内容 6.3.908版本相对于6
本文档。 本文档中的模型运行环境是ModelArts Lite DevServer。 镜像适配的Cann版本是cann_8.0.RC3。 DevServer驱动版本要求23.0.6 PyTorch版本：2.2.0 Python版本：3.10 确保容器可以访问公网。 训练支持的模型列表
包含了本教程中使用到的模型训练代码、推理部署代码和推理评测代码。代码包具体说明请参见模型软件包结构说明。 AscendSpeed是用于模型并行计算的框架，其中包含了许多模型的输入处理方法。 获取路径：Support-E 请联系您所在企业的华为方技术支持下载获取。 表2 支持的模型类型和权重获取地址
假设用户于2023年4月1日10:00将创建AI应用需用到的模型包文件上传至OBS桶中。按照存储费用结算，那么创建的费用计算如下： 存储费用：创建AI应用的模型包文件通过对象存储服务（OBS）上传或导出，存储计费按照OBS的计费规则。具体费用可参见对象存储价格详情。 综上，AI应用的费用 =
/json” data 在线服务-非必选 批量服务-必选 String 请求体以json schema描述。参数说明请参考官方指导。 表5 response结构说明 参数 是否必选 参数类型 描述 Content-type 在线服务-非必选 批量服务-必选 String data
版本配套关系使用本文档。 本文档中的模型运行环境是ModelArts Lite Server。 镜像适配的Cann版本是cann_8.0.rc3。 Lite Server驱动版本要求23.0.6 PyTorch版本：2.1.0 确保容器可以访问公网。 文档更新内容 6.3.909版本相对于6
户的授权内容，查看授权详情。如果没有对应权限，需要到统一身份认证服务给对应委托中加上对应权限。 图1 权限管理 图2 查看权限详情和去IAM修改委托权限 图3 给委托添加授权 将镜像设置成私有镜像 登录容器镜像服务（SWR），左侧导航栏选择“我的镜像”，查看镜像详情，单击右上角“编辑”按钮，把镜像类型修改为“私有”。
P，并打开节点的安全组配置，添加入方向规则，允许外部访问9090端口。 如果使用Grafana对接Prometheus制作报表，可以将Grafana部署在集群内，这里不需要对Prometheus绑定公网IP和配置安全组，只需要对Grafana绑定公网IP和配置安全组即可。 在浏览
池的完全控制权限，以及Notebook所有实例的访问和操作权限。 普通开发者使用开发环境，只需关注对自己Notebook实例的操作权限，包括对自己实例的创建、启动、停止、删除等权限以及周边依赖服务的权限。普通开发者不需要ModelArts专属资源池的操作权限，也不需要查看其他用户的Notebook实例。
盘至“/cache”目录，用户可以使用此目录来储存临时文件。 当前开发环境的cache盘使用时，没有容量告警，在使用时很容易超过限制，并直接重启Notebook实例。重启后多种配置重置，会导致用户数据丢弃，环境丢失，造成很不好的使用体验。因此需要提供cache盘使用情况的监控和告警，并将数据上报至AOM平台。
配置授权 功能介绍 配置ModelArts授权。若没有授权，ModelArts训练管理、开发环境、数据管理、在线服务等功能将不能正常使用。该API支持管理员给IAM子用户设置委托，支持设置当前用户的访问密钥。调用该API需要在IAM系统里配置Security Administrator权限。
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
module_file.py 训练作业导入模块时日志出现“ImportError: No module named xxx”的报错，可以判断是环境中没有包含用户依赖的python包。 处理方法 训练作业导入模块时日志出现前两条报错信息，处理方法如下： 首先保证被导入的module中有“__init__
ile一同出现。 boot_file String 算法的代码启动文件，需要在代码目录下。如：“/usr/app/boot.py”。应与code_dir一同出现。 command String 自定义镜像算法的容器启动命令。 parameters Array of Parameter
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 相关文档 和本文档配套的模
#安装opencompass脚本 ├──vllm_api.py #启动vllm api服务器 ├──vllm.py #构造vllm评测配置脚本名字 父主题： 准备工作
0-cp36-cp36m-manylinux1_x86_64.whl 方式二：可以在启动文件添加如下代码安装依赖包： import os os.system('pip install xxx') 方式一在训练作业启动前即可完成相关依赖包的下载与安装，而方式二是运行启动文件过程中进行依赖包的下载与安装。 检查依赖包路径是否能被识别
如何安装第三方包，安装报错的处理方法 问题现象 ModelArts如何安装自定义库函数，例如“apex”。 ModelArts训练环境安装第三方包时出现如下报错： xxx.whl is not a supported wheel on this platform 原因分析 由于安装的文件名格式不支持，导致出现“xxx
|── install.sh # 环境部署脚本 |——src/ # 启动命令行封装脚本，在install.sh里面自动构建 |──llm_inference
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
