检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置需要使用的NPU卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 步骤一：配置精度测试环境 精度评测可以在原先conda环境，进入到一个固定目录下，执行如下命令。 rm -rf lm-evaluation-harness/
|──scripts/ # 训练需要的启动脚本 # 自动生成数据目录结构 |── processed_for_input #目录结构会自动生成，无需用户创建 |── ${model_name}
提供posix协议的文件系统； 需要和资源池在同一个VPC下或VPC互通； 价格较高。 静态挂载 动态挂载：不支持 SFS 适用于多读多写场景的持久化存储。 适用大容量扩展以及成本敏感型的业务场景，包括媒体处理、内容管理、大数据分析和分析工作负载程序等。 SFS容量型文件系统不适合海量小文件业务。
务类型管理页面。 在服务列表中，单击目标服务操作列的“修改”，修改服务基本信息，然后根据提示提交修改任务。 当修改了服务的某些参数配置时，系统会自动重启服务使修改生效。在提交修改服务任务时，如果涉及重启，会有弹窗提醒。批量服务参数说明请参见将模型部署为批量推理服务。 方式二：通过服务详情页面修改服务信息
代理和网络配置。 检查模型是否启动成功或者模型处理单个消息的时长。因APIG（API网关）的限制，模型单次预测的时间不能超过40S，超过后系统会默认返回Timeout错误。 父主题： 服务预测
自动学习/Workflow计费项 计费说明 在ModelArts自动学习和Workflow中进行模型训练和推理时，会使用计算资源和存储资源，会产生计算资源和存储资源的累计值计费。具体内容如表1所示。 计算资源费用： 如果运行自动学习作业/Workflow工作流时，使用专属资源池进行模型训练和推理，计算资源不计费。
nci5。 -v ${dir}:${container_work_dir} 代表需要在容器中挂载宿主机的目录。宿主机和容器使用不同的大文件系统，dir为宿主机中文件目录，${container_work_dir}为要挂载到的容器中的目录。为方便两个地址可以相同。 说明： 容器不能
执行代码存放的OBS地址，默认值为空，名称固定为“customize_service.py”。 推理代码文件需存放在模型“model”目录。该字段不需要填，系统也能自动识别出model目录下的推理代码。 否 str dependencies 推理代码及模型需安装的包，默认为空。从配置文件读取。 否
况为准。 本地代码目录 指定训练容器的本地目录，启动训练时系统会将代码目录下载至此目录。 此参数可选，默认本地代码目录为“/home/ma-user/modelarts/user-job-dir”。 工作目录 训练时，系统会自动cd到此目录下执行启动文件。 父主题： 制作自定义镜像用于训练模型
TP×PP×CP)的值进行整除。 Step4 开启训练故障自动重启功能 创建训练作业时，可开启自动重启功能。当环境问题导致训练作业异常时，系统将自动修复异常或隔离节点，并重启训练作业，提高训练成功率。为了避免丢失训练进度、浪费算力。此功能已适配断点续训练。 图2 开启故障重启 断
处理方法 将requirements.txt中的Unidecode改为unidecode。 建议与总结 您可以在训练代码里添加一行： os.system('pip list') 然后运行训练作业，查看日志中是否有所需要的模块。 父主题： 业务代码问题
2763 训练作业日志中提示 “AttributeError: module '***' has no attribute '***'” 系统容器异常退出 父主题： 训练作业
count Integer 当前查询结果的服务数量，不设置offset、limit查询参数时，count与total相同。 services service结构数组 查询到的服务集合。 表3 service结构 参数 参数类型 描述 service_id String 服务ID。
配置需要使用的NPU卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 步骤一：配置精度测试环境 精度评测可以在原先conda环境，进入到一个固定目录下，执行如下命令。 rm -rf lm-evaluation-harness/
upyterLab上传下载功能。 带EVS存储的Notebook实例 JupyterLab文件默认存储路径，为创建Notebook实例时，系统自动分配的EVS空间。 在文件列表的所有文件读写操作都是基于所选择的EVS下的内容操作的。使用EVS类型的挂载，可将大数据挂载至“~/work”目录下。
配置需要使用的NPU卡，例如：实际使用的是第1张和第2张卡，此处填写为“0,1”，以此类推。 export ASCEND_RT_VISIBLE_DEVICES=0,1 步骤一：配置精度测试环境 精度评测可以在原先conda环境，进入到一个固定目录下，执行如下命令。 rm -rf lm-evaluation-harness/
多卡推理启动如下，ASCEND_RT_VISIBLE_DEVICES表示容器内的卡号。 cd aigc_inference/torch_npu/diffusers/0_21_2/ascend_diffusers ASCEND_RT_VISIBLE_DEVICES=0,1 python -m torch
completion", "created": 1723190150, "model": "Qwen2-7B", "choices": [ { "index": 0, "message": {
基于昇腾、Dockerhub官网等官方开源的镜像制作，开源镜像需要满足如下操作系统约束： x86：Ubuntu18.04、Ubuntu20.04 ARM：Euler2.8.3、Euler2.10.7 Ubuntu20.04.6可能有兼容性问题，请优先使用低于该版本的操作系统。 不满足以上镜像规范，所制作的镜像使用
runtime没有找到。 处理方法 建议您按以下步骤排查处理： 确认部署在线服务时是否选择了GPU规格。 在customize_service.py中添加一行代码os.system('nvcc -V)查看该镜像的cuda版本（customize_service.py编写指导请见模型推理代码编写说明）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
