检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户的自定义镜像中的ascend相关工具不可用，导致预检失败。 处理方法 通过给训练作业加环境变量“MA_DETECT_TRAIN_INJECT_CODE”并将对应的值设置成0，就可以将预检功能关闭。环境变量说明参考查看训练容器环境变量。 父主题： Ascend相关问题
查询训练作业列表 功能介绍 根据指定条件查询用户创建的训练作业。 URI GET /v1/{project_id}/training-jobs 参数说明如表1所示。 表1 路径参数 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。
启动SD1.5 LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。 sh diffusers_lora_train.sh 启动SDXL LoRA训练服务 使用ma-user用户执行如下命令运行训练脚本。
user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名，代表服务的部署区域。
user_name为IAM用户名。 user_password为用户登录密码。 domain_name为用户所属的帐号名。 cn-north-1为项目名，代表服务的部署区域。
通过OBS导入模型时，如何编写打印日志代码才能在ModelArts日志查询界面看到日志 问题现象 用户通过OBS导入模型时，选择使用基础镜像，用户自己编写了部分推理代码实现自己的推理逻辑，出现故障后希望通过故障日志排查定位故障原因，但是通过logger打印日志无法在“在线服务”的日志中查看到部分内容
本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
帮助用户使能大模型业务。
本方案利用适配昇腾平台的大模型推理服务框架vLLM和华为自研昇腾Snt9B硬件，为用户提供推理部署方案，帮助用户使能大模型业务。 约束限制 本方案目前仅适用于部分企业客户。
准备资源 创建专属资源池 本文档中的模型运行环境是ModelArts Standard，用户需要购买专属资源池，具体步骤请参考创建资源池。 资源规格要求： 计算规格：用户可参考表1。 硬盘空间：至少200GB。
帮助用户使能大模型业务。
约束限制 确保容器可以访问公网。 使用opencompass工具需用vllm接口启动在线服务。 当前的精度测试仅适用于语言模型精度验证，不适用于多模态模型的精度验证。
操作步骤 登录ModelArts管理控制台，选择“开发空间>Notebook”。 创建Notebook实例之后，在Notebook列表中，单击目标Notebook“操作”列的“打开”，进入“JupyterLab”开发页面。
导入模型提示该账号受限或者没有操作权限 问题现象 在导入AI应用时，提示用户账号受限。 原因分析 提示用户账号受限，常见原因有如下几种： 导入模型账号欠费导致被冻结； 导入模型账号没有对应工作空间的权限； 导入模型账号为子账号，主账号没有给子账号赋予模型相关权限。
表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。 请求消息 请求参数如表2所示。
表1 参数说明 参数 是否必选 参数类型 说明 project_id 是 String 用户项目ID。获取方法请参见获取项目ID和名称。
invocation_times Number 模型实例的总调用次数。 failed_times Number 模型实例调用失败次数。 cpu_core_usage Float 已使用CPU核数。 cpu_core_total Float 总CPU核数。
原因分析 用户的专属资源池没有进行网络打通，或者用户没有创建过SFS。 处理方法 在专属资源池列表中，单击资源池“ID/名称”，进入详情页。单击右上角“配置NAS VPC”，检查是否开启了NAS VPC。
扩容实例数或者选择性能更好的“计算节点规格”，例如使用GPU资源代替CPU资源，提升服务处理能力。
处理方法 可参考链接的内容，根据PyTorch和CUDA版本安装对应版本的MMCV。 父主题： 预置算法运行故障
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
