检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
PYTORCH_NPU_ALLOC_CONF=expandable_segments:False；llava多卡启动时需要关闭虚拟内存扩展；开启时可能提升模型性能。允许分配器最初创建一个段，然后在以后需要更多内存时扩展它的大小。 --image-input-type：图像输入模式，pixel_values
大长度，模型启动参数--max-input-length值需要大于该值。 --max-prompt-tokens：输入限制的最大长度，推理时最大输入tokens数量，模型启动参数--max-total-tokens值需要大于该值，tokenizer建议带tokenizer.json的FastTokenizer。
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask
NPU_Flash_Attn融合算子约束 query、key、value都需要梯度。默认开启重计算，则前向时qkv没有梯度，如果需要关闭重计算，可以在yaml配置 `disable_gradient_checkpointing: true` 关闭，但显存占用会直线上升。 attn_mask
由于ModelArts的使用权限依赖OBS服务的授权，您需要为用户授予OBS的系统权限。 如果您需要授予用户ModelArts的操作权限以及依赖服务的操作权限，请参见配置ModelArts Standard基础操作权限。 如果您需要对用户使用ModelArts的操作权限和依赖服务的权
不同实例的资源池安装的cuda和驱动版本号分别是什么？ 专属资源池的cuda和驱动版本是可以根据用户的要求安装。如果需要调整，需提工单。 父主题： Standard资源池
failed 问题现象 日志提示：Compile graph failed。 图1 报错提示 原因分析 模型转换时未指定Ascend后端。 处理方法 需要在模型转换阶段指定“--device=Ascend”。 父主题： 常见问题
使用OBS导入元模型，会用到服务侧的标准镜像，标准镜像里面没有CV2依赖的so的内容。所以ModelArts不支持从对象存储服务（OBS）导入CV2模型包。 处理方法 需要您把CV2包制作为自定义镜像，上传至容器镜像服务（SWR），选择从容器镜像中导入元模型，部署在线服务。如何制作自定义镜像请参考从0-1制作自定义镜像并创建AI应用。
在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 ChatGLMv3-6B 在训练开始前，针对ChatGLMv3-6B模型中的tokenizer文件，需要修改代码。
在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 ChatGLMv3-6B 在训练开始前，针对ChatGLMv3-6B模型中的tokenizer文件，需要修改代码。
原因为Github已取消密码授权方式，此时在git clone私有仓库和git push文件时需要在授权方式框中输入token。 解决方案 使用token替换原先的密码授权方式，在git clone私有仓库和git push文件时，需要在授权方式框中输入token（见下图）；具体获取token方式请参考查看GitHub中Personal
当模型配置文件中定义了具体的端口号，例如：8443，创建AI应用没有配置端口（默认端口号为8080），或者配置了其他端口号，均会导致服务部署失败。您需要把AI应用中的端口号配置为8443，才能保证服务部署成功。 修改默认端口号，具体操作如下： 登录ModelArts控制台，左侧菜单选择“AI应用管理
Qwen-14B和Qwen-72B模型框架创建模型时（模型名字必须一致），如果使用自定义模型权重文件，则需要修改权重配置才能正常运行模型；如果使用推荐的模型权重文件，则不需要修改权重配置，可以跳过该步骤。修改后的权重文件要更新至OBS桶中。 ChatGLM3-6B、GLM-4-9B
个人用户快速配置ModelArts访问权限 ModelArts使用过程中涉及到OBS、SWR等服务交互，需要用户配置委托授权，允许ModelArts访问这些依赖服务。如果没有授权，ModelArts的部分功能将不能正常使用。 约束与限制 只有主账号可以使用委托授权，可以为当前账号
模型基础设置里的“任务类型”选择除“文本问答”和“文本生成”之外的类型。 上传模型文件时需要确认待上传的文件是否满足自定义模型规范。如果模型要支持训练，则需要满足自定义模型规范（训练）；如果模型要支持推理，则需要满足自定义模型规范（推理）。 发布模型到AI Gallery。 使用AI Gallery微调大师训练模型或使用AI
已准备好Lite k8s Cluster环境，具体参考准备环境。推荐使用“西南-贵阳一”Region上的Cluster和昇腾Snt9b资源。 安装过程需要连接互联网git clone，确保集群可以访问公网。 Step1 上传权重文件 将权重文件上传到集群节点机器中。权重文件的格式要求为Hug
运行完后，会安装适配昇腾的vllm-0.4.2版本。 Step6 启动推理服务 配置需要使用的NPU卡编号。例如：实际使用的是第1张卡，此处填写“0”。 export ASCEND_RT_VISIBLE_DEVICES=0 如果启动服务需要使用多张卡，例如：实际使用的是第1张和第2张卡，此处填写为“0
6。如果不符合要求请参考安装固件和驱动章节升级驱动。启动后容器默认端口是8080。 配置需要使用的NPU卡为容器中的第几张卡。例如：实际使用的是容器中第1张卡，此处填写“0”。 export ASCEND_RT_VISIBLE_DEVICES=0 如果启动服务需要使用多张卡，则按容器中的卡号依次编排。例如：实际使用
Schema信息表示表格的列名和对应类型，需要跟导入数据的列数保持一致。 若您的原始表格中已包含表头，需要开启“导入是否包含表头”开关，系统会导入文件的第一行（表头）作为列名，无需再手动修改Schema信息。 若您的原始表格中没有表头，需要关闭“导入是否包含表头”开关，从OBS选择
在训练开始前，需要针对模型的tokenizer文件进行修改，不同模型的tokenizer文件修改内容如下，您可在创建的Notebook中对tokenizer文件进行编辑。 ChatGLMv3-6B 在训练开始前，针对ChatGLMv3-6B模型中的tokenizer文件，需要修改代码。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
