检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
服务状态一直处于“部署中” 问题现象 服务状态一直处于“部署中”，查看模型日志未发现服务有明显错误。 原因分析 一般情况都是模型的端口配置有问题。建议您首先检查创建模型的端口是否正确。 处理方法 模型的端口没有配置，如您在自定义镜像配置文件中修改了端口号，需要在部署模型时，配置对应的端口号，使新的模型重新部署服务。
作请参见《对象存储服务快速入门》。 您在创建OBS桶时，需保证您的OBS桶与ModelArts在同一个区域。如何查看OBS桶与ModelArts的所处区域，请参见查看OBS桶与ModelArts是否在同一区域。 建议根据业务情况及使用习惯，选择OBS使用方法。 如果您的数据量较小
est格式存储在“数据集输出位置”对应的OBS路径下。 路径获取方式： 在ModelArts管理控制台，进入“数据管理>数据集”。 选择需查看数据集，单击名称左侧小三角，展开数据集详情。可获得“数据集输出位置”指定的OBS路径。 进入OBS管理控制台，根据上述步骤获得的路径，找到
容器中挂载存储有多种方式，不同的场景下推荐的存储方式不一样，详情如表1所示。容器存储的基础知识了解请参见存储基础知识，有助您理解本章节内容。您可查看数据盘空间分配说明，了解节点数据盘空间分配的情况，以便您根据业务实际情况配置数据盘大小。 表1 容器挂载存储的方式及差异 容器挂载存储的方式
件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
文件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下代码信息进行查找，修改后如图2所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下文代码信息进行查找，修改后如图2所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下文代码信息进行查找，修改后如图2所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
通过CloudShell登录到Linux工作页面，检查GPU工作情况： 通过输入“nvidia-smi”命令，查看GPU工作是否异常。 通过输入“nvidia-smi -q -d TEMPERATURE”命令， 查看TEMP参数是否存在异常， 如果温度过高，会导致训练性能下降。 父主题： 训练作业性能问题
rts >Training Job > Stop ”停止训练作业。 图6 停止作业 查看训练日志 查看训练日志有2种方式，在OBS查看和在PyCharm ToolKit工具中查看。 在OBS查看训练日志 提交训练作业时，系统将自动在您配置的OBS Path中，使用作业名称创建一个
Ascend-vLLM介绍 Ascend-vLLM概述 vLLM是GPU平台上广受欢迎的大模型推理框架，因其高效的continuous batching和pageAttention功能而备受青睐。此外，vLLM还具备投机推理和自动前缀缓存等关键功能，使其在学术界和工业界都得到了广泛应用。
OnProject 查询项目服务中的委托权限。 iam:permissions:listRolesForAgency 查询委托的所有权限。 iam:agencies:getAgency 查询委托详情。 iam:agencies:listAgencies 查询指定条件下的委托列表 创建自定义策略。
客户创建了多个虚拟环境，numba库安装在了python-3.7.10中，如图1所示。 图1 查询创建的虚拟环境 解决方案 在Terminal中执行conda deactivate命令退出当前虚拟环境，默认进入base环境。执行pip list命令查询已安装的包，然后安装需要的依赖进行保存，最后切换至指定的虚拟环境后再运行脚本。
在AI应用详情页，选择“设置”页签。 在“环境变量管理”处，可以查看、新增、修改、删除环境变量。 最多支持创建100个环境变量。变量名称不可重复，只能由下划线、字母与数字组成且不能以数字开头。 查看环境变量的值：单击，可以查看当前环境变量的值。 新增环境变量：单击“新增”，在编辑环境变
践。\n\n2.培训和教育：确保您和您的同事接受了必要的培训和教育，以了解正确的安全准则和行为。\n\n3.使用正确的工具和设备：确保您使用正确的工具和设备，并且它们得到了正确的维护和保养。\n\n4.个人防护装备：确保您和您的同事穿戴正确的个人防护装备，如安全鞋、透明眼镜或面罩、手套等。\n\n5
装。 使用命令jupyter labextension list --app-dir=/home/ma-user/.lab/console查询 前端插件安装目录为：/home/ma-user/.local/share/jupyter/labextensions 后端插件代码安装目录：/home/ma-user/
训练作业的监控内存指标持续升高直至作业失败 问题现象 训练作业的“状态”为“运行失败”。 原因分析 训练作业的监控内存指标持续升高，导致最后训练作业失败。 处理步骤 查询训练作业的日志和监控信息，是否存在明确的OOM报错信息。 是，训练作业的日志里存在OOM报错，执行2。 否，训练作业的日志里没有OOM报错，但是存在监控指标异常，执行3。
件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
件chatglm3-6b/tokenization_chatglm.py 。 文件最后几处代码中需要修改，具体位置可根据上下文代码信息进行查找，修改后如图所示。 图2 修改ChatGLMv3-6B tokenizer文件 图3 修改ChatGLMv3-6B tokenizer文件
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
