检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
mc2融合算子报错 Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件：AscendFactory/scripts_modellink/{model_name}/3_training
在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件，例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。得到OBS下数据集结
格、镜像等信息。 在弹性节点Server的节点列表页中，可以查看Server节点的状态、创建时间、计费模式、实例规格名称、核心硬件配置、私网IP地址和绑定的虚拟私有云名称。 图1 查看Server节点 单击某个Server节点名称，进入到Server节点详情页，可以查看更多信息，如表1所示。
Python *.*.* 检查是否已安装Python通用包管理工具pip。如果Python安装过程中没有安装通用包管理工具pip，则参见pip官网完成pip安装，推荐pip版本小于24.0。 在本地环境执行命令pip --version，显示如下内容说明pip已安装。 C:\Users\xxx>pip
co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式转换
modelarts import workflow as wf # 通过ReleaseDatasetStep将输入的数据集对象发布新的版本，输出带有版本信息的数据集对象 # 定义数据集对象 dataset = wf.data.DatasetPlaceholder(name="input_dataset")
”列表中，停止因运行自动学习作业而创建的服务。操作完成后，ModelArts服务即停止计费。 登录OBS控制台，进入自己创建的OBS桶中，删除存储在OBS中的数据。操作完成后，OBS服务即停止计费。 对于使用专属资源池创建的自动学习作业： 登录ModelArts控制台，在自动学习
方法四：使用Git clone，官方提供了git clone repo_url 的方式下载，但是不支持断点续传，并且clone会下载历史版本占用磁盘空间。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.911中的AscendCloud-LLM-xxx.zip软件包和
方法四：使用Git clone，官方提供了git clone repo_url 的方式下载，但是不支持断点续传，并且clone会下载历史版本占用磁盘空间。 模型软件包结构说明 本教程需要使用到的AscendCloud-6.3.910中的AscendCloud-LLM-xxx.zip软件包和
无法导入模块 问题现象 ModelArts训练作业导入模块时日志报错： Traceback (most recent call last):File "project_dir/main.py", line 1, in <module>from module_dir import module_file
标注页面，数据标注的图片来源有两种，通过本地添加图片和同步OBS中的图片数据。 图3 添加本地图片 图4 同步OBS图片数据 添加数据：您可以将本地图片快速添加到ModelArts，同时自动上传至创建项目时所选择的OBS路径中。单击“添加数据”，根据弹出的对话框的引导，输入正确的数据并添加。
本方案目前仅适用于部分企业客户，完成本方案的部署，需要先联系您所在企业的华为方技术支持。 约束限制 推理部署使用的服务框架是vLLM（官网地址：https://github.com/vllm-project/vllm/tree/v0.3.2，版本：v0.3.2）。 仅支持FP16和BF16数据类型推理。
告警规则”，在“告警规则”界面，单击“添加告警”。 填写告警基本信息。 设置告警规则。 “规则类型”选择“阈值规则”。 “监控对象”：选择“选择资源对象”。单击选择资源对象，弹出新窗口。 添加方式：选择“按指标维度添加”。 指标名称：选择“全量指标”，搜索需要监控的cache指标名称然后选
h attention算子耗时最长且降频比率最高，因此降频严重影响了整体的训练性能。对于降频问题，用户通常无法自行解决，需要联系服务方如华为云技术支持排查机器的温度和功耗。 图11 降频分析 AICPU Issues 下图展示了高优先级的AICPU问题，AICPU算子单步计算耗时
ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化 python examples/quantize.py 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式转换
co/datasets/mit-han-lab/pile-val-backup，注意需指定到val.jsonl的上一级目录。 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式离线转换（可选）
r资源，并确保机器已开通，密码已获取，能通过SSH登录，不同机器之间网络互通。 购买DevServer资源时如果无可选资源规格，需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户，或者多个用户共享使用该容器时，应限制容器访问Openstack的管理地址（169.254
ASCEND_RT_VISIBLE_DEVICES=0 #设置使用NPU单卡执行模型量化 python examples/quantize.py 详细说明可以参考vLLM官网：https://docs.vllm.ai/en/latest/quantization/auto_awq.html。 Step2 权重格式转换
Estimator请求参数说明 参数 是否必选 参数类型 描述 session 是 Object 会话对象，初始化方法请参考Session鉴权。 job_id 是 String 训练作业的id，可通过创建训练作业生成的训练作业对象查询，如"job_instance.job_id"，或从查询训练作业列表的响应中获得。
交工单申请开通。 准备工作 创建OBS桶，桶名称示例：“xxx-project”，在OBS桶里创建“data”文件夹。（建议下载OBS Browser+进行相关操作）。 上传本地数据至“data”文件夹。复制此OBS路径，此时输入路径应为“obs://xxx-project/data”，（此路径后面标记为输入路径）。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
