检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
可获得“数据集输出位置”指定的OBS路径。 进入OBS管理控制台,根据上述步骤获得的路径,找到对应版本号目录,即可获取数据集对应的标注结果。 如需将标注结果下载至本地,可前往manifest文件存储的OBS中,单击“下载”,即可将标注结果存储至本地。
删除标签:单击操作列的“删除”按钮,在弹出的对话框中,根据界面提示选择删除对象,然后单击“确定”。 删除后的标签无法再恢复,请谨慎操作。 继续运行 完成数据的确认之后,返回新版自动学习的页面,在数据标注节点单击“继续运行”,工作流将会继续依次运行直到所有节点运行成功。
此处仅介绍关键参数,设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务(OBS)中选择”,元模型选择转换后模型的存储路径,AI引擎选择“Custom”,引擎包选择准备镜像中上传的推理镜像。
此处仅介绍关键参数,设置AI应用的详细参数解释请参见从OBS中选择元模型。 根据需要自定义应用的名称和版本。 模型来源选择“从对象存储服务(OBS)中选择”,元模型选择转换后模型的存储路径,AI引擎选择“Custom”,引擎包选择准备镜像中上传的推理镜像。
mc2融合算子报错 Yi-34B、Qwen1.5系列、GLM4-9B模型执行lora微调策略任务时产生mc2融合算子错误。 图1 mc2融合算子错误 解决方法 修改代码文件:AscendFactory/scripts_modellink/{model_name}/3_training.sh
在创建OBS桶创建的桶下创建文件夹用以存放权重和词表文件,例如在桶standard-llama2-13b中创建文件夹llama2-13B-chat-hf。 参考文档利用OBS-Browser-Plus工具将步骤1下载的权重文件上传至步骤2创建的文件夹目录下。
Manifest文件中定义了标注对象和标注内容的对应关系。Manifest文件中也可以只有原始文件信息,没有标注信息,如生成的未标注的数据集。 Manifest文件使用UTF-8编码,Manifest处理程序需具备UTF-8处理能力。
在运行finetune_ds.sh 时遇到报错 在运行finetune_ds.sh 时遇到报错 pydantic_core._pydantic_core.ValidationError: 1 validation error for DeepSpeedZeroConfig stage3
登录OBS控制台,进入自己创建的OBS桶中,删除存储在OBS中的数据。操作完成后,OBS服务即停止计费。 父主题: 计费FAQ
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。
无法导入模块 问题现象 ModelArts训练作业导入模块时日志报错: Traceback (most recent call last):File "project_dir/main.py", line 1, in <module>from module_dir import module_file
本地标注的数据,当前支持从OBS目录导入或从Manifest文件导入两种方式。导入之后您还可以在ModelArts数据管理模块中对数据进行重新标注或修改标注情况。 从OBS目录导入或从Manifest详细操作指导和规范说明请参见导入数据。 父主题: Standard数据准备
job_id 是 String 训练作业的id,可通过创建训练作业生成的训练作业对象查询,如"job_instance.job_id",或从查询训练作业列表的响应中获得。
使用SDK调测单机训练作业 代码中涉及到的OBS路径,请用户替换为自己的实际OBS路径。
CPU内核占用量 ma_container_cpu_used_core 该指标用于统计测量对象已经使用的CPU核个数 核(Core) ≥0 NA NA NA CPU内核总量 ma_container_cpu_limit_core 该指标用于统计测量对象申请的CPU核总量。
需根据实际数据情况选择“数据集”或“OBS目录”。设置为“数据集”时,需填写“数据集名称”和“数据集版本”;设置为“OBS目录”时,需填写正确的OBS路径。 图2 输入输出设置-数据集 图3 输入输出设置-OBS目录 确认参数填写无误后,单击“创建”,完成数据处理任务的创建。
购买DevServer资源时如果无可选资源规格,需要联系华为云技术支持申请开通。 当容器需要提供服务给多个用户,或者多个用户共享使用该容器时,应限制容器访问Openstack的管理地址(169.254.169.254),以防止容器获取宿主机的元数据。
obs_path=obs_output_path, name="output")] # 模拟训练过程中模训练日志回传至指定OBS的路径,需要以"/"结尾 log_obs_path = f"{default_obs_dir}/mindspore_model/logs/" #
图22 通信小包分析 Communication Retransmission Analysis 单次通信重传将会耗时4秒以上,会导致较严重的通信性能劣化,这类问题通常是由于节点网络配置错误导致,可以联系服务方如华为云技术支持排查网络配置。
准备工作 创建OBS桶,桶名称示例:“xxx-project”,在OBS桶里创建“data”文件夹。(建议下载OBS Browser+进行相关操作)。 上传本地数据至“data”文件夹。