检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据过程中,为什么无法选中OBS的单个文件进行上传 当前,ModelArts Studio平台针对不同类别的数据集可使用OBS服务导入的文件形式不同: 文本、视频、预测和其他类(自定义)数据集支持文件夹或单个文件导入,导入界面提示用户:“请选择文件夹或文件”。 图1 支持导入单个文件示例
Agent开发常见报错与解决方案 工作流常见错误码与解决方案 工作流常见报错及解决方案请详见表1。 表1 工作流节点常见报错与解决方案 模块名称 错误码 错误描述 解决方案 开始节点 101501 开始节点全局配置未传入值。 开始节点错误,请联系客服解决。 结束节点 101531
导入数据至盘古平台 数据集是一组用于处理和分析的相关数据样本。 用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。
NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空。 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请
科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据,与平台要求的文件内容格式是否一致。
Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS(对象存储服务),然后通过平台提供的“数据导入”功能,将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下: 上传数据至OBS:将本地数据上传至OBS服务,请详见通过控制台快速使用OBS。 使用数据导入功能:通过平台提
加工文本类数据集 加工文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建文本类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 加工
加工视频类数据集 加工视频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建视频类数据集加工任务 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程 > 数据加工 > 加工任务”,单击界面右上角“创建加工任务”。
当前,数据合成功能支持合成单轮问答、单轮问答(人设)类型的数据。 创建文本类数据集合成任务 合成文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建文本类数据集合成任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
"target":"哈哈,你好呀,我是你的聪明助手,怎么帮到你?", "bad_target":"我不会回答"} 带人设多轮 {"system": "你是一位机制幽默的问答助手", "context": ["你好,请介绍自己", "哈哈,你好呀,我是你的聪明助手,怎么帮到你?", "请介绍一下有哪些产品。"]
题如下: 问题一:文本翻译插件运行失败,报错信息如图1。 图1 文本翻译插件运行失败 可能原因:可能存在调用文本翻译API的Token错误或失效问题,具体原因可在界面右上角单击“调试”,在“调用详情 > 调用链”中查看插件输出的错误信息。 解决方法:若为Token错误问题,可参考
视频类数据集格式要求 ModelArts Studio大模型开发平台支持创建视频类数据集,创建时可导入多种形式的数据,具体格式要求详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹
模型调优方法介绍 在实际应用中,首次微调所得的模型往往无法取得最佳效果,为了让模型能更好地解决特定场景任务,通常需要根据微调所得模型的效果情况来进行几轮的模型微调优化迭代。 在大模型的微调效果调优过程中,训练数据优化、训练超参数优化、提示词优化以及推理参数优化是最重要的几个步骤。
Studio平台,进入所需空间。 在左侧导航栏中选择“数据工程 > 数据获取”,单击界面右上角“创建导入任务”。 在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”,并单击“选择路径”上传数据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式
标注图片类数据集 创建图片类数据集标注任务 标注图片类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1。
加工气象类数据集 加工气象类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 创建气象类数据集加工任务 创建气象类数据集加工任务步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 在左侧导航栏中选择“数据工程
盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。 与云搜索服务的关系 盘古大模型使用云搜索服务CSS,加入检索模块,提高模型回复的准确性、解决内容过期问题。
如何判断任务场景应通过调整提示词还是场景微调解决 在选择是否通过调整提示词或场景微调来解决任务时,需要从以下两个主要方面进行考虑: 业务数据的可获取性 考虑该任务场景的业务数据是否公开可获取。如果该场景的相关数据可以公开获取,说明模型在训练阶段可能已经接触过类似的语料,因此具有一
如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的单个文件进行上传 训练/推理单元与算力的对应关系是什么 提示词工程类 如何让大模型按指定风格或格式回复 为什么其他大模型适用的提示词在盘古大模型上效果不佳 如何判断任务场景应通过调整提示词还是场景微调解决