检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据过程中,为什么无法选中OBS的具体文件进行上传 在数据导入过程中,平台仅支持通过OBS服务导入文件夹类型的数据,而不支持直接导入单个文件。 您需要将文件整理到文件夹中,并选择该文件夹进行上传。 父主题: 大模型使用类问题
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务(Object Storage Service,简称OBS)进行数据存储,实现安全、高可靠和低成本的存储需求。因此,为了能够顺利进行存储数据、训练模型等操作,需要用户配置访问OBS服务的权限。
您参考: 基于规则构建:您可以通过采用一些简单的规则来构建有监督数据。比如: 表1 采用规则将无监督数据构建为有监督数据的常用方法 规则场景 说明 文本生成:根据标题、关键词、简介生成段落。 若您的无监督文档中含标题、关键词、简介等结构化信息,可以将有监督的问题设置为“请根据标题
设置背景及人设 背景: 模型基于简单prompt的生成可能是多范围的各方向发散的,如果您需要进行范围约束,或加强模型对已有信息的理解,可以进行提示:“结合xxx领域的专业知识...理解/生成...”、“你需要联想与xxx相关的关键词、热点信息、行业前沿热点等...生成...”,或
Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS(对象存储服务),然后通过平台提供的“数据导入”功能,将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下: 上传数据至OBS:将本地数据上传至OBS服务,请详见通过控制台快速使用OBS。 使用数据导入功能
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数据进行存储和保护。请参考OBS数据保护技术说明:https://support.huaweicloud.com/productdesc-obs/obs_03_0375.html 父主题: 安全
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发
用户将存储在OBS服务中的数据导入至ModelArts Studio大模型开发平台后,将生成“原始数据集”被平台统一管理,用于后续加工或发布操作。 创建导入任务 创建导入任务前,请先按照数据集格式要求提前准备数据。 平台支持使用OBS服务导入数据,请详见通过控制台快速使用OBS。 创建导入任务步骤如下:
属的问题,模型生成的结果不完整,出现了异常截断。这种情况可能是由于以下几个原因导致的,建议您依次排查: 推理参数设置:请检查推理参数中的“最大Token限制”参数的设置,适当增加该参数的值,可以增大模型回答生成的长度,避免生成异常截断。请注意,该参数值存在上限,请结合目标任务的实际需要以及模型支持的长度限制来调整。
数据质量:请检查训练数据中是否存在包含异常字符的数据,可以通过规则进行清洗。 训练参数设置:若数据质量存在问题,且因训练参数设置的不合理而导致过拟合,该现象会更加明显。请检查训练参数中的 “训练轮次”或“学习率”等参数的设置,适当降低这些参数的值,降低过拟合的风险。 推理参数设置:请检查推理参数中的“温度”或“
作业输入方式 选择 “OBS”表示从OBS中读取数据。 作业输出方式 选择 “OBS”表示将输出结果存储在OBS中。 作业配置参数 设置模型部署参数信息,平台已给出默认值。 安全护栏 选择模式 安全护栏保障模型调用安全。 选择类型 当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置
String 存储类型,取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表5 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String
OBSWriteOnly obs:object:AbortMultipartUpload obs:object:DeleteObject obs:object:DeleteObjectVersion obs:object:PutObject 拥有用户OBS桶写权限 Pangu OBSReadOnly o
可以选择“全局服务资源”,即服务部署时不区分区域,访问全局级服务,不需要切换区域,全局服务不支持基于区域项目授权。如对象存储服务(OBS)、内容分发网络(CDN)等。 选择完成后,单击“确定”。 图4 设置最小授权范围 单击“完成”,完成用户组授权。 图5 完成授权 创建盘古子用户 创建盘古子用户步骤如下:
String 存储类型,取值为obs。 data 是 Array of ObsStorageDto objects 输入数据的OBS信息。 表5 ObsStorageDto 参数 是否必选 参数类型 描述 bucket 是 String 输入数据的OBS桶名称。 path 是 String
本空间”页面,单击支持导出的模型名称,右上角的“导出模型”。 在“导出模型”页面,选择需要导出的模型,应设置导出模型时对应的导出位置(OBS桶地址),添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图2 导出模型 导入其他局点盘古大模型 导入盘古大模型前,请确保当前空间为该用户所创建的空间。
在左侧导航栏中选择“模型开发 > 模型训练”,单击右上角“创建训练任务”。 在“创建训练任务”页面,参考表1完成训练参数设置。 其中,“训练参数”展示了各场景涉及到的全部参数,请根据具体前端页面展示的参数进行设置。 表1 CV大模型微调参数说明 参数分类 训练参数 说明 训练配置 模型来源 选择“盘古大模型”。
type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。
type String 存储类型。 data Array of ObsStorageDto objects 输入数据的OBS信息。 表4 ObsStorageDto 参数 参数类型 描述 bucket String 输入数据的OBS桶名称。 path String 初始场数据的存放路径。