检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
格式要求详见表1。 表1 文本类数据集格式要求 文件内容 文件格式 文件要求 文档 txt、mobi、epub、docx、pdf 单个文件大小不超过50GB,文件数量最多1000个。 网页 html 单个文件大小不超过50GB,文件数量最多1000个。 预训练文本 jsonl j
详见表1。 表1 视频类数据集格式要求 文件内容 文件格式 文件要求 视频 mp4或avi 支持mp4、avi视频格式上传,所有视频可以放在多个文件夹下,每个文件夹下可以同时包含mp4或avi格式的视频。 单个文件大小不超过50GB,文件数量最多1000个。 事件检测 视频+json
克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的训练任务。 删除属于高危操作,删除前请确保当前任务不再需要。 父主题: 训练NLP大模型
克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的训练任务。 删除属于高危操作,删除前请确保当前任务不再需要。 父主题: 训练CV大模型
克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的训练任务。 删除属于高危操作,删除前请确保当前任务不再需要。 父主题: 训练预测大模型
> 克隆”,可以复制当前训练任务。 重试。单击操作列的“更多 > 重试”,可以编辑运行失败的节点,重试该节点的训练。 删除。单击操作列的“更多 > 删除”,可以删除当前不需要的训练任务。 父主题: 训练科学计算大模型
单击所需知识库,进入详情页面。 新增知识库中知识文档。单击右上角“继续上传”,可上传本地文档至当前知识库。 删除知识库中知识文档。在“知识文档”中单击操作列“删除”可删除当前知识文档。 获取知识库ID、删除知识库 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。
功能限制 功能类型 使用限制 数据工程-数据格式要求 ModelArts Studio平台支持接入的数据需要满足格式要求,包括文件格式、单个文件大小、所有文本大小以及文件数量等,请参考《用户指南》“使用数据工程构建数据集 > 数据集格式要求”。 模型开发-训练、评测最小数据量要求 使用ModelArts
克隆。单击操作列的“ 克隆”,可以复制当前评测任务。 启动。单击操作列的“启动”,可以重启运行失败的评测任务。 删除。单击操作列的“删除”,可以删除当前不需要的评测任务。 删除属于高危操作,删除前请确保当前任务不再需要。 父主题: 评测NLP大模型
表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据,包含列和行,每一行表示一条数据,每一列表示一个特征,并且必须包含预测目标列,预测目标列要求为连续型数据。 目录下只有1个数据文件时,文件无命名要求。 目录下有多个数据文件时,需要通过命名的方式指
获取政府部门提供的内部脱敏数据等。相关的数据格式包括但不限于:在线网页、离线word文档、离线txt文件、离线excel表格、离线PDF文件、扫描版word文档、扫描版PDF文件等。 微调数据要求: 数据格式样例:JSONL格式,每行是一条JSON,包含“context”和“target”两个字段。示例如下:
气象类数据集格式要求 文件内容 文件格式 文件样例 气象-天气数据 nc、cdf、netcdf、gr、gr1、grb、grib、grb1、grib1、gr2、grb2、grib2 天气数据通常包含全球或区域性的气象变量,如温度(T)、气压(P)、风速(U、V)等。在文件中,这些变量可能
设置候选提示词 用户可以将效果较好的提示词设为候选提示词,并对提示词进行比对,以查看其效果。 每个工程任务下候选提示词上限9个,达到上限9个时需要删除其他候选提示词才能继续添加。 登录ModelArts Studio大模型开发平台,进入所需空间。 在左侧导航栏中选择“Agent 开发 >
正则化参数 路径删除概率 用于定义路径删除机制中的删除概率。路径删除是一种正则化技术,它在训练过程中随机删除一部分的网络连接,以防止模型过拟合。这个值越大,删除的路径越多,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1)。 特征删除概率 用于定义特征删除机制中的
在“创建导入任务”页面选择所需要的“文件内容”、“文件格式”、“导入来源”,并单击“选择路径”上传数据文件。 NLP大模型评测数据集支持的格式见表1。 表1 评测数据集格式 模型类型 评测数据集格式 NLP大模型 文本-单轮问答-jsonl格式 上传数据文件后,填写“数据集名称”与“描述”,单击“立即创建”。
至AI Gallery)。 编辑属性。单击操作列的“更多 > 编辑属性”,可编辑数据资产的名称、描述以及资产可见性。 删除。单击操作列的“更多 > 删除”,可删除当前数据资产。 取消发布至Gallery。单击操作列的“更多 > 取消发布至Gallery操作”,可将已发布至AI G
数据安全和隐私保护:大模型涉及大量训练数据,这些数据是重要资产。为确保数据安全,需在数据和模型训练的全生命周期内,包括数据提取、加工、传输、训练、推理和删除的各个环节,提供防篡改、数据隐私保护、加密、审计和数据主权保护等机制。在训练和推理过程中,通过数据脱敏、隐私计算等技术手段识别并保护敏感数
数据资产:用户已发布的数据集将作为数据资产存放在空间资产中。用户可以查看数据集的详细信息,包括数据格式、大小、配比比例等。同时,平台支持数据集的删除等管理操作,使用户能够统一管理数据集资源,以便在模型训练和分析时灵活调用,确保数据资产的规范性与安全性。 模型资产:平台提供的模型资产涵盖
大模型输入: 请改写命令案例,生成10个相似命令,保证每个命令都可以调用正确的指标接口。 请注意: 1. 命令必须契合人类常见的提问方式,命令方式必须保证多样化 2. 生成的命令只能改写命令案例中文表达部分的内容 指标接口名称:利润的平均值、市值的平均值 命令案例:科技行业公司的平均利润和市值是多少
大模型使用类问题 盘古大模型是否可以自定义人设 如何将本地的数据上传至平台 导入数据过程中,为什么无法选中OBS的具体文件进行上传 如何查看预置模型的历史版本