检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导入数据过程中，为什么无法选中OBS的具体文件进行上传 在数据导入过程中，平台仅支持通过OBS服务导入文件夹类型的数据，而不支持直接导入单个文件。 您需要将文件整理到文件夹中，并选择该文件夹进行上传。 父主题： 大模型使用类问题
图片+Caption 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。 Caption格式支持：jsonl 图片+QA对 图片格式支持：jpg、jpeg、png、bmp，所有图片需保存为tar包。 QA对格式支持：jsonl 物体检测 图片格式支持：jpg、jpeg、png、bmp
通过横向比较提示词效果和批量评估提示词效果，如果找到高质量的提示词，可以将这些提示词发布至“提示词模板”中。 在提示词“候选”页面，选择质量好的提示词，并单击“保存到模板库”。 图1 保存提示词至模板库 进入“Agent 开发 > 提示词工程 > 提示词模板”页面，查看发布的提示词。 父主题： 开发盘古大模型提示词工程
数据保护技术 盘古大模型服务通过多种数据保护手段和特性，保障存储在服务中的数据安全可靠。 表1 盘古大模型的数据保护手段和特性 数据保护手段 简要说明 传输加密（HTTPS） 盘古服务使用HTTPS传输协议保证数据传输的安全性。 基于OBS提供的数据保护 基于OBS服务对用户的数
是必须的。 提示词工程使用流程 ModelArts Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在
知识库介绍 平台提供了知识库功能来管理和存储数据，支持为应用提供自定义数据，并与之进行互动。 知识库支持导入以下格式的本地文档： 文本文档数据。支持上传常见文本格式，包括：txt、doc、docx、pdf、ppt、pptx格式。 表格数据。支持上传常见的表格文件格式，便于管理和分
checkpoints：在模型训练过程中，用于保存模型权重和状态的机制。 关闭：关闭后不保存checkpoints，无法基于checkpoints执行续训操作。 自动：自动保存训练过程中的所有checkpoints。 自定义：根据设置保存指定数量的checkpoints。 训练参数
在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2
在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2
流通文本类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个文本类数据集支持发布的格式为： 默认格式：平台默认的格式。 在默认格式中，context和target是键值对。示例如下： {"context": "你好，请介绍自己", "target":
n，val文件夹，annotations文件夹下用train.json和val.json记录训练集和验证集标注，train和val文件夹下保存具体的图片。 json标注文件的详细说明请参见姿态估计标注json文件说明 单个文件大小不超过50GB，文件数量最多1000个，示例如下所示：
如何将本地的数据上传至平台 ModelArts Studio平台支持从OBS服务导入数据。您可以将本地数据上传至OBS（对象存储服务），然后通过平台提供的“数据导入”功能，将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下： 上传数据至OBS：将本地数据上传至OBS服务，请详见通过控制台快速使用OBS。
在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2
自定义指令。平台支持编排用户自定义指令。自定义指令的创建详见创建自定义数据合成指令。 指令选择完成后，单击“确定”，并配置指令参数，包括“变量取值”、“保存至任务输出参数”、“模型选择”。 如图1，展示了预训练文本类数据集的合成指令参数配置示例，该合成任务实现利用预训练文本生成问答对。 图1 预训练文本类数据集合成指令参数配置示例
在左侧“添加算子”分页勾选所需算子。 在右侧“清洗步骤编排”页面配置各算子参数，可拖动右侧“”以调整算子执行顺序。 图1 算子编排 在编排过程中，可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据清洗任务时，可直接单击“选择加工模板”进行使用。 若选择使用加工模板，将删除当前已编排的清洗步骤。 图2
用时解密，确保安全。 使用推理SDK章节示例代码均以ak和sk保存在环境变量中来实现身份验证。 登录“我的凭证”页面，获取“IAM用户名”、“账号名”以及待使用区域的“项目ID”。调用服务时会用到这些信息，请提前保存。 由于盘古大模型当前部署在“西南-贵阳一”区域，需要获取与“西南-贵阳一”区域对应的project
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务（Object Storage Service，简称OBS）存储数据和模型，实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署，帮助用户快速创建和部署模型。
流通图片类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 单个图片类数据集支持发布的格式为： 默认格式：平台默认的格式。 盘古格式：训练盘古大模型时，需要将数据集格式发布为“盘古格式”。 创建文本类数据集流通任务步骤如下： 登录ModelArts
配置服务访问授权 配置OBS访问授权 ModelArts Studio大模型开发平台使用对象存储服务（Object Storage Service，简称OBS）进行数据存储，实现安全、高可靠和低成本的存储需求。因此，为了能够顺利进行存储数据、训练模型等操作，需要用户配置访问OBS服务的权限。
流通视频类数据集 数据流通是将单个数据集发布为特定格式的“发布数据集”的过程，用于后续模型训练等操作。 视频类数据集当前仅支持发布为“默认格式”。 创建视频类数据集流通任务 创建视频类数据集流通任务步骤如下： 登录ModelArts Studio大模型开发平台，在“我的空间”模块，单击进入所需空间。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
