检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
提示词工程使用流程 ModelArts Studio大模型开发平台可以辅助用户进行提示词撰写、比较和评估等操作，并对提示词进行保存和管理。 表1 功能说明 功能 说明 提示词工程任务管理 提示词工程平台以提示词工程任务为管理维度，一个任务代表一个场景或一个调优需求，在提示词工程任务下可以进行提示词的调优、比较和评估。
的调整，以确保数据在规模、质量和内容上满足训练标准。具体而言，数据集发布具有以下重要意义： 数据比例和结构调整：平台提供灵活的数据比例调整功能，用户可以按需调整数据集的各类数据比例，确保数据集在训练时的代表性和均衡性，从而避免数据分布不均导致的训练问题。 多种数据格式支持：对于文
标注管理”，单击右上角“创建标注任务”。 在“来源数据集”分页，选择“文件内容”为“图片+Caption”的数据集，选择标注项，可开启“AI预标注”功能，单击“下一步”。 图1 选择标注数据集 在“创建标注任务”页面，可配置标注分配、标注审核和标注任务的基本信息，单击“完成创建”。 图2 配置标注分配、标注审核、基本信息
Token计算器 功能介绍 为了帮助用户更好地管理和优化Token消耗，平台提供了Token计算器工具。Token计算器可以帮助用户在模型推理前评估文本的Token数量，提供费用预估，并优化数据预处理策略。 URI POST /v1/{project_id}/deployment
服务自身的安全，涵盖华为云数据中心的物理环境设施和运行其上的基础服务、平台服务、应用服务等。这不仅包括华为云基础设施和各项云服务技术的安全功能和性能本身，也包括运维运营安全，以及更广义的安全合规遵从。 租户：负责云服务内部的安全，安全地使用云。华为云租户的安全责任在于对使用的Ia
不可见字符，比如U+0000-U+001F 表情符六 网页标签符号<p> 特殊符号，比如● █ ◆ 乱码和无意义的字符����� 图片类加工算子能力清单 表2 图片类加工算子功能表 算子分类 算子名称 算子描述 数据过滤 图片元数据过滤 基于图片存储大小、宽高比属性进行图片/图文数据清洗。 图片去重 通过把图片结构化处理后，过滤重复的图片/图文对数据。
查询推理作业详情 功能介绍 根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。
是对数据的简单处理，它还针对不同数据类型和业务场景进行有针对性的优化。 ModelArts Studio大模型开发平台提供了强大的数据加工功能，根据不同类型的数据集预置了多种加工算子，如数据提取、转换和过滤等。 数据加工意义 数据加工直接影响到模型训练的质量和效率。通过数据加工，
选择“全部标注”：要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注任务可选择是否启用标注审核，可设置多人审核，详见审核文本类数据集标注结果。审核要求可以选择以下两种方式：
创建推理作业 功能介绍 创建科学计算大模型中海洋类模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取： 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发
上线原始数据集 在正式发布数据集前，需要执行上线操作。 上线原始数据集 加工数据集 创建文本类数据集加工任务 数据集中若存在异常数据，可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 说明： 盘古NLP大模型仅支持接入文本类数据集。 若数据类型为文档、网页，则加工数据集为必选项，否则为可选项。
查询推理作业详情 功能介绍 根据创建推理作业获取的作业ID获取科学计算大模型的结果数据。 URI GET /tasks/{task_id} 调用查询推理作业详情API所需要的域名与创建推理作业API一致，可以参考创建推理作业获取。获取完整的创建推理作业API后，在这个API基础上去除末尾的/tasks即是域名。
发布不同格式的数据集。 在“格式配置”分页，选择发布格式，单击“下一步”。当前支持默认格式、盘古格式、自定义格式： “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为
发布不同格式的数据集。 在“格式配置”分页，选择发布格式，单击“下一步”。当前支持默认格式、盘古格式、自定义格式： “默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为
选择“全部标注”：要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”：允许标注人员在确认AI预标注满足要求后，直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注任务可选择是否启用标注审核，可设置多人审核，详见审核文本类数据集标注结果。审核要求可以选择以下两种方式：
数据工程常见报错与解决方案 数据工程常见报错及解决方案请详见表1。 表1 数据工程常见报错与解决方案 功能模块 常见报错 解决方案 数据获取 File format mismatch, require [{0}]. 请检查创建数据集时使用的数据，与平台要求的文件内容格式是否一致。
使用规则构建的优点是快速且成本低，缺点是数据多样性较低。 基于大模型的数据泛化：您可以通过调用大模型（比如盘古提供的任意一个规格的基础功能模型）来获取有监督场景。一个比较常见的方法是，将无监督的文本按照章节、段落、字符数进行切片，让模型基于这个片段生成问答对，再将段落、问题和
标签设置。通过标签设置，可以给数据集添加行业、语言、标签信息。 数据版权设置。训练模型的数据集除用户自行构建外，也可能会使用开源的数据集。数据版权功能主要用于记录和管理数据集的版权信息，确保数据的使用合法合规，并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息，可以追溯数据的来源
~ 200个字符，并且字符只允许为下面的类型： 中文 字母（A-Z或a-z） 数字（0-9） 特殊字符：_和- 空格 插件描述 待创建插件的功能描述。 插件描述的长度为1 ~ 1600个字符。 配置插件的配置信息，配置插件URL和请求方式等参数信息。配置完成后，单击“下一步”。 风
见API签名指南。 如果之前没有生成过AK/SK，可登录“我的凭证”界面，选择“访问密钥 > 新增访问密钥”来获取。 签名SDK只提供签名功能，与服务提供的SDK不同，使用时请注意。 AK/SK获取方式请参考获取AK/SK。 父主题： 如何调用REST API
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
