检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
数据集发布场景介绍 数据发布概念 数据发布是指将经过加工、标注、评估的数据集导出并生成符合特定任务或模型训练需求的正式数据集。数据发布是数据处理流程中的关键步骤，也是数据集构建的最终环节。 数据发布过程不仅包括将数据转化为适合使用的格式，还要求根据任务需求对数据集的比例进行科学调
获取模型调用API地址 服务的请求URI即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模
从PDF（支持扫描版）或图片中提取文本，转化为结构化数据，持文本、表格、表单、公式等内容提取。 数据转换 个人数据脱敏 对文本中的电话号码、邮箱、身份证、车牌号、IP地址、URL地址、MAC地址、护照号、IMEI等个人敏感信息进行数据脱敏，或直接删除敏感信息。 中文简繁转换 将简体文本转换为繁体，或将繁体文本转换为简体。
使用盘古加工算子构建单轮问答数据集 场景描述 此示例演示了如何使用加工算子轻松构建单轮问答数据集。数据集的加工算子是一种灵活的数据预处理工具，能够帮助您将原始数据转化为所需的格式。通过使用加工算子，您可以提取、转换、过滤原始数据，生成适合大模型训练的数据集。 准备工作 请提前准备数据并上传至OBS服务，上传步骤请详见通过控制台快速使用OBS。
该示例演示了如何创建多语言文本翻译工作流，示例将调用华为云文本翻译API，详见文本翻译。 准备工作 提前开通“文本翻译”服务。登录自然语言处理控制台，在总览页面下方开通“文本翻译”服务，单击“开通服务”。 图1 开通文本翻译服务 提前获取文本翻译API调用地址，该服务支持区域为华北-北京四。 调用地址的示例如下：
请求URI 服务的请求URI即API服务的终端地址，通过该地址与API进行通信和交互。获取步骤如下： 登录ModelArts Studio大模型开发平台。 获取模型请求URI。 若调用部署后的模型，可在左侧导航栏中选择“模型开发 > 模型部署”，在“我的服务”页签，模型部署列表单
创建推理作业 功能介绍 创建科学计算大模型中气象/降水模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取： 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发
创建推理作业 功能介绍 创建科学计算大模型中海洋类模型的推理作业。 URI POST /tasks 科学计算大模型的API请求地址可以直接在ModelArts Studio大模型开发平台获取： 登录ModelArts Studio大模型开发平台，进入所需空间。 获取调用路径及部署ID。单击左侧“模型开发
“默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。对于Alpaca格式的数据集，instru
“默认格式”为数据工程功能支持的原始格式。 “盘古格式”为使用盘古大模型训练或评测时所需要使用的数据格式。 “自定义格式”可以通过自定义格式转换脚本，将数据集转化为适用于其他模型的格式。例如盘古数据集中，context、target字段分别表示问题和答案。对于Alpaca格式的数据集，instru
的回答。 当前，大模型对于私域数据的利用仍然面临一些挑战。私域数据是由特定企业或个人所拥有的数据，通常包含了领域特定的知识。将大模型与私域知识进行结合，将发挥巨大价值。私域知识从数据形态上又可以分为非结构化与结构化数据。对于非结构化数据，如文档，可以利用大模型+外挂检索库（如Elastic
附录 状态码 错误码 获取项目ID 获取模型调用API地址
获取Token。参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。 在Postman中新建POST请求，并填入步骤2的API请求地址。 参考图3填写2个请求Header参数。 参数名为Content-Type，参数值为application/json。 参数名为X-Au
Key）加密调用请求。 Token认证 Token在计算机系统中代表令牌（临时）的意思，拥有Token就代表拥有某种权限。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限。 Token的有效期为24小时，需要使用一个Token鉴权时，可以先缓存起来，避免频繁调用。
风险提示：自定义插件使用HTTP服务，或不增加鉴权方式可能存在安全风险。 表2 插件配置信息表 参数名称 说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网，否则会导致注册失败。仅在非商用环境部署时，才允许
本空间”页面，单击操作列“更多 > 导出”。若无导出选项，请确认该空间是否为当前用户创建的空间。 选择需要导出的模型，应设置导出模型时对应的导出位置（OBS桶地址），添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图3 导出模型 导入盘古大模型至其他局点 导入盘古大模型至其他局点前，请确保当前空间为该用户所创建的空间。
获取Token。参考《API参考》文档“如何调用REST API > 认证鉴权”章节获取Token。 在Postman中新建POST请求，并填入API请求地址。 参考图4填写2个请求Header参数。 参数名为Content-Type，参数值为application/json。 参数名为X-Au
String 项目ID，获取方法请参见获取项目ID。 deployment_id 是 String 模型的部署ID，获取方法请参见获取模型调用API地址。 请求参数 表2 请求Header参数 参数 是否必选 参数类型 描述 X-Auth-Token 是 String 用户Token。 用
获取Token。参考《API参考》文档“如何调用REST API认证鉴权”章节获取Token。 在Postman中新建POST请求，并填入API请求地址。 参考图3填写2个请求Header参数。 参数名为Content-Type，参数值为application/json。 参数名为X-Au
返回一个资源特征与地址的列表用于用户终端（例如：浏览器）选择。 301 Moved Permanently 永久移动，请求的资源已被永久的移动到新的URI，返回信息会包括新的URI。 302 Found 资源被临时移动。 303 See Other 查看其他地址，使用GET和POST请求查看。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
