检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
} } } } 图3 填写请求Body 单击Postman界面“Send”按钮,发送请求。当接口返回状态为201时,表示Token接口调用成功,此时单击“Headers”选项,找到并复制“X-Subject-Token”参数对应的值,该值即为需要获取的Token。
若选择使用加工模板,将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后,单击右下角“启动清洗”,将启动清洗任务。 当数据清洗任务运行成功后,状态将从“运行中”变为“运行成功”,表示数据已经完成清洗。 在完成数据清洗后,如果无需使用数据合成与数据标注功能,可直接在“数据清洗”页面单击操作列“生成”,生成加工数据集。
若选择使用加工模板,将删除当前已编排的清洗步骤。 图2 选择加工模板 清洗步骤编排完成后,单击右下角“启动清洗”,将启动清洗任务。 当数据清洗任务运行成功后,状态将从“运行中”变为“运行成功”,表示数据已经完成清洗。 在完成数据清洗后,如果无需使用数据标注功能,可直接在“数据清洗”页面单击操作列“生成”,生成加工数据集。
当前支持安全护栏基础版,内置了默认的内容审核规则。 资源配置 计费模式 包年包月计费模式。 实例数 设置部署模型时所需的实例数。 订阅提醒 订阅提醒 该功能开启后,系统将在任务状态更新时,通过短信或邮件将提醒发送给用户。 基本信息 服务名称 设置部署任务的名称。 描述(选填) 设置部署任务的描述。 参数填写完成后,单击“立即部署”。
如果使用该数据集训练盘古大模型,请将发布格式配置为盘古格式。 填写数据集名称、描述,设置数据集“资产可见性”,设置扩展信息后,单击“确定”执行数据集流通操作。 当任务状态显示为“运行成功”时,说明数据流通任务执行成功,生成的“发布数据集”可在“数据工程 > 数据发布 > 发布数据集”中查看。 父主题: 发布图片类数据集
注质量均很高,则可以一键提交剩余待审核数据,默认审核通过,即可完成审核任务。 单击“完成创建”,在“任务管理”页签可查看标注任务的创建状态。当状态为“已创建”时,表示该标注任务创建完成。 进入“标注作业”页签,单击当前标注任务的“标注”。 如果需要将该标注任务移交给其他人员,可以
{ "query": "预定15:00到16:00的A12会议室" } 单击Postman界面“Send”,发送请求。当接口返回状态为200时,表示应用API调用成功,响应示例如下: data:{"event":"start","data":{},"createdTime":1733821291867
thon解释器预置插件。 “Python解释器插件”能够执行用户输入的Python代码,并获取结果。此插件为应用提供了强大的计算、数据处理和分析功能,用户只需将其添加到应用中,即可扩展功能。 准备工作 请确保您有预置的NLP大模型,并已完成模型的部署操作,详见《用户指南》“开发盘古NLP大模型
注质量均很高,则可以一键提交剩余待审核数据,默认审核通过,即可完成审核任务。 单击“完成创建”,在“任务管理”页签可查看标注任务的创建状态。当状态为“已创建”时,表示该标注任务创建完成。 进入“标注作业”页签,单击当前标注任务的“标注”。 如果需要将该标注任务移交给其他人员,可以
数据是大模型训练的基础,为大模型提供了必要的知识和信息。数据工程工具链作为盘古大模型服务的重要组成部分,具备数据获取、清洗、数据合成、数据标注、数据评估、数据配比、数据流通和管理等功能。 该工具链能够高效收集和处理各种格式的数据,满足不同训练和评测任务的需求。通过提供自动化的质量检测和
[%s] is not found. 请检查数据集是否存在。 Dataset [%s] status is invalid. 请检查数据集状态是否正常。 父主题: 使用数据工程构建数据集
指令编排完成后,单击右上角“启用调测”,可以对当前编排的指令效果进行预览。 指令调测完成后,单击“创建并启动”,平台将启动合成任务。 当数据合成任务运行成功后,状态将从“运行中”变为“运行成功”,表示数据已经完成合成操作。 在完成数据合成后,若无需使用数据标注功能,可直接在“数据合成”页面单击操作列“生成”,生成加工数据集。
在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许
且符合语境的文本。 通过对海量数据的深入学习和分析,盘古大模型能够捕捉语言中的细微差别和复杂模式,无论是在词汇使用、语法结构,还是语义理解上,都能达到令人满意的精度。此外,模型具备自我学习和不断进化的能力,随着新数据的持续输入,其性能和适应性不断提升,确保在多变的语言环境中始终保持领先地位。
意义: 确保数据质量和适配性 数据发布功能通过数据评估和配比,确保发布的数据集满足大模型训练的高标准。这不仅包括数据规模的要求,还涵盖了数据质量、平衡性和代表性的保证,避免数据不均衡或不具备足够多样性的情况,进而提高模型的准确性和鲁棒性。 提高数据的多样性和代表性 通过合理的数据
提升数据治理的效率和效果。 通过整合上述功能,数据工程在AI研发中不仅帮助用户高效构建高质量的训练数据集,还通过全流程的数据处理和管理,探索数据与模型性能的内在联系,为模型训练和应用提供坚实的数据基础,推动了模型的精确训练与持续优化,提升了AI应用开发的效率和成果的可靠性。 父主题:
资源、训练资源、推理资源,支持模型资产的包年/包月订购、资源的包年/包月和按需计费订购。 模型资产:模型资产可用于模型开发、应用开发等模块。当前支持订购NLP大模型、CV大模型、预测大模型、科学计算大模型和专业大模型的模型资产。 数据资源:数据通算单元适用于数据加工,用于正则类算