检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要将评估类别、评估项、评估项说明填写清晰,填写时确保描述无歧义。 单击“完成
在“评估标准”页面单击右上角“创建评估标准”,选择预置标准作为参考项,并填写“评估标准名称”和“描述”。 单击“下一步”,编辑评估项。 用户可以基于实际需求删减评估项,或创建自定义评估项。创建自定义评估项时,需要将评估类别、评估项、评估项说明填写清晰,填写时确保描述无歧义。 单击“完成
信息进行分层展示,帮助开发者优化AI应用的性能和稳定性,确保应用在不同环境下的顺畅运行。 对于低码开发者(具有一定代码开发经验的用户): 基于上述功能,平台还提供了灵活的工作流设计功能,支持用户编写少量代码来构建逻辑复杂、稳定性要求高的Agent应用。通过拖拉拽方式,开发者可以组
available region。 Format选择NetCDF(experimental)。 数据准备好后,单击“Submit Form”,基于页面提示单击“Download”下载数据。 图1 下载高空变量数据 示例二:以下载2021年7月16日表面变量数据为例,下载内容为表面变量(10m
标注管理 在“创建标注任务”页面选择需要标注的加工后的文本类数据集,并设置标注项。 设置标注项时,不同类型的数据文件对应的标注项也有所差异,可基于页面提示进行设置。 图3 创建标注任务 单击“下一步”设置标注人员及信息,单击“完成创建”。 分配标注任务时,可以选择是否启用多人标注。启用多人标注后,可以指定参与标注的人员。
审计 云审计服务(Cloud Trace Service,CTS)是华为云安全解决方案中专业的日志审计服务,提供对各种云资源操作记录的收集、存储和查询功能,可用于支撑安全分析、合规审计、资源跟踪和问题定位等常见应用场景。 用户开通云审计服务并创建、配置追踪器后,CTS可记录用户使用盘古的管理事件和数据事件用于审计。
身份认证与访问控制 用户可以通过调用REST网络的API来访问盘古大模型服务,有以下两种调用方式: Token认证:通过Token认证调用请求。 AK/SK认证:通过AK(Access Key ID)/SK(Secret Access Key)加密调用请求。经过认证的请求总是需要
值,该镜头片段将按时长进行进一步拆分。 数据过滤 视频裁剪 裁剪视频中字幕/Logo/水印/黑框等无用信息,生成新视频。 视频元数据过滤 基于视频元数据进行过滤,包括帧率、分辨率和视频时长。注:电影标准帧率为24或30FPS。 宽高比过滤 根据视频的宽高比进行过滤。 数据打标 视频鉴黄评分
创建数据集评估标准 创建数据集评估标准。可以评估文本通顺性、图文内容一致性、视频清晰度等。 创建数据集评估任务 创建数据集质量评估任务,并基于评估标注对数据逐一评估其质量,评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务
创建数据集评估标准。评估文本通顺性、信息充分性、内容有效性等。 创建文本类数据集评估标准 创建文本类数据集评估任务 创建数据集质量评估任务,基于评估标注对数据逐一评估其质量。 创建文本类数据集评估任务 获取数据集质量评估报告 查看数据集评估任务的进展和数据集质量。 获取文本类数据集评估报告
默认情况下,管理员创建的IAM用户(子用户)没有任何权限,需要将其加入用户组,并对用户组授权,才能使得用户组中的用户获得对应的权限。授权后,用户就可以基于被授予的权限对云服务进行操作。 服务使用OBS存储训练数据和评估数据,如果需要对OBS的访问权限进行细粒度的控制。可以在盘古服务的委托中增加Pangu
执行后一个指令,回答问题,可以将文本内容用引号分隔,让模型了解到引号内非指令,而是提供的参考文本。 排顺序 在提示词中内容的顺序也很重要,基于盘古大模型调优经验,将关键信息放在结尾处,模型输出效果更好。不同任务的关键信息不同,若需要模型生成的内容更具创意性,关键信息需要为内容描述
{"context":"你好","target":"嗨!你好,需要点什么帮助吗?"},{"context":"能给我推荐点书吗?","target":"当然可以,基于你的兴趣,我推荐你阅读《自动驾驶的未来》。"}] 数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。 父主题: 数据集格式要求
A:先生,您家的网络无法连接是吗 A:请问您尝试重新插拔网线吗? B:是的,我试了 B:还是不行 拼接后的微调数据格式示例: {"context": ["xxx号话务员为您服务! 先生您好,有什么可以帮助您的?", "你好,是这样的 我家里上不了网了 网连不上", "先生,您家的网络无法连接是吗
创建原始数据集前,请先按照数据集格式要求提前准备数据。如果需要使用OBS服务导入数据,请详见通过控制台快速使用OBS。 在使用OBS服务上传数据时,如果遇到网络报错“NET::ERR_CERT_AUTHORITY_INVALID”,是由于域名未绑定有效的SSL证书,导致HTTPS请求被浏览器拦截。可以通过以下方法进行规避:
PDF内容提取 从PDF中提取内容转换为结构化数据。 JSON内容提取 从JSON文件(键值对类型文件)中提取出内容。 HTML内容提取 基于标签路径提取HTML数据内容,并将其他与待提取标签路径无关的内容删除。 电子书内容提取 从电子书中提取出所有文本内容。 智能文档解析 从P
盘古-NLP-N2-基础功能模型 准备训练数据 本场景不涉及自监督训练,无需准备自监督数据。 微调数据来源: 来源一:真实业务场景数据。 来源二:基于大模型的数据泛化。基于目标场任务的分析,通过人工标注部分数据样例,然后利用大模型(如盘古提供的任意规格的基础功能模型)采用self-instruct等方式,泛化出更多的业务场景数据。
数据评估意义 数据评估在数据工程中的作用非常重要,它帮助用户确保数据在进入模型训练阶段之前具备高质量,从而提升模型的效果和可靠性。数据评估的主要意义体现在以下几个方面: 确保数据质量:通过评估数据集的准确性、完整性和一致性,用户可以及时发现并修复数据中的问题,确保数据符合训练标准。
评估数据集(可选) 创建数据集评估标准 创建数据集评估标准。评估文本通顺性、信息充分性、内容有效性等。 创建数据集评估任务 创建数据集质量评估任务,并基于评估标注对数据逐一评估其质量,评估后的数据可以用于模型训练。 获取数据集评估报告 查看数据集评估任务的进展和数据集质量。 发布数据集 创建数据集发布任务
训练数据为纯图片,要求为png格式。 数据集最大100万个文件,单文件最大10GB,整个数据集最大10TB。 图片+骨骼关键点坐标标注(图片+json) 基于开源COCO人物关键点标注格式对数据集进行标注,需包含annotations,train,val文件夹,annotations文件夹下用train