检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配比文本类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至发布文本类数据集。 创建文本类数据集配比任务 创建文本类数据集配比任务步骤如下: 登录ModelArts St
指令调测完成后,单击“创建并启动”,平台将启动合成任务。 当数据合成任务运行成功后,状态将从“运行中”变为“运行成功”,表示数据已经完成合成操作。 在完成数据合成后,若无需使用数据标注、数据配比功能,可直接在“合成任务”页面单击操作列“生成”,生成加工数据集。 生成的加工数据集可在“数据工程 > 数据管理 > 数据集
图片类加工算子介绍 数据加工算子为用户提供了多种数据操作能力,包括数据提取、过滤、转换、打标签等。这些算子能够帮助用户从海量数据中提取出有用信息,并进行深度加工,以生成高质量的训练数据。 平台提供了图文类、图片类加工算子,算子能力清单见表1。 表1 图片类加工算子能力清单 算子分类
标注视频类数据集 创建视频类数据集标注任务 标注视频类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1。
标注文本类数据集 创建文本类数据集标注任务 标注文本类数据集任务前,请先完成数据导入操作,具体步骤请参见导入数据至盘古平台。 数据标注功能支持创建标注任务、标注数据集(标注作业)、审核标注后的数据集(审核作业)与管理标注任务(任务管理)。其中,不同角色权限支持的功能及展示的前端界面略有差异,详见表1。
型性能。 如果无需使用数据评估操作,可跳过此章节至发布图片类数据集。 创建图片类数据集评估标准 ModelArts Studio大模型开发平台针对图片类数据集预设了一套基础评估标准,涵盖了图像清晰度、分辨率、标签准确性、图像一致性等多个质量维度,用户可以直接使用该标准或在该标准的基础上创建评估标准。
标准格式:数据工程功能支持的原始格式。该格式的数据集可发布到资产中,但下游模型开发不可见。 盘古格式:使用盘古大模型训练时所需要使用的数据格式,该数据集将被用于ModelArts Studio大模型开发平台的模型开发中使用。 如果使用该数据集训练盘古大模型,请将发布格式配置为盘古格式。 填写数据集名称、描述
加工模板”进行使用。 若选择使用加工模板,将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后,单击“启动加工”,将启动加工任务。 当数据加工任务运行成功后,状态将从“运行中”变为“运行成功”,表示数据已经完成加工。 在完成数据加工后,如果无需使用数据标注、数据合
选择“全部标注”:要求标注人员需要对全部的数据进行人工标注后才可提交标注结果。 选择“可部分标注”:允许标注人员在确认AI预标注满足要求后,直接使用AI预标注功能完成数据集的标注并提交标注结果。 标注审核 是否审核 否,标注后不进行审核操作。 是,审核员会检查标注员的标注内容,若发现问
配比图片类数据集 数据配比是将多个数据集按照特定比例关系组合并发布为“发布数据集”的过程,确保数据的多样性、平衡性和代表性。 如果单个数据集已满足您的需求,可跳过此章节至发布图片类数据集。 创建图片类数据集配比任务 创建图片类数据集配比任务步骤如下: 登录ModelArts St
如果您需要为企业员工设置不同的访问权限,以实现功能使用权限和资产的权限隔离,可以为不同员工配置相应的角色,以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用盘古的其他功能。 您可以使用统一身份认证服务(IAM)并结合ModelArts
何符号、字词和格式”, 如果使用“请阅读上述文档,并生成以下问题答案”,“生成”一词不是很恰当,模型会引入一些外部知识。 例如,在构造泛化问题的任务中,需要基于原问题改写为相同含义的问题,而不是生成相似的问题。当提示词使用“请生成10个跟“手机银行怎么转账”相似的问题”时,模型会
义的表述。这有助于模型更好地理解任务需求。 使用具体且相关的词汇:在提示词中尽量使用与任务相关的具体词汇,这有助于模型捕捉到关键信息,提高生成质量。 适当使用否定词:在某些任务中,使用否定词可以帮助模型更好地理解输入,从而生成更准确的输出。 结合上下文信息 利用上下文信息优化提示
与其他服务的关系 与对象存储服务的关系 盘古大模型使用对象存储服务(Object Storage Service,简称OBS)存储数据和模型,实现安全、高可靠和低成本的存储需求。 与ModelArts服务的关系 盘古大模型使用ModelArts服务进行算法训练部署,帮助用户快速创建和部署模型。
build(ClientBuilder.java:98) HttpConfig这个类在sdk-core包里面找不到,造成原因为用户使用的sdk版本太老导致,建议使用最新版本的华为云java sdk,运行代码再具体定位。 java.lang.NoSuchFieldError: ALLOW_
创建推理作业 功能介绍 支持调用科学计算大模型创建气象/降水模型的推理作业。 URI 获取URI方式请参见请求URI。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数(Token认证) 参数 是否必选 参数类型 描述 X-Auth-Token
创建推理作业 功能介绍 支持调用科学计算大模型创建海洋类模型的推理作业。 URI 获取URI方式请参见请求URI。 请求参数 使用Token认证方式的请求Header参数见表1。 表1 请求Header参数(Token认证) 参数 是否必选 参数类型 描述 X-Auth-Token
表示模型生成的答案中包含的tokens的数量。 prompt_tokens Number 表示生成结果时使用的提示文本的tokens的数量。 total_tokens Number 对话过程中使用的tokens总数。 流式(stream参数为true) 状态码: 200 表10 流式输出的数据单元
包年/包月计费模式:包年/包月的计费模式是一种预付费方式,按订单的购买周期计费,适用于可预估资源使用周期的场景。 按需计费模式:按需付费是后付费方式,可以随时开通/关闭对应资源,支持秒级计费,系统会根据云服务器的实际使用情况每小时出账单,并从账户余额里扣款。 父主题: 计费FAQ
力,引导模型生成更准确、更有针对性的输出,从而提高模型在特定任务上的性能。 在创建提示词工程前,可以先使用预置的提示词模板,或基于提示词模板进行改造 。如果提示词模板满足不了使用需求可再单独创建。 提示词模板可在平台“Agent 开发 > 提示词工程 > 提示词模板”中获取。 父主题: