检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用盘古预置NLP大模型进行文本对话 场景描述 此示例演示了如何使用盘古预置NLP大模型进行对话问答,包含两种方式:使用“能力调测”功能和调用API接口。 您将学习如何使用“能力调测”功能调试模型超参数、如何调用盘古NLP大模型API以实现智能化对话问答能力。 准备工作 请确保您
发布文本类数据集 发布图片类数据集 发布视频类数据集 发布气象类数据集 发布预测类数据集 发布其他类数据集 管理发布后的数据集 父主题: 使用数据工程构建数据集
数据集加工场景介绍 数据集加工算子介绍 加工文本类数据集 加工图片类数据集 加工视频类数据集 加工气象类数据集 管理加工后的数据集 父主题: 使用数据工程构建数据集
数据集版权。训练模型的数据集除用户自行构建外,也可能会使用开源的数据集。数据集版权功能主要用于记录和管理数据集的版权信息,确保数据的使用合法合规,并清晰地了解数据集的来源和相关的版权授权。通过填写这些信息,可以追溯数据的来源,明确数据使用的限制和许可,从而保护数据版权并避免版权纠纷。
文本类数据集格式要求 图片类数据集格式要求 视频类数据集格式要求 气象类数据集格式要求 预测类数据集格式要求 其他类数据集格式要求 父主题: 使用数据工程构建数据集
将存储在OBS中的数据导入至平台进行使用。 具体操作步骤如下: 上传数据至OBS:将本地数据上传至OBS服务,请详见通过控制台快速使用OBS。 使用数据导入功能:通过平台提供的“数据导入”功能,将数据从OBS导入到平台。 父主题: 大模型使用类
使用数据工程构建科学计算大模型数据集 科学计算大模型支持接入的数据集类型 盘古科学计算大模型仅支持接入气象类数据集,该数据集格式要求请参见气象类数据集格式要求。 训练科学计算大模型训练数据要求所需数据量 构建科学计算大模型进行训练的数据要求见表1。 表1 科学计算大模型训练数据要求
骤操作: 进入平台的“空间资产 > 模型 > 预置”页面。 在该页面中,单击所需的模型,即可查看历史版本及相关操作记录。 父主题: 大模型使用类
在创建训练任务或部署任务时,所消耗的训练单元或推理单元与算力的对应关系如下: 1个训练单元的算力为313T。 1个推理单元的算力为313T。 父主题: 大模型使用类
} ], "temperature": 0.9, "max_tokens": 600 } 父主题: 大模型使用类
发布视频类数据集 评估视频类数据集 发布视频类数据集 父主题: 发布数据集
加工文本类数据集 加工文本类数据集 合成文本类数据集 标注文本类数据集 配比文本类数据集 父主题: 加工数据集
发布文本类数据集 评估文本类数据集 发布文本类数据集 父主题: 发布数据集
数据集加工算子介绍 文本类加工算子介绍 视频类加工算子介绍 图片类加工算子介绍 气象类加工算子介绍 父主题: 加工数据集
加工视频类数据集 加工视频类数据集 标注视频类数据集 父主题: 加工数据集
标准格式:适用于广泛的数据使用场景,满足大多数模型训练的标准需求。该格式的数据集将发布到资产中,但下游模型开发不可见。 盘古格式:专为盘古大模型训练设计的格式,确保数据集在盘古模型训练中的兼容性和一致性。该格式的数据集将被用于ModelArts Studio大模型开发平台的模型开发功能使用。 除文
算子编排 在编排过程中,可单击右上角“保存为新模板”将当前编排流程保存为模板。后续创建新的数据加工任务时,可直接单击“选择加工模板”进行使用。 若选择使用加工模板,将删除当前已编排的加工步骤。 图2 选择加工模板 加工步骤编排完成后,单击“启动加工”,将启动加工任务。 当数据加工任务运
如果您需要为企业员工设置不同的访问权限,以实现功能使用权限和资产的权限隔离,可以为不同员工配置相应的角色,以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用盘古的其他功能。 您可以使用统一身份认证服务(IAM)并结合ModelArts
发布图片类数据集 评估图片类数据集 发布图片类数据集 父主题: 发布数据集
加工图片类数据集 加工图片类数据集 标注图片类数据集 配比图片类数据集 父主题: 加工数据集