检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
模型操作,如模型训练、压缩和部署,帮助用户简化模型开发和应用流程。此外,平台还提供了导入和导出功能,支持用户将其他局点的盘古大模型迁移到本地局点,这使得模型资产在不同局点间的共享和管理变得更加灵活高效。 通过统一管理空间资产,平台不仅帮助用户高效组织和利用资源,还保障了资产的安全
欠拟合等异常情况。 模型评估:使用平台的“模型评估”功能,“模型评估”将对您之前上传的测试集进行评估。通过查看测试集样本的PPL、BLEU和ROUGE等指标,进行横向(相同训练数据+不同规格的通用模型)或纵向(不同训练数据训练的多个模型版本)对比来判断训练过程是否出现了问题。 人
率信息。这种方法可以更好地表达预报的不确定性,从而提高预报的准确性和可靠性。 集合成员数 用于选择生成预报的不同初始场的数量,取值为2~10。 扰动类型 用于选择生成集合预报初始场的扰动类型,包括perlin加噪和CNOP加噪两种方式。 Peilin噪音通过对输入数据(比如空间坐
管理盘古工作空间成员 如果您需要为企业员工设置不同的访问权限,以实现功能使用权限和资产的权限隔离,可以为不同员工配置相应的角色,以确保资产的安全和管理的高效性。 如果华为云账号已经能满足您的要求,不需要创建独立的IAM用户(子用户)进行权限管理,您可以跳过本章节,不影响您使用盘古的其他功能。
的形式和丰富的内容吸引了大量流量,并为企业和个人提供了一个全新的营销平台。短视频用户希望借助大模型快速生成高质量的口播文案,以提升营销效果和效率。在这种场景下,用户只需提供一些基本信息,大模型就能生成需求的文案,从而大大提高文案的质量和效率。 除了短视频风格的口播文案,营销文案还
使用推理SDK 安装SDK 使用SDK前,需要安装“huaweicloud-sdk-core”和“huaweicloud-sdk-pangulargemodels”。 请在SDK中心获取最新的sdk包版本,替换示例中版本。 表1 安装推理SDK SDK语言 安装方法 Java 在
命令案例:科技行业公司的平均利润和市值是多少 通过调用大模型,获取更多数据: 1. "请给我科技行业公司的利润平均值和市值平均值。" 2. "科技行业的公司平均利润和市值都是多少?" 3. "我需要知道科技行业公司的平均利润和平均市值。" 4. "能告诉我一下科技行业公司的平均利润和市值是多少吗?"
用较大的学习率和较大的批量大小,以提高训练效率。如果微调数据量相对较少,则可以使用较小的学习率和较小的数据批量大小,避免过拟合。 通用模型的规格:如果模型参数规模较小,那么可能需要较大的学习率和较大的批量大小,以提高训练效率。如果规模较大,那么可能需要较小的学习率和较小的批量大小,防止内存溢出。
据具有时间顺序。 具体格式要求详见表1。 表1 预测类数据集格式要求 文件内容 文件格式 文件样例 时序 csv 数据为结构化数据,包含列和行,每一行表示一条数据,每一列表示一个特征,并且必须包含预测目标列,预测目标列要求为连续型数据。 目录下只有1个数据文件时,文件无命名要求。
网页标签符号<p>。 特殊符号,比如● █ ◆。 乱码和无意义的字符�����。 自定义正则过滤 删除符合自定义正则表达式的数据。 自定义关键词过滤 剔除包含关键词的数据。 敏感词过滤 对文本中涉及黄色、暴力、政治、机密和知识产权等敏感数据进行自动检测和过滤。 文本长度过滤 按照设置的文本长度,对长度范围内的数据进行保留。
在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件,可以与原始数据进行比对,查看加工前后的差异。 在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。
在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件,可以与原始数据进行比对,查看加工前后的差异。 在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。
在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件,可以与原始数据进行比对,查看加工前后的差异。 在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。
在“加工详情”页签可以查看数据集的加工步骤和运行日志。 在“数据文件”页签可下载加工后的数据文件,可以与原始数据进行比对,查看加工前后的差异。 在“数据血缘”页签查看该数据集所经历的操作,如加工、发布操作。 上线后的加工数据集不支持编辑和删除操作。若执行该操作,需将数据集下线。
全球范围,纬度90N~-90S,经度0W~360E。 训练集和验证集均推荐使用>1个月的历史数据。 训练数据一般可通过公开数据集获取,例如ERA5。ERA5是由欧洲中期天气预报中心(ECMWF)提供的全球气候的第五代大气再分析数据集,它覆盖从1940年1月至今的时间段,提供每小时的大气、陆地和海洋气候变量的估计值。
已选择数据集配比”中,用户可以设置从数据集中抽取指定数量的数据用于训练。进行数据配比的目的是为了确保模型能够更全面地学习和理解数据的多样性,提升模型的泛化能力和性能。 图4 发布方式2 图5 数据集配比 设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型,为了使这些数据
已选择数据集配比”中,用户可以设置从数据集中抽取指定数量的数据用于训练。进行数据配比的目的是为了确保模型能够更全面地学习和理解数据的多样性,提升模型的泛化能力和性能。 图4 发布方式2 图5 数据集配比 设置发布格式。由于数据工程需要支持对接盘古大模型或三方大模型,为了使这些数据
场景 选择“区域中期海洋智能预测”。 训练类型 可根据科学计算大模型适用场景和建议选择“预训练”和“微调”。 基础模型 可以选择“预置模型”和“我的模型”,模型会自带时间分辨率,会根据预设的时间间隔处理和生成预测结果。 若训练类型为“预训练”,训练任务使用训练数据重新训练出与基础模型分辨率相同的模型。
注,需包含annotations,train,val文件夹,annotations文件夹下用train.json和val.json记录训练集和验证集标注,train和val文件夹下保存具体的图片。具体示例如下: ├─annotations │ train.json │
图文类加工算子能力清单 表1 图文类加工算子能力清单 算子分类 算子名称 算子描述 数据提取 图文提取 提取图文压缩包中的JSON文本和图片,并对图片进行结构化解析(BASE64编码)。 数据过滤 图文文本长度过滤 过滤文本长度不在“文本长度范围”内的图文对。一个中文汉字或一个英文字母,文本长度均计数为1。