检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进行最终优化,以确保满足业务需求,然后将其部署和调用,用于实际应用。 NLP大模型选择建议 选择合适的NLP大模型类型有助于提升训练任务的准确程度。您可以根据模型可处理最大Token长度,选择合适的模型,从而提高模型的整体效果,详见表1。
模型学习解题的模式和思路。通过这些示例,模型能够理解如何通过不同的推理步骤逐渐得出结论。 例如,在数学问题中,可以通过展示从问题解析到公式应用再到最终解答的完整过程,帮助模型理解问题解决的逻辑。 引导模型分析:如果没有直接的示例或现有示例不适用,可以引导模型首先进行“详细分析”,
模型数据集流程见表2。 表2 盘古预测大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 发布预测类数据集 流通预测类数据集 数据流通是将单个数据集发布为
support. 数据集中的内容不支持,请保证上传的数据格式与平台要求的一致。 get obs bucket folders error. 请检查OBS服务是否正常,是否可以访问OBS桶数据。 数据清洗 dataset is not online. 数据清洗使用的数据集未上线,请先执行上线操作。
看模型的所有历史版本及操作记录,从而了解模型的演变过程。同时,平台支持一系列便捷的模型操作,如模型训练、压缩和部署,帮助用户简化模型开发和应用流程。此外,平台还提供了导入和导出功能,支持用户将其他局点的盘古大模型迁移到本地局点,这使得模型资产在不同局点间的共享和管理变得更加灵活高效。
全球中期天气要素预测:通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型,即以起报时刻开始,分别可以
"target":"你好,请问有什么可以帮助你的?"},{"context":"请介绍一下华为云的产品。","target":"华为云提供包括但不限于计算、存储、网络等产品服务。"}] 单个文件大小不超过50GB,文件数量最多1000个。。 多轮问答(人设) jsonl jsonl格式:数组格式,至少由一组问答对
模型数据集流程见表2。 表2 盘古CV大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工图片、视频类数据集 清洗图片、视频类数据集 通过专用的清洗算
型数据集流程见表3。 表3 盘古NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 清洗文本类数据集 通过专用的清洗算子对数据进行
不同场景和需求。不同模型在处理上下文token长度和功能上有所差异,以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古NLP大模型规格 模型支持区域 模型名称 可处理最大上下文长度 可处理最大输出长度 说明 西南-贵阳一 Pangu-NLP-
Gallery订阅的数据资产。 除了用户自行发布的数据集,平台还提供了从AI Gallery中订阅数据资产的功能。AI Gallery提供了模型、数据集、AI应用等AI数字资产的共享,为企业级或个人开发者等群体,提供安全、开放的共享及交易环节。 发布数据资产至AI Gallery 登录ModelArts
Studio大模型开发平台为用户提供了多种规格的科学计算大模型,以满足不同场景和需求。以下是当前支持的模型清单,您可以根据实际需求选择最合适的模型进行开发和应用。 表1 盘古科学计算大模型规格 模型支持区域 模型名称 说明 西南-贵阳一 Pangu-AI4S-Ocean_24h-20241130
在实际流程中,通过设定训练指标对模型进行监控,以确保效果符合预期。在微调后,评估用户模型,并进行最终优化,确认其满足业务需求后,进行部署和调用,以便实际应用。 科学计算大模型选择建议 科学计算大模型支持训练的模型类型有:全球中期天气要素模型、降水模型、区域中期海洋智能预测模型。 全球中期天气要素预测模型、降水模型选择建议:
础。 数据工程包含的具体功能如下: 数据获取:数据获取是数据工程的第一步,支持将不同来源和格式的数据导入平台。 支持的接入方式:通过OBS服务导入数据。 支持的数据类型:文本、图片、视频、气象、预测、其他。 自定义格式:用户可以根据业务需求上传自定义格式的数据,提升数据获取的灵活性和可扩展性。
数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工气象类数据集 清洗气象类数据集 通过专用的清洗算子对数据进行
4096 温度(temperature) 0.3 核采样(top_p) 1.0 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人工评测的方案来评估模型效果。若评测过程中出现如下问题,可以参考解决方案进行优化: 问题一:模型答案没有按照Prompt要求回
1024 温度(temperature) 0.3 核采样(top_p) 0.8 话题重复度控制(presence_penalty) 0 部署推理服务后,可以采用人工评测的方案来评估模型效果。如下提供了本场景可能存在的常见问题,若在评测过程中出现如下问题,可以参考解决: 问题一:JSON字段缺失、JSON字段或值错误。