检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
通过这些功能，平台能够帮助用户科学管理和发布数据集，确保数据集质量符合大模型训练的需求，从而提高后续模型训练的效果。 数据发布意义 数据发布不仅仅是将数据转换为不同格式，还包括根据任务需求评估数据集效果，确保数据在规模、质量和内容上满足训练标准。具体而言，数据发布具备以下几个重要意义： 多格式支持
Pangu-AI4S-Weather_Precip-20241030 - - - - √ √ Pangu-AI4S-Weather-Precip_6h-3.0.0 - - - - √ √ Pangu-AI4S-Weather-Precip_6h-3.1.0 - - - - √ √
保不同业务场景下的数据获取需求得到满足。 数据加工：平台提供强大的数据加工功能，可以对文本、视频、图片、气象类型的数据进行数据提取、过滤、转换、打标签和评分等加工处理。针对不同类型的数据集，平台提供了专用的清洗算子以及支持用户创建自定义算子实现个性化的数据清洗诉求。确保生成高质量
选择合适的模型，从而提高模型的整体效果，详见表1。 此外，不同类型的NLP大模型在训练过程中，读取中文、英文内容时，字符长度转换为Token长度的转换比有所不同，详见表2。 表1 不同系列NLP大模型对处理文本的长度差异 模型名称 可处理最大上下文长度 可处理最大输出长度 说明
准备工作 注册华为账号并开通华为云，并完成实名认证，账号不能处于欠费或冻结状态。 检查开发环境要求，确认本地已具备开发环境。 登录“我的凭证 > 访问密钥”页面，依据界面操作指引获取Access Key（AK）和Secret Access Key（SK）。下载的访问密钥为credentials
中的有效信息，完成问题的回答。 除了上述提到的四个模块以外，还需要一个编排流程的pipeline，将这些模块提供的API接口进行编排，串联query改写、意图识别模块、检索模块和问答模块。该pipeline负责接收前端用户输入的query和历史问答，逐步处理并最终输出答案，展示在前端界面。
插件节点 101741 插件组件初始化失败。 检查插件组件配置，可能为校验报错。 101742 工作流插件节点参数类型转换时出错。 根据error message确定具体转换出错的参数名称，并确认类型是否正确。 101743 工作流插件节点的input在插件定义中不存在。 检查插件定义和对应的组件定义是否匹配。
策略信息 策略名称 拥有细粒度权限/Action 权限描述 Pangu OBSWriteOnly obs:object:AbortMultipartUpload obs:object:DeleteObject obs:object:DeleteObjectVersion obs:object:PutObject
U：U风 V：V风 MLSP：海平面气压 U10：10米U风，经度方向 V10：10米V风，纬度方向 T2M：2米温度 PRECIP6：过去6h累计降水 PRECIP24：过去24h累计降水 1、3、6、24小时 0.25°*0.25° 全球 支持训练的模型清单见表2，您可根据具体使用场
去除重复数据：确保数据集中每条数据的唯一性。 填补缺失值：填充数据中的缺失部分，常用方法包括均值填充、中位数填充或删除缺失数据。 数据标准化：将数据转换为统一的格式或范围，特别是在处理数值型数据时（如归一化或标准化）。 去噪处理：去除无关或异常值，减少对模型训练的干扰。 数据预处理的目的是
80d14e684b", "name": "project_name", "description": "", "links": { "next": null,
包年/包月和按需计费模式有什么区别 包年/包月和按需计费模式哪个更划算 同一资源是否同时支持包年/包月和按需计费两种模式 包年/包月和按需计费模式是否支持互相切换 资源到期了如何续费
按需计费是一种后付费模式，即先使用再付费，按照实际使用时长计费。 在购买后，如果发现当前计费模式无法满足业务需求，您还可以变更计费模式。详细介绍请参见变更计费模式。 计费项 盘古大模型的计费项由模型订阅、数据资源、训练资源和推理资源费用组成。了解每种计费项的详细信息，请参考计费项。
Agent Operator 拥有该权限的用户可以切换角色到委托方账号中，访问被授权的服务。 Tenant Administrator 全部云服务管理员（除IAM管理权限）。 Security Administrator 统一身份认证服务（除切换角色外）所有权限。 图3 添加用户组权限 设置最小授权范围。
U：U风 V：V风 MLSP：海平面气压 U10：10米U风，经度方向 V10：10米V风，纬度方向 T2M：2米温度 PRECIP6：过去6h累计降水 PRECIP24：过去24h累计降水 1、3、6、24小时 0.25°*0.25° 全球 响应参数 状态码： 201 表9 响应Body参数
本空间”页面，单击支持导出的模型名称，右上角的“导出模型”。 在“导出模型”页面，选择需要导出的模型，应设置导出模型时对应的导出位置（OBS桶地址），添加从环境B中下载的用户证书。设置完成后单击“确定”导出模型。 图2 导出模型 导入其他局点盘古大模型 导入盘古大模型前，请确保当前空间为该用户所创建的空间。
Pangu-AI4S-Weather_6h Pangu-AI4S-Weather_24h Pangu-AI4S-Weather_Precip 包年/包月（1~9个月，包年为1年） 盘古-天气气象-专业版 Pangu-AI4S-Ocean_24h Pangu-AI4S-Weather_1h
INT4：该压缩策略与INT8相比，可以进一步减少模型的存储空间和计算复杂度。 配置资源。选择计费模式并设置训练单元。 可选择开启订阅提醒。开启后，系统将在本次压缩任务状态变更时，向用户发送短信/邮件提醒。 填写基本信息，包括任务名称、压缩后模型名称与描述，单击“立即创建”。 当压缩任务状态为“已完成”时，表示模型已完成压缩操作。
已部署服务：选择部署至ModelArts Studio平台的模型进行评测。 外部服务：通过API的方式接入外部模型进行评测。选择外部服务时，需要填写外部模型的接口名称、接口地址、请求体、响应体等信息。 请求体支持openai、tgi、自定义三种格式。openai格式即是由OpenAI公司开发并标准化的一种大模型请求格式；tgi格式即是Hugging
大模型的计量单位token指的是什么 令牌（Token）是指模型处理和生成文本的基本单位。token可以是词或者字符的片段。模型的输入和输出的文本都会被转换成token，然后根据模型的概率分布进行采样或计算。 例如，在英文中，有些组合单词会根据语义拆分，如overweight会被设计为2个to
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
