华为云用户手册

  • 操作流程 操作步骤 说明 准备工作 使用云服务前,您需要 注册华为账号 并开通华为云、完成实名认证、为账户充值。 步骤一:创建VPC和子网 创建一个IPv4网段的VPC,并从VPC中划分一个子网。 VPC IPv4网段:192.168.0.0/16 子网IPv4网段:192.168.0.0/24 子网IPv6网段:系统自动分配IPv6地址,本示例为2407:c080:1200:2075::/64 步骤二:购买E CS 基于已有的VPC和子网,购买一个ECS,并配置安全组等参数。 步骤三:购买EIP并绑定至ECS(IPv4公网通信) 购买EIP,并将EIP绑定至ECS,则ECS可以通过IPv4类型的EIP地址实现公网通信。 步骤四:购买共享带宽并添加ECS的IPv6网卡(IPv6公网通信) 购买共享带宽,并在共享带宽中添加ECS IPv6网卡,则ECS可以通过IPv6类型的IP地址实现公网通信。 步骤五:验证IPv4和IPv6网络通信情况 验证ECS的IPv4和IPv6通信情况: 验证通过客户的本地PC,使用ECS-A01的IPv4地址(EIP)和IPv6地址可以登录ECS。 验证ECS-A01的IPv4和IPv6公网通信情况。
  • 步骤二:购买ECS 进入购买弹性云服务器页面。 在“购买弹性云服务器”页面,根据界面提示配置弹性云服务器参数。 本示例中,ECS的网络配置详情如下: 网络:选择已创建的虚拟私有云和子网,VPC-A和Subnet-A01。 并选择“自动分配IP地址”和“自动分配IPv6地址”,则ECS会拥有IPv4和IPv6两个地址。 图5 网络 安全组:新建一个安全组Sg-A,并添加入方向和出方向规则。您在创建安全组的时候,系统会自动添加部分规则,您需要根据实际情况进行检查修改,确保表3中的规则均已正确添加。 图6 安全组入方向 图7 安全组出方向 表3 安全组Sg-A规则说明 方向 策略 类型 协议端口 源地址/目的地址 描述 入方向 允许 IPv4 TCP: 22 源地址:10.1.0.7/32 针对IPv4,放通安全组内ECS的SSH(22)端口,用于通过本地PC (10.1.0.7/32)远程登录Linux ECS。 入方向 允许 IPv6 TCP: 22 源地址:2002:20::44/128 针对IPv6,放通安全组内ECS的SSH(22)端口,用于通过本地PC (2002:20::44/128)远程登录Linux ECS。 入方向 允许 IPv4 TCP: 3389 源地址:10.1.0.7/32 针对IPv4,针对IPv4,放通安全组内ECS的RDP(3389)端口,用于通过本地PC (10.1.0.7/32)远程登录Windows ECS。 入方向 允许 IPv6 TCP: 3389 源地址:2002:20::44/128 针对IPv6,放通安全组内ECS的RDP(3389)端口,用于通过本地PC (2002:20::44/128)远程登录Windows ECS。 入方向 允许 IPv4 ICMP: 全部 源地址:0.0.0.0/0 针对IPv4,放通安全组内ECS的ICMP(全部)端口,用于外部通过ping命令测试ECS的网络连通性。 入方向 允许 IPv6 ICMPV6: 全部 源地址:::/0 针对IPv6,放通安全组内ECS的ICMP(全部)端口,用于外部通过ping命令测试ECS的网络连通性。 入方向 允许 IPv4 全部 源地址:当前安全组Sg-A 针对IPv4,用于安全组内ECS之间网络互通。 入方向 允许 IPv6 全部 源地址:当前安全组Sg-A 针对IPv6,用于安全组内ECS之间网络互通。 出方向 允许 IPv4 全部 目的地址:0.0.0.0/0 针对IPv4,用于安全组内ECS访问外部,允许流量从安全组内ECS流出。 出方向 允许 IPv6 全部 目的地址:::/0 针对IPv6,用于安全组内ECS访问外部,允许流量从安全组内ECS流出。 弹性公网IP:选择“暂不购买”。 图8 弹性公网IP ECS的其他配置请您按需选择,具体可请参见自定义购买ECS。 参数设置完成后,单击“立即购买”。 返回ECS列表页面,可以查看到已创建的ECS-A01。 创建ECS完成后,需要您登录至ECS内,确认当前ECS是否已成功获取到IPv6地址。 Windows公共镜像默认已开启IPv6动态获取功能,无需额外配置。 Linux公共镜像开启动态获取IPv6功能时,需要先判断是否支持IPv6协议栈,再判断是否已开启动态获取IPv6功能。 目前,所有Linux公共镜像均已支持IPv6协议栈。并且Ubuntu 16操作系统已默认开启动态获取IPv6功能,即Ubuntu 16操作系统无需额外配置,其他Linux公共镜像需要执行开启动态获取IPv6的操作。 如果您的镜像不支持自动分配IPv6地址,或者自动获取IPv6地址失败,您需要参考动态获取IPv6地址执行配置,否则ECS无法通过IPv6地址进行通信。
  • 使用须知 当前IPv4/IPv6双栈网络暂不收费,后续 定价 会根据运营商收费策略的变化进行调整。 IPv6功能目前仅在部分区域公测,具体公测区域请参见功能总览中“IPv4/IPv6双栈”功能的发布区域。申请公测权限后,才可以体验IPv6功能。 云耀云服务器 L实例 、旧版云耀云服务器不支持IPv6网络。 弹性 云服务器ECS 部分规格支持IPv6网络,只有选择支持IPv6的ECS,才可以使用IPv4/IPv6双栈网络。 在ECS控制台,单击“购买弹性云服务器”,进入购买页面查看ECS规格列表。当ECS规格列表中包含“IPv6”参数,且取值为“是”时,表示该规格的ECS支持IPv6网络。 图2 ECS规格列表 本示例网络规划仅供您参考,虚拟私有云和子网一旦创建完成,将无法修改网段,您需要根据具体的业务需求提前规划VPC的数量、子网的数量和IP网段划分等。 具体请参见虚拟私有云和子网规划建议。
  • 准备工作 在创建VPC和ECS等资源之前,请先注册华为账号并开通华为云、完成实名认证、为账户充值。请保证账户有足够的资金,以免创建资源失败。 注册华为账号并开通华为云,完成实名认证。 如果您已有一个华为账号,请跳到下一个步骤。如果您还没有华为账号,请执行以下操作。 注册华为账号并开通华为云 参考实名认证,完成个人或企业账号实名认证。 为账户充值。 您需要确保账户有足够金额,充值方式请参见账户充值。
  • 步骤四:验证网络通信情况 验证远程登录,使用本地PC远程登录ECS-A01。 弹性云服务器有多种登录方法,具体请参见登录弹性云服务器。 执行以下命令,验证ECS-A01和公网的通信情况。 ping IPv4公网IP地址或者 域名 命令示例: ping support.huaweicloud.com 回显类似如下信息,表示ECS-A01可以访问公网。 [root@ecs-a01 ~]# ping support.huaweicloud.com PING hcdnw.cbg-notzj.c.cdnhwc2.com (203.193.226.103) 56(84) bytes of data. 64 bytes from 203.193.226.103 (203.193.226.103): icmp_seq=1 ttl=51 time=2.17 ms 64 bytes from 203.193.226.103 (203.193.226.103): icmp_seq=2 ttl=51 time=2.13 ms 64 bytes from 203.193.226.103 (203.193.226.103): icmp_seq=3 ttl=51 time=2.10 ms 64 bytes from 203.193.226.103 (203.193.226.103): icmp_seq=4 ttl=51 time=2.09 ms ... --- hcdnw.cbg-notzj.c.cdnhwc2.com ping statistics --- 4 packets transmitted, 4 received, 0% packet loss, time 3004ms rtt min/avg/max/mdev = 2.092/2.119/2.165/0.063 ms
  • 准备工作 在创建VPC和ECS等资源之前,请先注册华为账号并开通华为云、完成实名认证、为账户充值。请保证账户有足够的资金,以免创建资源失败。 注册华为账号并开通华为云,完成实名认证。 如果您已有一个华为账号,请跳到下一个步骤。如果您还没有华为账号,请执行以下操作。 注册华为账号并开通华为云 参考实名认证,完成个人或企业账号实名认证。 为账户充值。 您需要确保账户有足够金额,充值方式请参见账户充值。
  • 操作流程 操作步骤 说明 准备工作 使用云服务前,您需要注册华为账号并开通华为云、完成实名认证、为账户充值。 步骤一:创建VPC和子网 创建一个IPv4网段的VPC,并从VPC中划分一个子网。 VPC IPv4网段:192.168.0.0/16 子网IPv4网段:192.168.0.0/24 步骤二:购买ECS 基于已有的VPC和子网,购买一个ECS,并配置安全组等参数。 步骤三:购买EIP并绑定至ECS 为ECS绑定一个EIP,ECS可以通过EIP访问公网。 步骤四:验证网络通信情况 验证ECS的通信情况: 通过客户的本地PC可以登录ECS。 通过ECS可以访问公网。
  • 步骤三:购买EIP并绑定至ECS 进入购买弹性公网IP页面。 在“购买弹性公网IP”页面,根据界面提示配置弹性公网IP参数。 请您按需选择EIP的配置参数,具体可请参见购买弹性公网IP。 参数设置完成后,单击“立即购买”。 返回EIP列表页面,可以查看到已创建的EIP-A。 在EIP列表中,单击EIP-A所在行的操作列下的“绑定”。 弹出“绑定弹性公网IP”对话框。 图8 绑定弹性公网IP 在对话框中,选择ECS-A01,并单击“确定”,将EIP-A绑定至ECS-A01。 返回EIP列表中,在“已绑定实例”列下,可查看到已绑定的ECS-A01。 图9 已绑定ECS-A
  • 步骤二:购买ECS 进入购买弹性云服务器页面。 在“购买弹性云服务器”页面,根据界面提示配置弹性云服务器参数。 本示例中,ECS的网络配置详情如下: 网络:选择已创建的虚拟私有云和子网,VPC-A和Subnet-A01。 图4 网络 安全组:新建一个安全组Sg-A,并添加入方向和出方向规则。您在创建安全组的时候,系统会自动添加部分规则,您需要根据实际情况进行检查修改,确保表3中的规则均已正确添加。 图5 安全组入方向 图6 安全组出方向 表3 安全组Sg-A规则说明 方向 策略 类型 协议端口 源地址/目的地址 描述 入方向 允许 IPv4 TCP: 22 源地址:10.1.0.7/32 放通安全组内ECS的SSH(22)端口,用于通过本地PC (10.1.0.7/32)远程登录Linux ECS。 入方向 允许 IPv4 TCP: 3389 源地址:10.1.0.7/32 放通安全组内ECS的RDP(3389)端口,用于通过本地PC (10.1.0.7/32)远程登录Windows ECS。 入方向 允许 IPv4 ICMP: 全部 源地址:0.0.0.0/0 放通安全组内ECS的ICMP(全部)端口,用于外部通过ping命令测试ECS的网络连通性。 入方向 允许 IPv4 全部 源地址:当前安全组Sg-A 用于安全组内ECS之间网络互通。 出方向 允许 IPv4 全部 目的地址:0.0.0.0/0 用于安全组内ECS访问外部,允许流量从安全组内ECS流出。 弹性公网IP:选择“暂不购买”。 图7 弹性公网IP ECS的其他配置请您按需选择,具体可请参见自定义购买ECS。 参数设置完成后,单击“立即购买”。 返回ECS列表页面,可以查看到已创建的ECS-A01。
  • 辅助弹性网卡应用场景 单个云服务器实例支持绑定的弹性网卡数量有限,当因业务需要绑定超过弹性网卡上限的网卡时,可以通过为弹性网卡挂载辅助弹性网卡实现。 为云服务器实例配置多个分属于同一VPC内不同子网的辅助弹性网卡,每个辅助弹性网卡拥有不同的私网IP、弹性公网IP,可以分别承载云服务器实例的内网、外网和管理网流量。 辅助弹性网卡可配置独立安全组策略,从而实现网络隔离与业务流量分离。 辅助弹性网卡通过VLAN子接口挂载在弹性网卡上,其组网示意图如图1所示,云服务器的主网卡和扩展网卡均支持挂载辅助弹性网卡。 图1 辅助弹性网卡挂载示意图
  • 计费说明 虚拟私有云VPC 服务下包含了多种产品资源,部分资源可以免费使用,部分资源需要支付费用,表1中为您详细介绍了虚拟私有云VPC各项资源的收费情况。 表1 VPC资源收费一览表 产品资源 收费情况说明 弹性公网IP和带宽 如果您使用了弹性公网IP和带宽的相关资源,则需要支付费用,费用账单中计费的“产品”项目说明如下: 弹性公网IP:收取弹性公网IP保有费。 您购买的按需计费弹性公网IP未绑定至任何实例(如ECS、ELB)时,会收取弹性公网IP保有费。 固定带宽:收取的可能是以下资源的费用。 弹性公网IP的带宽费用:包年/包月弹性公网IP的带宽费用、按需计费(按带宽计费)弹性公网IP的带宽费用、按需计费(按流量计费)弹性公网IP的流量费用。 共享带宽的费用 共享流量包的费用 带宽加油包:收取带宽加油包的费用。 以上计费项目的详细说明,请参见弹性公网IP计费说明。 VPC终端节点 如果您使用了VPC终端节点资源,则需要支付费用。 详细计费说明请参见VPC终端节点计费说明。 虚拟私有云 免费 子网 免费 路由表 免费 对等连接 免费 弹性网卡 免费 辅助弹性网卡 免费 IP地址组 免费 安全组 免费 网络ACL 免费 边缘网关 免费 VPC流日志 免费 流量镜像 免费 针对免费资源,当前暂不收费。待后续启动收费时,将会提前通知您。
  • 产品功能 VPC提供丰富的功能供您灵活配置服务,构建多元化组网,具体说明请参见表1。 VPC的基本功能:虚拟私有云、子网、路由表和路由、虚拟IP、弹性网卡、辅助弹性网卡 VPC的网络安全功能:安全组、网络ACL、IP地址组 VPC的网络连接功能:VPC对等连接 VPC的网络运维功能:VPC流日志、流量镜像 表1 虚拟私有云VPC功能概览 功能名称 功能描述 参考链接 虚拟私有云 虚拟私有云VPC是您在云上的私有网络,为云服务器、云容器、云数据库等云上资源构建隔离、私密的虚拟网络环境。VPC丰富的功能帮助您灵活管理云上网络,包括创建子网、设置安全组和网络ACL、管理路由表等。此外,您可以通过弹性公网IP连通云内VPC和公网网络,通过云专线、 虚拟专用网络 等连通云内VPC和线下数据中心,构建混合云网络,灵活整合资源。 创建虚拟私有云和子网 子网 子网是虚拟私有云内的IP地址集,可以将虚拟私有云的网段分成若干块,子网划分可以帮助您合理规划IP地址资源。虚拟私有云中的所有云资源都必须部署在子网内。同一个虚拟私有云下,子网网段不可重复。 为虚拟私有云创建新的子网 路由表和路由 路由表由一系列路由规则组成,用于控制VPC内出入子网的流量走向。VPC中的每个子网都必须关联一个路由表,一个子网只能关联一个路由表,但一个路由表可以同时关联至多个子网。 路由表和路由概述 虚拟IP 虚拟IP(Virtual IP Address)是从VPC子网网段中划分的一个内网IP地址,是一种可以独立申请和删除的内网IP地址,适用于以下场景: 将一个或者多个虚拟IP同时绑定至一个云服务器,可以通过任意一个IP地址(私有IP/虚拟IP)访问云服务器。通常当单个云服务器内同时部署了多种业务,此时可以通过不同的虚拟IP访问各个业务。 将一个虚拟IP同时绑定至多个云服务器,虚拟IP需要搭配高可用软件(比如Keepalived),用来搭建高可用的主备集群。 虚拟IP地址概述 弹性网卡 弹性网卡即虚拟网卡,您可以通过创建并配置弹性网卡,并将其附加到您的ECS实例上,实现灵活、高可用的网络方案配置。 弹性网卡概述 辅助弹性网卡 辅助弹性网卡是一种基于弹性网卡的衍生资源,用于解决单个云服务器实例挂载的弹性网卡超出上限,不满足用户使用需要的问题。辅助弹性网卡通过VLAN子接口挂载在弹性网卡上,您可以通过创建辅助弹性网卡,使单个云服务器实例挂载更多网卡,实现灵活、高可用的网络方案配置。 辅助弹性网卡概述 安全组 安全组是一个逻辑上的分组,为同一个VPC内具有相同安全保护需求并相互信任的弹性云服务器提供访问策略。安全组创建后,用户可以在安全组中定义各种访问规则,当弹性云服务器加入该安全组后,即受到这些访问规则的保护。 安全组和安全组规则概述 网络ACL 网络ACL是一个子网级别的可选安全防护层,您可以在网络ACL中设置入方向和出方向规则,并将网络ACL绑定至子网,可以精准控制出入子网的流量。 网络ACL概述 IP地址组 IP地址组是一个或者多个IP地址的集合,可关联至安全组、网络ACL,用于简化网络架构中IP地址的配置和管理。 IP地址组概述 VPC对等连接 对等连接是建立在两个VPC之间的网络连接,不同VPC之间网络不通,通过对等连接可以实现不同VPC之间的云上内网通信。对等连接用于连通同一个区域内的VPC,您可以在相同账户下或者不同账户下的VPC之间创建对等连接。 对等连接概述 共享VPC 共享VPC功能支持多个账号在一个集中管理、共享的VPC内创建云资源,比如ECS、ELB、RDS等。共享VPC基于 资源访问管理 RAM服务的机制,VPC的所有者可以将VPC内的子网共享给一个或者多个账号使用。通过共享VPC功能,可以简化网络配置,帮助您统一配置和运维多个账号下的资源,有助于提升资源的管控效率,降低运维成本。 共享VPC概述 边缘网关 边缘网关是指在同一个虚拟私有云内,用来连接边缘可用区子网和中心可用区子网、以及不同边缘可用区子网之间的云内网络。 边缘网关概述 IPv4/IPv6双栈网络 IPv4/IPv6双栈可为您的实例提供两个不同版本的IP地址:IPv4地址和IPv6地址,这两个IP地址都可以进行内网/公网访问。 IPv4/IPv6双栈网络 VPC流日志 VPC流日志功能可以记录虚拟私有云中的流量信息,帮助您检查和优化安全组和网络ACL控制规则、监控网络流量、进行网络攻击分析等。 VPC流日志概述 流量镜像 VPC流量镜像功能可以镜像弹性网卡符合筛选条件的报文。您需要设置入方向和出方向的筛选条件,经过弹性网卡的流量符合筛选条件时,将被镜像到指定的云服务器网卡或者弹性负载均衡ELB实例,适用于网络流量检查、审计分析以及问题定位等场景。 流量镜像概述
  • 科学计算大模型训练类型选择建议 目前,全球中期天气要素模型提供训练功能和推理功能,降水模型仅提供推理功能。 全球中期天气要素预测模型的训练类型选择建议: 全球中期天气要素预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的中期天气要素预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下: 预训练:训练用于添加新的高空层次、高空变量或表面变量。如果您需要在现有模型中引入新要素,需要使用训练(重新训练模型)。在重训配置参数时,您可以选择新要素进行训练。请注意,所选的数据集必须包含您想要添加的新要素。此外,您还可以通过训练更改所有的模型参数,以优化模型性能。 微调:微调是将新数据应用于已有模型的过程。它适用于不改变模型结构参数和引入新要素的情况。如果您有新的观测数据,可以使用微调来更新模型的权重,以适应新数据。 中期海洋智能预测模型的训练类型选择建议: 中期海洋智能预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域中期海洋智能预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下: 预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。 区域大气污染物预测模型的训练类型选择建议: 区域大气污染物预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域大气污染物预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下: 预训练:可以在重新指定大气污染物要素、以及时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
  • 科学计算大模型训练流程介绍 科学计算大模型的训练主要分为两个阶段:预训练与微调。 预训练阶段:预训练是模型学习基础知识的过程,基于大规模通用数据集进行。例如,在区域海洋要素预测中,可以重新定义深海变量、海表变量,调整深度层、时间分辨率、水平分辨率以及区域范围,以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段:在预训练模型的基础上,微调利用特定领域的数据进一步优化模型,使其更好地满足实际任务需求。例如,区域海洋要素预测的微调是在已有模型上添加最新数据,不改变模型结构参数或引入新要素,以适应数据更新需求。 在实际流程中,通过设定训练指标对模型进行监控,以确保效果符合预期。在微调后,评估用户模型,并进行最终优化,确认其满足业务需求后,进行部署和调用,以便实际应用。
  • 科学计算大模型选择建议 科学计算大模型支持训练的模型类型有:全球中期天气要素模型、区域中期海洋智能预测模型。 全球中期天气要素预测模型选择建议: 科学计算大模型的全球中期天气要素预测模型,可以对未来一段时间的天气进行预测,具备以下优势: 高时间精度:全球中期天气要素预测模型可以预测未来1、3、6、24小时的天气情况,降水模型可预测未来6小时的降水情况。高时间精度对于农业、交通、能源等领域的决策和规划非常重要。 全球覆盖:全球中期天气要素预测模型和降水模型能够在全球范围内进行预测,不仅仅局限于某个地区。它的分辨率相当于赤道附近每个点约25公里*25公里的空间。 数据驱动:全球中期天气要素预测模型和降水模型使用历史天气数据来训练模型,从而提高预测的准确性。这意味着它可以直接利用过去的观测数据,而不仅仅依赖于数值模型。 全球中期天气要素预测模型、降水模型信息见表 全球中期天气要素预测模型信息表。 表1 全球中期天气要素预测模型信息表 模型 预报层次 预报高空变量 预报表面变量 时间分辨率 水平分辨率 区域范围 全球中期天气要素预测模型 13层(1000hpa,925hpa, 850hpa,700hpa, 600hpa,500hpa,400hpa,300hpa,250hpa,200hpa,150hpa,100hpa,50hpa) T:温度 Q:比湿 Z:重力位势 U:U风 V:V风 MLSP:海平面气压 U10:10米U风,经度方向 V10:10米V风,纬度方向 T2M:2米温度 1、3、6、24小时 0.25°*0.25° 全球 支持训练的模型清单见表 中期天气要素预测模型的类型,您可根据具体使用场景选择合适的模型。例如天气基础要素预测,需要时间分辨率为1小时的场景下,您可以选择Pangu-AI4S-Global-Weather-v1.1.0-1h模型。 表2 中期天气要素预测模型 模型名称 模型版本及时间分辨率 说明 Pangu-AI4S-Global-Weather v1.1.0-1h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为1小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.2.0-3h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为3小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.3.0-6h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为6小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.4.0-24h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为24小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.1.1-1h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为1小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.2.1-3h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为3小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.3.1-6h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为6小时,1个训练单元起训及1个实例部署。 Pangu-AI4S-Global-Weather v1.4.1-24h 2025年3月发布的版本,用于天气基础要素预测,时间分辨率为24小时,1个训练单元起训及1个实例部署。 中期海洋智能预测模型选择建议: 科学计算大模型的中期海洋智能预测模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。中期海洋智能预报可以训练的模型为区域海洋要素模型,信息见表3。 表3 中期海洋智能预测模型信息 模型 深海层深 预报深海变量 预报海表变量 时间分辨率 水平分辨率 区域范围 区域海洋要素模型 0m,6m,10m,20m,30m,50m,70m,100m,125m,150m,200m,250m,300m,400m,500m T:海温(℃) S:海盐(PSU) U:海流经向速率 (ms-1) V:海流纬向速率 (ms-1) MLSP:海平面气压 U10:10米U风,经度方向 V10:10米V风,纬度方向 T2M:2米温度 SSH:海表高度(m) 24h 0.25°*0.25° 特定区域 支持训练的模型清单见表4,您可根据具体使用场景选择合适的模型。例如区域海洋基础要素预测场景下,您可以选择Pangu-AI4S-Regional-Ocean-v1.1.0-24h模型。 表4 区域中期海洋智能预测模型的类型 模型名称 模型版本及时间分辨率 说明 Pangu-AI4S-Regional-Ocean v1.1.0-24h 2025年3月发布的版本,用于区域海洋基础要素预测,1个训练单元起训及1个实例部署。 Pangu-AI4S-Regional-Ocean v1.1.1-24h 2025年3月发布的版本,用于区域海洋基础要素预测,1个训练单元起训及1个实例部署。 区域大气污染物预测模型选择建议: 科学计算大模型的区域大气污染物预测模型,可以对特定区域未来一段时间污染物浓度进行预测,在城市大气污染治理、环境治理方面具有重要作用。信息见表5。 表5 区域大气污染物预测模型信息 模型 预报污染物变量 时间分辨率 水平分辨率 区域范围 区域大气污染物要素模型 PM10、PM2.5、NO₂、O₃、SO₂、CO 1h 0.0625°*0.0625° 特定区域 支持训练的模型清单见表6,您可根据具体使用场景选择合适的模型。 表6 区域大气污染物预测模型的类型 模型名称 模型版本及时间分辨率 说明 Pangu-AI4S-Regional-Pollution v1.1.0-1h 2025年3月发布的版本,用于区域污染物基础要素预测,1个训练单元起训及1个实例部署。
  • 使用“体验中心”调用医学NLP大模型 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“体验中心”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”,单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”,若不填写,将使用系统默认人设。 在页面右侧配置参数,具体参数说明见表1。 表1 NLP大模型体验中心参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 默认值:0 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 默认值:1.0 最大口令限制 用于控制聊天回复的长度和质量。 默认值:2048 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题,从而避免生成重复内容。 默认值:0 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用,促使模型使用更多样化的词汇进行表达。 默认值:0 如图2,输入对话,单击“生成”,模型将输出相应的回答。 图2 调测NLP大模型 父主题: 调用医学NLP大模型
  • NLP大模型评测指标说明 NLP大模型支持自动评测与人工评测,各指标说明如表1、表2、表3。 表1 NLP大模型自动评测指标说明-不使用预置评测集 评测指标(自动评测-不使用评测模板) 指标说明 F1_SCORE 精准率和召回率的调和平均数,数值越高,表明模型性能越好。 BLEU-1 模型生成句子与实际句子在单字层面的匹配度,数值越高,表明模型性能越好。 BLEU-2 模型生成句子与实际句子在词组层面的匹配度,数值越高,表明模型性能越好。 BLEU-4 模型生成结果和实际句子的加权平均精确率,数值越高,表明模型性能越好。 ROUGE-1 模型生成句子与实际句子在单个词的相似度,数值越高,表明模型性能越好。 ROUGE-2 模型生成句子与实际句子在两个词的相似度,数值越高,表明模型性能越好。 ROUGE-L 模型生成句子与实际句子在最长公共子序列的相似度,数值越高,表明模型性能越好。 PRECISION 问答匹配的精确度,模型生成句子与实际句子相比的精确程度,数值越高,表明模型性能越好。 表2 NLP大模型自动评测指标说明-使用预置评测集 评测指标(自动评测-使用评测模板) 指标说明 评测得分 每个数据集上的得分为模型在当前数据集上的通过率;评测能力项中若有多个数据集则按照数据量的大小计算通过率的加权平均数。 综合能力 综合能力是计算所有数据集通过率的加权平均数。 表3 NLP大模型人工评测指标说明 评测指标(人工评测) 指标说明 准确性 模型生成答案正确且无事实性错误。 average 模型生成句子与实际句子基于评估指标得到的评分后,统计平均得分。 goodcase 模型生成句子与实际句子基于评估指标得到的评分后,统计得分为5分的占比。 badcase 模型生成句子与实际句子基于评估指标得到的评分后,统计得分1分以下的占比。 用户自定义的指标 由用户定义的指标,如有用性、逻辑性、安全性等。
  • 使用“体验中心”调用NLP大模型 体验中心功能支持用户调用预置或训练后的NLP大模型。使用该功能前,请完成模型的部署操作,步骤详见创建NLP大模型部署任务。 使用“体验中心”调用NLP大模型可实现文本对话能力,即在输入框中输入问题,模型将基于问题输出相应的回答,具体步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“体验中心”,单击“文本对话”页签。 选择需要调用的服务。可从“预置服务”或“我的服务”中选择。 填写系统人设。如“你是一个AI助手”,若不填写,将使用系统默认人设。 在页面右侧配置参数,具体参数说明见表1。 表1 NLP大模型体验中心参数说明 参数 说明 搜索增强 搜索增强通过结合大语言模型与传统搜索引擎技术,提升了搜索结果的相关性、准确性和智能化。 例如,当用户提出复杂查询时,传统搜索引擎可能仅返回一系列相关链接,而大模型则能够理解问题的上下文,结合多个搜索结果生成简洁的答案,或提供更详细的解释,从而进一步改善用户的搜索体验。 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 默认值:0 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 默认值:1.0 最大口令限制 用于控制聊天回复的长度和质量。 默认值:2048 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题,从而避免生成重复内容。 默认值:0 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用,促使模型使用更多样化的词汇进行表达。 默认值:0 历史对话保留轮数 选择“文本对话”功能时具备此参数。表示系统能够记忆的历史对话数。 默认值:10 如图2,输入对话,单击“生成”,模型将输出相应的回答。 图2 调测NLP大模型 父主题: 调用NLP大模型
  • 使用MCP服务 在Agent开发平台中,开发者可以在开发智能体应用、工作流应用时,添加预置和自定义创建的MCP服务。 在智能体应用开发时配置MCP服务: 步骤一:进入Agent开发平台后,在导航栏选择“工作台”。 步骤二:在右侧导航栏中选择“应用”,单击创建“创建应用”,进入创建应用开发页面。 步骤三:在应用开发页面,技能配置,MCP服务模块,单击添加,进入MCP服务选择页面。 步骤四:从官方服务、个人服务中选中所需要的MCP服务。 步骤五:单击确定,完成MCP服务添加。 步骤六:在右侧调试模块,对话框输入问题,如大模型MCP服务,对话界面展示可展示调用详情。 在工作流应用中开发时配置MCP服务: 步骤一:进入Agent开发平台后,在导航栏选择“工作台”。 步骤二:在右侧导航栏中选择“工作流”,单击“创建工作流”,进入工作流开发页面。 步骤三:在工作流开发页面,在左侧导航栏选中MCP节点,拖拽至工作流编排画布。 步骤四:在MCP选择弹窗中,从官方服务、个人服务中选中所需要的MCP服务。 步骤五:单击确定,完成MCP服务添加。
  • 创建自定义MCP服务 如果您已有可用的工具和API资源,则可以使用MCP服务器来配置您的MCP扩展。完成MCP服务器构建后,只需要在Agent开发平台配置对应的工具即可创建自己的MCP服务。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图3 我的空间 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 在右侧导航栏中选择“MCP服务”,单击“创建MCP服务”,进入创建MCP页面。 在“创建MCP服务”页面,参考表1配置“MCP服务名称”、“英文名称”、“MCP服务地址”、“描述”以及“权限校验”选项后,单击“测试并下一步”。 表1 MCP服务信息配置说明 参数名称 参数说明 MCP服务名称 MCP服务中文名。 英文名称 MCP服务英文名,需确保同一个租户下唯一。 MCP服务地址 MCP服务SSE地址。 服务URL地址只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。 说明: 支持网站公开的MCP服务,也支持用户自行创建的MCP服务。 描述 MCP服务描述。 仅我可见 是否仅创建者可见。 权限校验 选择调用MCP服务时是否需要通过认证才可以调用。 无需鉴权:MCP服务可以公开访问,不需要任何形式的身份验证或授权。 API Key:在调用MCP服务时提供唯一的API Key进行鉴权。 需填写密钥位置,即密钥信息是设置在Header中还是设置在Query中。并设置API Key的密钥鉴权参数名和密钥值。 说明: 若服务地址中包含有认证信息,建议使用平台的权限校验(API Key)功能。 图4 创建MCP服务 图5 权限校验示例 测试完成,单击确认完成MCP服务创建。
  • 创建插件 创建插件的步骤如下: 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 在左侧导航栏中选择“Agent开发”,跳转至Agent开发平台。 单击左侧导航栏“工作台”,在“插件”页签,单击右上角“创建插件”。 在“创建插件”页面,填写插件名称与插件描述,单击图片可上传插件图标,单击“下一步”。 在“配置信息”页面,参照表1完成信息配置。 表1 插件信息配置说明 参数名称 参数说明 插件URL 插件服务的请求URL地址。 URL协议只支持HTTP和HTTPS。 系统会校验URL地址是否为标准的URL格式。 URL对应的IP默认不应为内网,否则会导致注册失败。仅在非商用环境部署时,才允许支持内网URL,且需要通过相关的服务的启动配置项关闭内网屏蔽。 请求方法 插件服务的请求方式,POST或GET。 权限校验 选择调用API时是否需要通过鉴权才可以调用。 无需鉴权:API可以公开访问,不需要任何形式的身份验证或授权。 用户级鉴权:需要用户提供身份验证信息来访问API。 需填写密钥位置,即密钥是从Header中读取还是Query中读取。并设置密钥鉴权参数名、密钥来源参数名,以确保系统能够正确地提取和使用鉴权信息。 API Key:在调用API时提供一个唯一的API Key进行鉴权。 需填写密钥位置,即密钥是从Header中读取还是Query中读取。并设置API Key的密钥鉴权参数名和密钥值。 请求头 填写API的请求头信息,例如: Key:Content-Type Value:application/json 图2 API请求信息配置示例 自定义插件使用HTTP服务,或不增加鉴权方式可能存在安全风险。 单击“下一步”,在“参数信息”页面,参照表2完成参数配置。 表2 插件参数配置说明 参数类型 参数名称 参数说明 请求参数 参数封装 开启后,会将请求参数封装为一个列表(数组)结构,可适配入参为数组格式的插件接口。 示例:原参数列表:{"a":"string", "b":1},开启封装后的参数列表:[{"a":"string", "b":1}] 参数名称 参数的名称,参数名称会作为大模型解析参数含义的依据。 中文名称 该参数的中文名称。 参数类型 该参数值的数据类型,String、Integer、Number等多种类型支持选择。 位置 当前参数在请求信息中的位置,可选Body、Headers或Query。 默认值 参数的默认值。 描述 参数的描述,尽可能准确的描述参数的含义和要求,可提升Agent提取参数的准确率。 参数校验 可设置当前参数的校验规则。 必填 指定该参数是否为必填项。 响应参数 参数封装 开启后,会将请求参数封装为一个列表(数组)结构,可适配入参为数组格式的插件接口。 示例:原参数列表:{"a":"string", "b":1},开启封装后的参数列表:[{"a":"string", "b":1}] 参数名称 响应参数的名称,参数名称会作为大模型解析大模型输出结果的依据。 参数描述 响应参数的名称,参数描述会作为大模型解析大模型输出结果的依据。 参数类型 该参数值的数据类型,String、Integer、Number等多种类型支持选择。 是否提取 开启后则该参数必须提取到,关闭则该参数允许为空或者使用默认值。 图3 填写API请求、响应参数 父主题: 创建与管理插件
  • NLP大模型训练流程介绍 NLP大模型的训练分为两个关键阶段:预训练和微调。 预训练阶段:在这一阶段,模型通过学习大规模通用数据集来掌握语言的基本模式和语义。这一过程为模型提供了处理各种语言任务的基础,如阅读理解、文本生成和情感分析,但它还未能针对特定任务进行优化。 针对预训练阶段,还可以继续进行训练,这一过程称为增量预训练。增量预训练是在已经完成的预训练的基础上继续训练模型。增量预训练旨在使模型能够适应新的领域或数据需求,保持其长期的有效性和准确性。 微调阶段:基于预训练的成果,微调阶段通过在特定领域的数据集上进一步训练,使模型能够更有效地应对具体的任务需求。这一阶段使模型能够精确执行如文案生成、代码生成和专业问答等特定场景中的任务。在微调过程中,通过设定训练指标来监控模型的表现,确保其达到预期的效果。完成微调后,将对用户模型进行评估并进行最终优化,以确保满足业务需求,然后将其部署和调用,用于实际应用。 针对微调阶段,微调后的模型可以直接部署,也可以继续进行强化学习(DPO)训练,以进一步对齐任务场景下的用户偏好,例如模型回答的风格、模型的价值观等。注意,目前盘古NLP大模型仅支持对N4系列进行DPO微调训练。
  • NLP大模型训练类型选择建议 平台针对NLP大模型提供了三种训练类型,包括预训练、微调、强化学习(DPO),三者区别详见表3。 表3 预训练、微调训练类型区别 训练方式 训练目的 训练数据 模型效果 应用场景举例 预训练 关注通用性:预训练旨在让模型学习广泛的通用知识,建立词汇、句法和语义的基础理解。通过大规模的通用数据训练,模型可以掌握丰富的语言模式,如语言结构、词义关系和常见的句型。 使用大规模通用数据:通常使用海量的无监督数据(如文本语料库、百科文章),这些数据覆盖广泛的领域和语言表达方式,帮助模型掌握广泛的知识。 适合广泛应用:经过预训练后,模型可以理解自然语言并具备通用任务的基础能力,但还没有针对特定的业务场景进行优化。预训练后的模型主要用于多个任务的底层支持。 通过使用海量的互联网文本语料对模型进行预训练,使模型理解人类语言的基本结构。 微调 关注专业性:微调是对预训练模型的参数进行调整,使其在特定任务中达到更高的精度和效果。微调的核心在于利用少量的特定任务数据,使模型的表现从通用性向具体任务需求过渡。 使用小规模的特定任务数据:微调通常需要小规模但高质量的标注数据,直接与目标任务相关。通过这些数据,模型可以学习到任务特定的特征和模式。 在特定任务上具有更高的准确性:微调后的模型在具体任务中表现更优。相较于预训练阶段的通用能力,微调能使模型更好地解决细分任务的需求。 在一个客户服务问答系统中,可以用特定领域(如电商、保险)的对话数据对预训练模型进行微调,使其更好地理解和回答与该领域相关的问题。 强化学习(DPO) 关注偏好性:DPO(Direct Preference Optimization,直接偏好优化)通过利用偏好数据来提升模型的对话质量,增强其安全性、可控性,并且优化其输出的风格和语气。 使用模型生成的多个回答的排序数据:这些偏好数据通常来自于已有的高质量对话数据集。关键在于数据的质量,需要保证生成的偏好数据能够有效反映人类的实际偏好和期望。 对话质量:通过优化生成的回复,使其更自然、更符合语境,并减少不当或低质量的内容。 语气和风格调整:可以根据需要调整模型的语气(如正式或亲和)和输出风格(如简洁或详细)。 安全性和可控性:减少有害或偏见内容的生成,增强模型的可控性,能够避免生成不符合伦理或社会规范的回答。 在内容创作和写作辅助中,DPO能够帮助创作类工具生成更加符合用户风格和偏好的文本内容,支持个性化写作。 此外,针对微调训练任务,平台提供了两种微调方式: 全量微调:适合有充足数据并关注特定任务性能的场景。在全量微调中,模型的所有参数都会调整,以适应特定任务的需求。这种方式适合样本量较大、对推理效果要求较高的任务。例如,在特定领域(如金融、医疗)中,若拥有大量标注数据,且需要更高的特定任务推理精度,则全量微调是优先选择。 LoRA微调:适用于数据量较小、侧重通用任务的情境。LoRA(Low-Rank Adaptation)微调方法通过调整模型的少量参数,以低资源实现较优结果,适合聚焦于领域通用任务或小样本数据情境。例如,在针对通用客服问答的场景中,样本量少且任务场景广泛,选择LoRA微调既能节省资源,又能获得较好的效果。 微调方式选择建议: 若项目中数据量有限或任务场景较为广泛,可以选择LoRA微调以快速部署并保持较高适用性。 若拥有充足数据且关注特定任务效果,选择全量微调有助于大幅提升在特定任务上的模型精度。 创建训练任务如何配置资源: 1.创建训练任务页面默认资源配置为该模型支持的最小资规格源配置; 2.在训练任务创建页面,如果单实例训练单元数可以配置为8,且实例数可以配置为大于1,则说明当前模型支持多机多卡训练;
  • 统计CV大模型调用信息 模型推理接口除了使用Token认证鉴权进行调用外,也支持使用API KEY鉴权进行调用。对于API Key鉴权产生的调用信息,可以使用平台的“调用统计”功能对调用量信息、时延信息进行统计。 登录ModelArts Studio平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 单击左侧导航栏“调用统计”。 选择当前调用的CV大模型,可以按照不同时间跨度查看当前模型调用信息。 父主题: 调用CV大模型
  • 构建医学NLP大模型数据集流程 在ModelArts Studio大模型开发平台中,使用数据工程构建盘古NLP大模型数据集流程见表3。 表3 盘古医学NLP大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建导入任务 将存储在OBS服务中的数据导入至平台统一管理,用于后续加工或发布操作。 导入数据至盘古平台 加工文本类数据集 加工文本类数据集 通过专用的加工算子对数据进行预处理,确保数据符合模型训练的标准和业务需求。不同类型的数据集使用专门设计的算子,例如去除噪声、冗余信息等,提升数据质量。 加工文本类数据集 合成文本类数据集 利用预置或自定义的数据指令对原始数据进行处理,并根据设定的轮数生成新数据。该过程能够在一定程度上扩展数据集,增强训练模型的多样性和泛化能力。 合成文本类数据集 标注文本类数据集 为无标签数据集添加准确的标签,确保模型训练所需的高质量数据。平台支持人工标注和AI预标注两种方式,用户可根据需求选择合适的标注方式。数据标注的质量直接影响模型的训练效果和精度。 标注文本类数据集 配比文本类数据集 数据配比是将多个数据集按特定比例组合的过程。通过合理的配比,确保数据集的多样性、平衡性和代表性,避免因数据分布不均而引发的问题。 配比文本类数据集 发布文本类数据集 评估文本类数据集 平台预置了多种数据类型的基础评估标准,包括NLP、视频和图片数据,用户可根据需求选择预置标准或自定义评估标准,从而精确优化数据质量,确保数据满足高标准,提升模型性能。 评估文本类数据集 发布文本类数据集 发布流通是将单个数据集发布为特定格式的“发布数据集”,用于后续模型训练等操作。 平台支持发布的数据集格式为标准格式、盘古格式。 标准格式:平台默认的格式。 盘古格式:训练盘古大模型时,需要发布为该格式。当前仅文本类、图片类数据集支持发布为盘古格式。 发布文本类数据集
  • 训练医学NLP大模型所需数据量 使用数据工程构建盘古医学NLP大模型数据集进行模型训练时,所需数据量见表2。 表2 构建医学NLP大模型所需数据量 模型规格 训练类型 推荐数据量 最小数据量(数据条数) 单场景推荐训练数据量 单条数据Token长度限制 N1 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N2 微调 - 1000条/每场景 ≥ 1万条/每场景 32K N4 微调 - 1000条/每场景 ≥ 1万条/每场景 4K版本:4096 32K版本:32768 预训练 4GB(等价10亿Tokens) - - 4K版本:4096 32K版本:32768 DPO强化学习 5万 ~ 15万条 1000条 -
  • 医学NLP大模型支持接入的数据集类型 盘古NLP大模型仅支持接入文本类数据集,数据集文件内容包括:预训练文本、单轮问答、多轮问答、带人设单轮问答、带人设多轮问答等,不同训练方式所需要使用的数据见表1,该数据集格式要求请参见文本类数据集格式要求。 表1 训练医学NLP大模型数据集类型要求 基模型 训练场景 数据集类型 数据集内容 文件格式 NLP 预训练 文本 预训练文本 jsonl 微调 文本 单轮问答 jsonl、csv 文本 多轮问答 jsonl 文本 单轮问答(人设) jsonl、csv 文本 多轮问答(人设) jsonl 强化学习(DPO) 文本 偏好优化DPO jsonl
  • 模型资产介绍 用户在平台中可试用、已订购或训练后发布的模型,将被视为模型资产并存储在空间资产内,方便统一管理与操作。用户可以查看模型的所有历史版本及操作记录,从而追踪模型的演变过程。同时,平台支持一系列便捷操作,包括模型训练、压缩和部署,帮助用户简化模型开发及应用流程。这些功能有助于用户高效管理模型生命周期,提高资产管理效率。 模型资产包含以下两种形式: 预置模型。 用户在平台中可试用、已订购的预置模型。 用户自行发布的模型。 用户可以将训练完成的模型发布为模型资产。发布的模型支持查看详细信息、编辑属性、删除、导出、导入等操作。
  • 通用参数 表7 科学计算大模型训练通用参数 参数分类 参数名称 参数说明 模型输出控制参数 训练轮数 表示完成全部训练数据集训练的次数。每个轮次都会遍历整个数据集一次。取值范围:[1-1000]。 损失类型 用来衡量模型预测结果与真实结果之间的差距的函数,提供MAE(平均绝对误差)、MSE(均方误差)两种损失函数。 MSE对于异常值非常敏感,因为它会放大较大的误差。因此,如果您数据中没有异常值,或者希望模型对大的误差给予更大的惩罚,可选择MSE。 如果数据中存在异常值,或者希望模型对所有的误差都一视同仁,可选择MAE。 正则化参数 路径删除概率 用于定义路径删除机制中的删除概率。路径删除是一种正则化技术,它在训练过程中随机删除一部分的网络连接,以防止模型过拟合。这个值越大,删除的路径越多,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1)。 特征删除概率 用于定义特征删除机制中的删除概率。特征删除(也称为特征丢弃)是另一种正则化技术,它在训练过程中随机删除一部分的输入特征,以防止模型过拟合。这个值越大,删除的特征越多,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1)。 给输入数据加噪音的概率 定义了给输入数据加噪音的概率,定义了给输入数据加噪音的概率。加噪音是一种正则化技术,它通过在输入数据中添加随机噪音来增强模型的泛化能力。取值范围:[0,1]。 给输入数据加噪音的尺度 给输入数据加噪音的尺度,定义了给输入数据加噪音的尺度。这个值越大,添加的噪音越强烈,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1]。 给输出数据加噪音的概率 给输出数据加噪音的概率,定义了给输出数据加噪音的概率。加噪音是一种正则化技术,它通过在模型的输出中添加随机噪音来增强模型的泛化能力。取值范围:[0,1]。 给输出数据加噪音的尺度 给输出数据加噪音的尺度,定义了给输出数据加噪音的尺度。这个值越大,添加的噪音越强烈,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1]。 优化器参数 优化器种类 优化器种类。优化器是用于更新模型参数的算法,目前支持ADAM优化器。 第一个动量矩阵的指数衰减率(beta1) 数据加噪音的尺度。这个值越大,添加的噪音越强烈,模型的正则化效果越强,但同时也可能会降低模型的拟合能力。取值范围:[0,1]。 第二个动量矩阵的指数衰减率(beta_2) 用于定义ADAM优化器中的二阶矩估计的指数衰减率。二阶矩估计相当于 RMS Prop,可以调整学习率。取值范围:(0,1)。 权重衰减系数 通过在损失函数中加入与模型权重大小相关的惩罚项,鼓励模型保持较小的权重,防止过拟合或模型过于复杂,取值需≥0。 学习率 学习率决定每次训练中模型参数更新的幅度。 选择合适的学习率至关重要: 如果学习率过大,模型可能无法收敛。 如果学习率过小,模型的收敛速度将变得非常慢。 预训练时,默认值为:0.00001,范围为[0, 0.001]。 学习率调整策略 用于选择学习率调度器的类型。学习率调度器可以在训练过程中动态地调整学习率,以改善模型的训练效果。目前支持CosineDecayLR调度器。
  • 统计NLP大模型调用信息 针对调用的大模型,平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台,在“我的空间”模块,单击进入所需空间。 图1 我的空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。 对于已经接入API Key方式鉴权的模型,可以直接在“应用接入”页面,单击操作列“调用统计”按钮跳转至“调用统计”功能页查看调用信息。 图2 调用统计 父主题: 调用NLP大模型
共100000条
提示

您即将访问非华为云网站,请注意账号财产安全