华为云用户手册

  • 监控指标 通过 云监控服务 ,您可以监控企业交换机实例的网络情况。 企业交换机实例支持的监控指标 表1 企业交换机实例支持的监控指标 指标ID 指标名称 指标含义 取值范围 测量对象 监控周期(原始指标) up_bandwidth 出网带宽 该指标用于统计企业交换机实例出云平台的网络速度。 单位:比特/秒 ≥ 0 企业交换机实例 1分钟 down_bandwidth 入网带宽 该指标用于统计企业交换机实例入云平台的网络速度。 单位:比特/秒 ≥ 0 企业交换机实例 1分钟 up_stream 出网流量 该指标用于统计企业交换机实例出云平台的网络流量。 单位:字节 ≥ 0 企业交换机实例 1分钟 down_stream 入网流量 该指标用于统计企业交换机实例入云平台的网络流量。 单位:字节 ≥ 0 企业交换机实例 1分钟 up_pps 出网pps 该指标用于统计企业交换机实例出云平台,每秒接收的数据包数。 单位:包/秒 ≥ 0 企业交换机实例 1分钟 down_pps 入网pps 该指标用于统计企业交换机实例入云平台,每秒发送的数据包数。 单位:包/秒 ≥ 0 企业交换机实例 1分钟
  • 操作步骤(锐捷RG-S6250交换机) 远端隧道网关的配置方法:在VXLAN交换机和企业交换机之间建立VXLAN隧道,以便将云下主机发送的二层报文封装为IP报文后发到企业交换机。VXLAN交换机的下行二层子接口配置VXLAN与VLAN封装规则,用来识别用户网络中的报文所属的VXLAN。 配置前进入全局配置模式。 配置示例: Ruijie#configure 创建VXLAN。 配置示 Ruijie(config)#vxlan 5010 本步骤VXLAN ID 5010,必须和表1创建二层连接时,远端接入信息的隧道号保持一致。 进入loopback接口视图,配置隧道IP。 配置示例: Ruijie(config)#interface loopback 0 Ruijie(config-if-Loopback 0)#ip address 2.2.2.2 255.255.255.255 Ruijie(config-if-Loopback 0)# exi 对于新规划的远端地址,即VXLAN交换机的接口IP地址(包括Loopback接口IP地址),要确认下其到企业交换机隧道子网路由是否可达,如果不通,需要在VXLAN交换机上配置路由。此处VXLAN交换机可以是汇聚交换机或者核心交换机,请根据网络实际规划选择。 创建VXLAN隧道。 创建OverlayTunnel1接口,该接口用于静态创建Overlay隧道。 配置示例: Ruijie(config)#interface overlayTunnel 1 指定Overlay隧道的源IP,即为用于建隧道的loopback口IP地址。 配置示例: Ruijie(config-if-OverlayTunnel 1)#tunnel source 2.2.2.2 指定Overlay隧道的目的IP,即为企业交换机隧道子网IP。 配置示例: Ruijie(config-if-OverlayTunnel 1)#tunnel destination 10.0.6.3 Ruijie(config-if-OverlayTunnel 1)#exit 配置VXLAN实例关联OverlayTunnel接口。 配置示例: Ruijie(config)#vxlan 5010 Ruijie(config-vxlan)#tunnel-interface OverlayTunnel 1 Ruijie(config-vxlan)#exit 同一企业交换机上创建多个(最多6个)二层连接场景,需和此企业交换机建多条VXLAN,可以创建多个VXLAN实例和同一个OverlayTunnel接口关联。如:OverlayTunnel1。 同一VXLAN交换机和多个企业交换机连接场景,此场景比较少用,可以创建多个OverlayTunnel接口与同一个VXLAN关联。如:OverlayTunnel1、OverlayTunnel2。 由于芯片限制,S6250产品VXLAN不支持多条隧道出口为同一个物理出口,并且还需要封装出不同的DMAC+VID信息。详情可咨询锐捷交换机技术支持。 创建二层子接口配置VXLAN与vlan封装规则。 在链路聚合口AggregatePort1创建AggregatePort 1.100子接口,接收vlan为100的数据报文,并封装为VXLAN 5010通过隧道转发。 配置示例: Ruijie(config)#interface AggregatePort 1.100 Ruijie(config-subif-AggregatePort 1.100)#encapsulation dot1q s-vid 100 Ruijie(config-subif-AggregatePort 1.100)#encapsulation vxlan 5010 Ruijie(config-subif-AggregatePort 1.100)#exit 在交换机物理以太接口上创建以太网服务实例,方法类似。 在系统视图下,执行如下命令查看VXLAN的配置状态。 show vxlan 5010 VXLAN配置状态 VXLAN 5010 Symmetric property : FALSE Router Interface : - Extend VLAN : - VTEP Adjacency Count: 1 VTEP Adjacency List : Interface Source IP Destination IP Type ---------------------- --------------- --------------- ------- OverlayTunnel 1 2.2.2.2 10.0.6.3 static
  • 操作场景 本指导用户在云下IDC侧的VXLAN隧道交换机上配置隧道网关,建立远端二层连接子网在IDC侧的VXLAN隧道。 本文针对用户IDC的常见组网场景提供配置参考,以华为CE6850交换机、锐捷RG-S6250交换机、H3C S6520交换机为例,如需更多配置排查,相关命令可参考实际交换机型号的产品文档。 操作步骤(华为CE6850交换机) 操作步骤(锐捷RG-S6250交换机) 操作步骤(H3C S6520交换机)
  • 约束与限制 如果您的IDC需要与华为云企业交换机对接来建立云下和云上二层网络通信,那么IDC侧的交换机需要支持VXLAN功能,建议您新购VXLAN交换机与ESW对接。如果有高可靠性要求,建议VXLAN交换机组进行容灾部署。 以下为您列举部分支持VXLAN功能的交换机,仅供参考。 华为交换机:Huawei CE58、CE68、CE78、CE88系列支持VXLAN,例如CE6870、CE6875、CE6881、CE6863、CE12800。 其他厂商交换机:例如Cisco Nexus 9300、 锐捷RG-S6250、 H3C S6520。
  • 操作步骤(华为CE6850交换机) 远端隧道网关的配置方法:配置IDC隧道交换机,将二层子网VLAN的流量引流到隧道。 目前大部分CE交换机不支持三层子接口转发已经封装的VXLAN报文,因此VXLAN上行(对接线上企业交换机)不能使用三层子接口,可使用VLANIF接口替代。 登录隧道交换机,执行命令system-view,进入系统视图。 进入loopback 0接口视图,配置隧道IP。 配置示例: interface loopback 0 ip address 2.2.2.2 255.255.255.255 执行命令quit,退出接口视图,返回到系统视图。 执行命令bridge-domain,进入BD视图,配置BD所对应VXLAN的VNI。 配置示例: bridge-domain 10 vxlan vni 5010 执行命令quit,退出BD视图,返回到系统视图。 创建二层子接口,通过子接口将二层网络指定的VLAN引流到隧道。 配置示例: interface 10ge 1/0/2.1 mode l2 encapsulation dot1q vid 100 bridge-domain 10 执行命令interface nve,创建NVE接口,并进入NVE接口视图,配置VXLAN隧道源端VTEP的IP地址:2.2.2.2。 配置示例: interface nve1 source 2.2.2.2 在NVE接口视图下,执行命令vni,配置VNI的头端复制列表。 配置示例: vni 5010 head-end peer-list 10.0.6.3 在系统视图下,执行如下命令查看VXLAN的配置状态。 display vxlan vni 5010 verbose 图2 VXLAN配置状态 up表示隧道状态正常。
  • 操作步骤 进入购买企业交换机页面。 根据界面提示,配置企业交换机的基本信息,配置参数请参见表1。 表1 参数说明 参数 参数说明 取值样例 计费模式 必选参数 支持包年/包月、按需付费两种计费方式。 购买包年/包月企业交换机时,需要一次性支付选定周期内企业交换机实例的费用。 按需计费,属于后付费。按秒计费,按小时结算,不足一小时以实际使用时长为准。 按需计费 区域 必选参数。 不同区域的云服务产品之间内网互不相通,请就近选择靠近您业务的区域,可减少网络时延,提高访问速度。 华北-北京四 主可用区 必选参数。 企业交换机实例部署采用主备模式,此处选择主节点所在的可用区。 主可用区是当前承载流量的可用区,推荐与需要通信的云服务器部署在同一个可用区,从而实现更优访问性能。 可用区1 备可用区 必选参数。 企业交换机实例部署采用主备模式,此处选择备节点所在的可用区。 备可用区用于容灾备份,建议与主可用区不同。 可用区2 规格 必选参数。 当前支持的企业交换机规格如下: 小型 最大带宽:3 Gbit/s 最大发包数:500000 pps 连接子网数:1 中型 最大带宽:5 Gbit/s 最大发包数:1000000 pps 连接子网数:3 大型 最大带宽:10 Gbit/s 最大发包数:2000000 pps 连接子网数:6 企业交换机创建完成后,不支持修改规格。 增强型 虚拟私有云 必选参数。 企业交换机所属VPC。 当“隧道连接方式”选择“云专线”或者“VPN”时,此处默认选择云专线虚拟网关或VPN网关所在的VPC。 vpc-01 隧道子网 必选参数。 企业交换机所属VPC的子网,为本端隧道子网,该子网需要与远端隧道子网建立三层网络通信。 隧道子网基于云专线或者VPN实现三层网络通信,包括本端隧道子网和远端隧道子网。企业交换机需要基于隧道子网之间的三层网络,为需要互通的云上和云下子网提供二层连接通道。 subnet-01 本端隧道IP 必选参数。 此处为本端隧道IP,即云上VPC侧的隧道IP,当前支持自动分配或手动分配IP地址。 企业交换机需要和云下IDC建立VXLAN隧道实现二层网络通信,VXLAN隧道两端各需要一个隧道IP,包括本端隧道IP和远端隧道IP,两个IP地址不能冲突。 自动分配 名称 必选参数。 输入企业交换机的名称。要求如下: 长度范围为1~64位。 名称由中文、英文字母、数字、下划线(_)、中划线(-)、点(.)组成。 esw-01 描述 可选参数。 您可以根据需要在文本框中输入对该企业交换机的描述信息。 - 购买时长 包年包月场景需要选择,购买企业交换机的时长。 2个月 自动续费 选择包年包月计费模式时,可以选择开启自动续费。自动续费周期根据用户指定的购买时长确定。 按月购买:自动续费周期为一个月。 按年购买:自动续费周期为一年。 - 单击“下一步”。 在产品配置信息确认页面,再次核对企业交换机信息,确认无误后,单击“提交”,开始创建企业交换机。 企业交换机的创建过程一般需要3~6分钟,当企业交换机的状态为“运行中”时,表示创建成功。
  • 收集范围 漏洞管理服务收集及产生的个人数据如表1所示。 表1 个人数据范围列表 类型 收集方式 是否可以修改 是否必须 域名 /IP地址 在添加域名时,由用户在界面输入。 是 是 用户名(网站登录) 在设置账号密码登录方式时,由用户在界面输入。 是 否 密码(网站登录) 在设置账号密码登录方式时,由用户在界面输入。 是 否 cookie值 在设置cookie登录方式时,由用户在界面输入。 是 否 cookie值可能不含有用户的个人信息。
  • 产品规格差异 漏洞管理服务提供了基础版、专业版、高级版和企业版四种服务版本。其中,基础版配额内的服务免费,部分功能按需计费;专业版、高级版和企业版需要收费。 各服务版本支持的计费方式、功能和规格说明如下所示,您可以根据业务需求选择相应的服务版本。 表1 各服务版本计费方式 服务版本 支持的计费方式 说明 价格详情 基础版 免费 基础版配额内仅支持Web 网站漏洞扫描 。 免费规格如下: 域名个数:5个; 扫描次数:5个域名(每日总共可以扫描5次)。 说明:免费扫描不支持主机 漏洞扫描 。 产品价格详情 按需计费 将Web漏洞扫描任务升级为专业版规格进行扫描,扫描完成后进行一次性扣费。 将主机漏洞扫描任务升级为专业版规格进行扫描,扫描完成后进行一次性扣费(主机扫描一次最多支持20台主机)。 专业版 包年/包月 相对于按需付费,包年/包月购买方式能够提供更大的折扣,对于长期使用者,推荐该方式。包周期计费为按照订单的购买周期来进行结算。 高级版 包年/包月 企业版 包年/包月 表2 各服务版本功能说明 功能 基础版 专业版 高级版 企业版 常见Web漏洞检测 √ √ √ √ 端口扫描 √ √ √ √ 自定义登录方式 √ √ √ √ Web 2.0高级爬虫 √ √ √ √ 网站指纹识别 √ √ √ √ 扫描任务管理 √ √ √ √ 漏洞查看及管理 √ √ √ √ CVE漏洞扫描 × √ √ √ 弱密码检测 × √ √ √ 网页内容合规检测(文字) × √ √ √ 操作系统漏洞扫描 × √ √ √ 操作系统基线检查 × √ √ √ 中间件基线检查 × √ √ √ 云原生基线扫描 × √ √ √ 查看漏洞修复建议 × √ √ √ 下载扫描报告 × √ √ √ 安全监测(定时扫描) × √ √ √ 网页内容合规检测(图片) × × × √ 网站挂马检测 × × × √ 链接健康检测(死链、暗链、恶意外链) × × × √ 操作系统等保合规检查 × × × √ 支持手动探索文件导入 × × × √ 表3 各服务版本支持的扫描配额说明 版本 域名/IP个数 扫描次数 单个任务时长 任务优先级 单用户并发扫描数 基础版 Web漏扫:包含5个二级域名或IP:端口。 Web漏扫:5个域名每日总共可以扫描5次 2小时 低 默认Web漏扫最大并发为1个域名。 专业版 Web漏扫:包含1个二级域名或IP:端口。 主机漏扫:包含20个IP地址。 无限制 高 默认Web漏扫最大并发为3个域名。 默认主机漏扫最大并发为5个IP。 高级版 Web漏扫:默认包含1个一级域名(不限制下属二级域名个数)/IP(不限制端口个数)。 主机漏扫:不限制IP地址个数。 无限制 高 默认Web漏扫最大并发为5个域名。 默认主机漏扫最大并发为10个IP。 企业版 Web漏扫:默认包含5个一级域名(不限制下属二级域名个数)/IP(不限制端口个数)。 主机漏扫:不限制IP地址个数。 说明: 当默认的扫描配额不能满足您的需求时,您可以通过购买扫描配额包增加扫描配额(一个扫描配额包中包含一个一级域名扫描配额)。 无限制 高 默认Web漏扫最大并发为10个域名。 默认主机漏扫最大并发为20个IP。 说明: 更高并发需要,请提交工单联系专业工程师为您服务。 一级域名指用户通过华为云或者第三方域名注册商,购买注册的域名。 二级域名指无需购买注册,可直接在一级域名下添加的子域名。 例如:一级域名:example.com, example.com.cn,二级域名:test.example.com, test.example.com.cn,详细请参考域名注册。
  • 计费模式 漏洞管理服务提供按需计费和包年/包月两种计费模式,用户可以根据实际需求选择计费模式。 表2 各服务版本计费方式 服务版本 支持的计费方式 说明 价格详情 基础版 配额内的服务免费 按需计费 基础版配额内仅支持Web网站漏洞扫描(域名个数:5个,扫描次数:每日5次)是免费的。 基础版提供的以下功能按需计费: 可以将Web漏洞扫描或主机漏洞扫描任务升级为专业版规格进行扫描,扫描完成后进行一次性扣费。 主机扫描一次最多支持20台主机。 产品价格详情 专业版 包年/包月 相对于按需付费,包年/包月购买方式能够提供更大的折扣,对于长期使用者,推荐该方式。包周期计费为按照订单的购买周期来进行结算。不限制扫描次数。 高级版 企业版
  • 云审计 服务的关系 云审计服务(Cloud Trace Service, CTS )记录了漏洞管理服务相关的操作事件,方便用户日后的查询、审计和回溯,具体请参见《云审计服务用户指南》。云审计服务支持的漏洞管理服务操作列表如表1所示。 表1 云审计服务支持的漏洞管理服务操作列表 操作名称 资源类型 事件名称 网站 创建域名 domain createDomain 删除域名 domain deleteDomain 编辑域名 domain editDomain 免认证/一键认证 domain authenticateDomain 快捷认证 domain authorizeDomain 创建漏洞扫描任务 scan createScanTask 创建内部漏洞扫描任务 scan createInnerScanTask 重启漏洞扫描任务 scan restartScanTask 取消漏洞扫描任务 scan cancelScanTask 编辑漏洞扫描任务 scan editScanTask 创建订阅套餐 resource createPurchaseOrder 更新订阅套餐 resource createAlterOrder 批量更新订阅套餐 resource createBatchAlterOrder 新用户注册 resource createVSSResource 删除监测任务 monitor deleteMonitorJob 暂停监测任务 monitor pauseMonitorJob 恢复监测任务 monitor resumeMonitorJob 忽略漏洞 vuln addVulnFalsePositive 取消忽略漏洞 vuln deleteVulnFalsePositive 生成网站扫描报告 report generateWebScanReport 下载网站扫描报告 report downloadWebScanReport 主机 添加主机 host addHost 删除主机 host deleteHost 编辑主机 host editHost 更换分组 host changeHostGroup 新增主机组 host addHostGroup 编辑主机组 host editHostGroup 删除主机组 host deleteHostGroup 创建主机扫描任务 scan createHostScanTask 取消主机扫描任务 scan cancelHostScanTask 添加跳板机 jumper saveJumperServer 编辑跳板机 jumper editJumperServer 删除跳板机 jumper deleteJumperServer 添加smb授权 credential saveSmbCredential 编辑smb授权 credential editSmbCredential 删除smb授权 credential deleteSmbCredential 添加ssh授权 credential saveSshCredential 编辑ssh授权 credential editSshCredential 删除ssh授权 credential deleteSshCredential 添加租户委托 tenant addTenantAgency 删除租户委托 tenant deleteTenantAgency 清空资源 cleanup resourcesCleanUp 忽略漏洞 vuln addVulnFalsePositive 取消忽略漏洞 vuln deleteVulnFalsePositive 生成主机扫描报告 report generateHostScanReport 下载主机扫描报告 report downloadHostScanReport
  • 应用场景 漏洞管理服务主要用于以下场景。 Web漏洞扫描应用场景 网站的漏洞与弱点易于被黑客利用,形成攻击,带来不良影响,造成经济损失。 常规漏洞扫描 丰富的漏洞规则库,可针对各种类型的网站进行全面深入的漏洞扫描,提供专业全面的扫描报告。 最新紧急漏洞扫描 针对最新紧急爆发的CVE漏洞,安全专家第一时间分析漏洞、更新规则,提供快速专业的CVE漏洞扫描。 主机漏洞扫描应用场景 运行重要业务的主机可能存在漏洞、配置不合规等安全风险。 支持深入扫描 通过配置验证信息,可连接到服务器进行OS检测,进行多维度的漏洞、配置检测。 支持内网扫描 可以通过跳板机方式访问业务所在的服务器,适配不同企业网络管理场景。 弱密码扫描应用场景 主机或中间件等资产一般使用密码进行远程登录,攻击者通常使用扫描技术来探测其用户名和弱口令。 多场景可用 支持操作系统(RDP协议、SSH协议)、数据库(如Mysql、Redis)等常见中间件服务的弱口令检测。 丰富的弱密码库 丰富的弱密码匹配库,模拟黑客对各场景进行弱口令探测。 中间件扫描应用场景 中间件可帮助用户灵活、高效地开发和集成复杂的应用软件,一旦被黑客发现漏洞并利用,将影响上下层安全。 丰富的扫描场景 支持主流Web容器、前台开发框架、后台微服务技术栈的版本漏洞和配置合规扫描。 多扫描方式可选 支持通过标准包或者自定义安装等多种方式识别服务器的中间件及其版本,全方位发现服务器的漏洞风险。 内容合规检测应用场景 当网站被发现有不合规言论时,会给企业造成品牌和经济上的多重损失。 精确识别 同步更新时政热点和舆情事件的样本数据,准确定位各种涉黄、涉暴涉恐、涉政等敏感内容。 智能高效 对文本、图片内容进行上下文语义分析,智能识别复杂变种文本。 二进制成分分析应用场景 产品包或固件中因不当使用开源软件、配置不合规等会产生漏洞或合规性风险,及时的发现和修复相关问题可以减少被攻击者利用的风险。 全方位风险检测 对产品包/固件进行全面分析,基于各类检测规则,获得相关被测对象的开源软件、信息泄露、安全配置、安全编译选项等存在的潜在风险。 支持各类应用 支持对桌面应用(Windows和Linux)、移动应用程序(APK、IPA、Hap等)、嵌入式系统固件等的检测。 专业分析指导 提供全面、直观的风险汇总信息,并针对不同的扫描告警提供专业的解决方案和修复建议。 移动应用安全 企业自检或通报后自查 适用于各类APP发版自检,及通报整改后自查,服务提供详细精确的报告协助企业快速定位修复问题,达到监管合规要求。 审核机构APP合规审查 紧贴各类监管规范,提供高效的自动化检测服务,能快速识别存在违规行为的APP。
  • 功能特性 漏洞管理服务可以帮助您快速检测出您的网站、主机、移动应用存在的漏洞,提供详细的漏洞分析报告,并针对不同类型的漏洞提供专业可靠的修复建议。 网站漏洞扫描 具有OWASP TOP10和WASC的漏洞检测能力,支持扫描22种类型以上的漏洞。 支持使用Ajax、JavaScript、Flash等技术构建网站,支持使用Tomcat、Apache、Nginx、IIS等Web容器部署的网站。 扫描规则云端自动更新,全网生效,及时涵盖最新爆发的漏洞。 支持静态页面和动态页面扫描。 支持HTTPS扫描。 一站式漏洞管理 提供漏洞修复建议。如果您需要查看修复建议,请购买专业版、高级版或者企业版。 支持下载扫描报告,用户可以离线查看漏洞信息。如果您需要下载扫描报告,请购买专业版、高级版或者企业版。 支持重新扫描。 支持弱密码扫描 多场景可用 支持操作系统(RDP协议、SSH协议)、数据库(如Mysql、Redis)等常见中间件弱口令检测。 丰富的弱密码库 丰富的弱密码匹配库,模拟黑客对各场景进行弱口令探测。 支持端口扫描 扫描服务器端口的开放状态,检测出容易被黑客发现的“入侵通道”。 自定义扫描 支持任务定时扫描。 支持基于用户名密码登录、基于自定义Cookie登录。 支持Web 2.0高级爬虫扫描。 支持自定义Header扫描。 支持手动导入探索文件来进行被动扫描。 主机漏洞扫描 支持深入扫描 通过配置验证信息,可连接到服务器进行OS检测,进行多维度的补丁、已知漏洞、配置检测。 支持操作系统典型服务协议SSH、SSL/TLS的识别和已知漏洞扫描。 支持内网扫描 可以通过跳板机方式访问业务所在的服务器,适配不同企业网络管理场景。 支持中间件扫描 丰富的扫描场景 支持主流Web容器、前台开发框架、后台微服务技术栈的版本漏洞和配置合规扫描。 多扫描方式可选 支持通过标准包或者自定义安装等多种方式识别服务器的中间件及其版本,全方位发现服务器的漏洞风险。 二进制成分分析 全方位风险检测 对软件包/固件进行全面分析,基于各类检测规则,获得相关被测对象的开源软件、信息泄露、安全配置、安全编译选项等存在的潜在风险。 支持各类应用 支持对桌面应用(Windows和Linux)、移动应用程序(APK、IPA、Hap等)、嵌入式系统固件等的检测。 专业分析指导 提供全面、直观的风险汇总信息,并针对不同的扫描告警提供专业的解决方案和修复建议。 二进制成分分析特性已迁移至开源治理服务CodeArts Governance,CodeArts Inspector计划于24年12月份下线该特性。 移动应用安全 移动应用安全服务能快速扫描您的应用,并提供详细的检测报告,协助您快速定位修复问题。 全自动化测试 您只需上传Android、HarmonyOS应用文件提交扫描任务,即可输出详尽专业的测试报告。 支持工信部等4部委的合规要求进行检测,主要检测内容包括隐私声明和行为一致性检测、权限检测、隐私检测、安全问题检测等内容的自动化检测。 详细的测试报告 详尽的在线测试报告,一键即可下载,报告提供包括问题代码行、修复建议、调用栈信息、违规问题场景截图、关联隐私策略片段等信息。 支持第三方SDK隐私声明解析 针对第三方SDK隐私声明存在“表格”与“外链”两种展示方式。通过插桩方式获取应用隐私声明的url,继而提取并深度分析隐私声明内容。 支撑鸿蒙应用扫描 率先支持鸿蒙应用安全漏洞、隐私合规问题扫描。
  • 扫描IP加入网站扫描白名单 如果您的网站设置了防火墙或其他安全策略,将导致漏洞管理服务的扫描IP被当成恶意攻击者而误拦截。因此,在使用漏洞管理服务前,请您将以下扫描IP添加至网站访问的白名单中: 119.3.232.114,119.3.237.223,124.70.102.147,121.36.13.144,124.70.109.117,139.9.114.20,119.3.176.1,121.37.207.185,116.205.135.49,110.41.36.44,139.9.57.171,139.9.1.44,121.37.200.40
  • 使用“能力调测”调用科学计算大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建科学计算大模型部署任务。 科学计算大模型支持全球中期天气要素预测、全球中期降水预测、全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度预测能力,在选择好模型后,根据需求选择相应的数据和模型配置信息,模型就会返回相应的预测结果。 表1 科学计算大模型能力调测参数说明(天气/降水预测) 参数 说明 场景 支持选择全球中期天气要素预测、全球中期降水预测。 全球中期天气要素预测:通过该模型可以对未来一段时间的天气进行预测。 全球中期降水预测:通过该模型可以对未来一段时间的降水情况进行预测。 模型服务 支持选择用于启动推理作业的模型。 中期天气要素模型包括1h分辨率、3h分辨率、6h分辨率、24小时分辨率模型,即以起报时刻开始,分别可以逐1h、3h、6h、24h往后进行天气要素的预测。 中期天气要素模型包括6h分辨率模型,即以起报时刻开始,可以逐6h往后进行降水情况的预测。 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对天气要素或降水进行预报的天数,范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 表面变量 支持选择推理结果输出的表面变量,包括10m u风、10m v风、2米温度、海平面气压,没有选择的变量推理结果将不输出。 高空变量 设置高空变量参数,包括:4个表面层特征(10m u风、10m v风、2米温度、海平面气压),13高空层次(1000、925、850、700、600、500、400、300、250、200、150、100、50hPa)的5个高空层特征(重力位势、u风、v风、比湿、温度),分辨率为25km*25km的网格数据。 集合预报 用于选择是否开启集合预报。 在气象预报中,集合预报是指对初始场加入一定程序的扰动,使其生成一组由不同初始场预报的天气预报结果,从而提供对未来天气状态的概率信息。这种方法可以更好地表达预报的不确定性,从而提高预报的准确性和可靠性。 集合成员数 用于选择生成预报的不同初始场的数量,取值为2~10。 扰动类型 用于选择生成集合预报初始场的扰动类型,包括perlin加噪和CNOP加噪两种方式。 Peilin噪音通过对输入数据(比如空间坐标)进行随机扰动,让模拟出的天气接近真实世界中的变化。 CNOP噪音通过在初始场中引入特定的扰动来研究天气系统的可预报性,会对扰动本身做一定的评判,能够挑选出预报结果与真实情况偏差最大的一类初始扰动。这些扰动不仅可以用来识别最可能导致特定天气或气候事件的初始条件,还可以用来评估预报结果的不确定性。 初始扰动数量 用于选择集合预报的CNOP初始扰动数量。 在CNOP的加噪方式中,会先对初始场进行一定数量的加噪得到一组加噪后的初始场,然后从这组初始场中选择能量变化最大的初始场作为集合预报的初始场,启动推理作业。 ensemble_noise_perlin_scale 用于选择集合预报的Perlin加噪强度。 ensemble_noise_perlin_x 用于选择集合预报的Perlin加噪x经度方向的尺度。 ensemble_noise_perlin_octave 用于选择集合预报的Perlin加噪octave。Perlin噪音的octave指的是噪音的频率,在生成Perlin噪音时,可以将多个不同频率的噪音叠加在一起,以增加噪音的复杂度和细节。每个频率的噪音称为一个octave,而叠加的octave数越多,噪音的复杂度也就越高。 ensemble_noise_perlin_y 用于选择集合预报的Perlin加噪y纬度方向的尺度。 输出设置 用于选择是否输出图片结果。 表2 科学计算大模型能力调测参数说明(海洋类预测) 参数 说明 场景 支持选择全球海洋要素、区域海洋要素、全球海洋生态、全球海浪高度。 全球海洋要素:实现预测全球范围内海面高度, 温度、盐度、海流速度纬向分量和海流速度经向分量变量。 区域海洋要素:实现预测特定区域范围内海面高度, 温度、盐度、海流速度纬向分量和海流速度经向分量变量。 全球海洋生态:实现预测全球范围内的叶绿素浓度、硅藻浓度等8种生态变量。 全球海浪高度:实现预测有效波高的变量。 模型服务 支持选择用于启动推理作业的模型。 结果存储路径 用于存放模型推理结果的OBS路径。 输入数据 支持选择用于存放作为初始场数据的文件路径。 预报天数 支持选择以起报时间点为开始,对海洋模型预测参数进行预报的天数,范围为1~14天。 起报时间 支持选择多个起报时间作为推理作业的开始时间,每个起报时间需为输入数据中存在的时间点。 海表变量 用于描述海洋表面及其生态系统状态的具体指标,尤其是在海洋模型中用于模拟海洋生态和物理过程的输入变量。包括海平面气压、海表高度、总叶绿素浓度、叶绿素浓度、硅藻浓度、颗石藻浓度、蓝藻浓度、铁浓度、硝酸盐浓度、混合层深度、海表高度、有效波高等指标。不同模型的指标已页面展示为准。 深海变量 用于描述海洋深层的物理和化学特性,这些参数在海洋模型中用于模拟海洋内部的动态和状态。包括海温、海盐、海流径向速率、海流纬向速率等。 输出设置 用于选择是否输出图片结果。 图1 调测科学计算大模型-1(天气/降水预测) 图2 调测科学计算大模型-2(天气/降水预测) 图3 调测科学计算大模型(海洋类预测) 父主题: 调用科学计算大模型
  • 模型更新、修改部署 成功创建部署任务后,如需修改已部署的模型或配置信息,可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型和修改作业配置参数,但在修改部署时模型不可替换或修改作业配置参数。 在“模型更新”或“修改部署”后进行升级配置操作。平台支持全量升级方式:新旧版本的服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。 图1 模型更新 图2 修改部署
  • 科学计算大模型训练常见报错与解决方案 科学计算大模型训练常见报错及解决方案请详见表1。 表1 科学计算大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0”报错 日志提示“root: XXX valid number is 0”,表示训练集/验证集的有效样本量为0,例如: INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0,可能有如下原因: 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。 父主题: 训练科学计算大模型
  • 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务也可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见科学计算大模型训练常见报错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。 图2 获取训练日志
  • 查看训练指标 对于已完成训练,训练状态是“训练完成”状态的任务,单击任务名称,可在“训练结果”页面查看训练指标,不同模型的训练指标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 科学计算大模型 Loss 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。这里代表高空Loss(深海Loss)和表面Loss(海表Loss)的综合Loss。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 高空Loss(深海Loss) 高空Loss(深海Loss)是衡量模型在高空层次变量或在深海变量预测结果与真实结果之间差距的指标。该值越小,表示模型在高空(深海)变量的预测精度越高。 表面Loss(海表Loss) 表面Loss(海表Loss)是衡量模型在表面层次变量或在海表变量预测结果与真实结果之间差距的指标。该值越小,表示模型在表面(海表)变量的预测精度越高。 RMS E 均方根误差,衡量预测值与真实值之间差距的指标。它是所有单个观测的平方误差的平均值的平方根。该值越小,代表模型性能越好。 MAE 平均绝对误差,衡量预测值与真实值之间差距的指标。它是所有单个观测的绝对误差的平均值。该值越小,代表模型性能越好。 ACC ACC(异常相关系数,距平相关系数,Anomaly Correlation Coefficient)是一个重要的统计指标,用于衡量预报系统的质量。它通过计算预报值与观测值之间的相关性来评估预报的准确性。ACC的计算涉及到预报值、观测值和气候平均值的差异,其值范围从-1到+1,值越接近+1表示预报与观测的一致性越好,值为0表示没有相关性,而负值则表示反向相关。 RQE 衡量预测值与真实值之间差距的指标。它是所有单个观测的相对误差的平方和。该值越小,代表模型性能越好。
  • 查看模型训练状态 模型启动训练后,可以在模型训练列表中查看训练任务的状态,单击任务名称可以进入详情页查看训练指标、训练任务详情和训练日志。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已停止 模型训练已被用户手动停止。 停止中 模型训练正在停止中。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 待启动 模型训练任务已经创建,但尚未启动训练过程。 初始化 模型训练任务正在进行初始化配置,准备开始训练。
  • 科学计算大模型训练流程介绍 科学计算大模型主要用于。 科学计算大模型的训练主要分为两个阶段:预训练与微调。 预训练阶段:预训练是模型学习基础知识的过程,基于大规模通用数据集进行。例如,在区域海洋要素预测中,可以重新定义深海变量、海表变量,调整深度层、时间分辨率、水平分辨率以及区域范围,以适配自定义区域的模型场景。此阶段需预先准备区域的高精度数据。 微调阶段:在预训练模型的基础上,微调利用特定领域的数据进一步优化模型,使其更好地满足实际任务需求。例如,区域海洋要素预测的微调是在已有模型上添加最新数据,不改变模型结构参数或引入新要素,以适应数据更新需求。 在实际流程中,通过设定训练指标对模型进行监控,以确保效果符合预期。在微调后,评估用户模型,并进行最终优化,确认其满足业务需求后,进行部署和调用,以便实际应用。
  • 科学计算大模型选择建议 科学计算大模型支持训练的模型类型有:中期天气要素预测模型、区域中期海洋智能预测模型。 中期天气要素预测模型选择建议: 科学计算大模型的中期天气要素预测模型,可以对未来一段时间的天气进行预测,具备以下优势: 高时间精度:中期天气要素预测模型可以预测未来1、3、6、24小时的天气情况。高时间精度对于农业、交通、能源等领域的决策和规划非常重要。 全球覆盖:中期天气要素预测模型能够在全球范围内进行预测,不仅仅局限于某个地区。它的分辨率相当于赤道附近每个点约25公里*25公里的空间。 数据驱动:中期天气要素预测模型使用历史天气数据来训练模型,从而提高预测的准确性。这意味着它可以直接利用过去的观测数据,而不仅仅依赖于数值模型。 中期天气要素预测模型信息见表1。 表1 中期天气要素预测模型信息 模型 预报层次 预报高空变量 预报表面变量 降水 时间分辨率 水平分辨率 区域范围 中期天气要素预测模型 13层(1000hpa, 925hpa, 850hpa, 700hpa, 600hpa, 500hpa, 400hpa, 300hpa, 250hpa, 200hpa, 150hpa, 100hpa, 50hpa) T:温度 Q:比湿 Z:重力位势 U:U风 V:V风 MLSP:海平面气压 U10:10米U风,经度方向 V10:10米V风,纬度方向 T2M:2米温度 - 1、3、6、24小时 0.25°*0.25° 全球 该模型类型主要用于天气基础要素预测,支持训练的模型清单见表2,您可根据具体使用场景选择合适的模型。例如天气基础要素预测,需要时间分辨率为1小时的场景下,您可以选择Pangu-AI4S-Weather_1h-20241030模型。 表2 中期天气要素预测模型的类型 模型支持区域 模型名称 使用场景 说明 西南-贵阳一 Pangu-AI4S-Weather_1h-20241030 用于天气基础要素预测,时间分辨率为1小时。 支持预训练、微调、在线推理、能力调测特性,基于Snt9B33,支持1个训练单元训练及1个推理单元部署。 Pangu-AI4S-Weather_3h-20241030 用于天气基础要素预测,时间分辨率为3小时。 支持预训练、微调、在线推理、能力调测特性,基于Snt9B3,支持1个训练单元训练及1个推理单元部署。 Pangu-AI4S-Weather_6h-20241030 用于天气基础要素预测,时间分辨率为6小时。 支持预训练、微调、在线推理、能力调测特性,基于Snt9B3,支持1个训练单元训练及1个推理单元部署。 Pangu-AI4S-Weather_24h-20241030 用于天气基础要素预测,时间分辨率为24小时。 支持预训练、微调、在线推理、能力调测特性,基于Snt9B3,支持1个训练单元训练及1个推理单元部署。 区域中期海洋智能预测模型选择建议: 科学计算大模型的中期海洋智能预测模型,可以对未来一段时间海洋要素进行预测。可为海上防灾减灾,指导合理开发和保护渔业等方面有着重要作用。区域中期海洋智能预测模型当前主要包括区域海洋要素模型,信息见表3。 表3 区域中期海洋智能预测模型信息 模型 深海层深 预报深海变量 预报海表变量 时间分辨率 水平分辨率 区域范围 区域海洋要素模型 0m, 6m, 10m, 20m, 30m, 50m, 70m, 100m, 125m, 150m, 200m, 250m, 300m, 400m, 500m T:海温(℃) S:海盐(PSU) U:海流经向速率 (ms-1) V:海流纬向速率 (ms-1) SSH:海表高度(m) 24h 1/12° 特定区域 该模型类型主要用于区域海洋基础要素预测,支持训练的模型清单见表4,您可根据具体使用场景选择合适的模型。例如区域海洋基础要素预测场景下,您可以选择Pangu-AI4S-Ocean_Regional_24h-20241030模型。 表4 区域中期海洋智能预测模型的类型 模型支持区域 模型名称 使用场景 说明 西南-贵阳一 Pangu-AI4S-Ocean_Regional_24h-20241030 用于区域海洋基础要素预测 支持预训练、微调、在线推理、能力调测特性,基于Snt9B3支持1个训练单元训练及1个推理单元部署。
  • 科学计算大模型训练类型选择建议 中期天气要素预测模型的训练类型选择建议: 中期天气要素预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的中期天气要素预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下: 预训练:训练用于添加新的高空层次、高空变量或表面变量。如果您需要在现有模型中引入新要素,需要使用训练(重新训练模型)。在重训配置参数时,您可以选择新要素进行训练。请注意,所选的数据集必须包含您想要添加的新要素。此外,您还可以通过训练更改所有的模型参数,以优化模型性能。 微调:微调是将新数据应用于已有模型的过程。它适用于不改变模型结构参数和引入新要素的情况。如果您有新的观测数据,可以使用微调来更新模型的权重,以适应新数据。 区域中期海洋智能预测模型的训练类型选择建议: 区域中期海洋智能预测模型的训练支持预训练、微调两种操作,如果直接使用平台预置的区域中期海洋智能预测模型不满足您的使用要求时,可以进行预训练或微调。预训练、微调操作的适用场景如下: 预训练:可以在重新指定深海变量、海表变量、以及深海层深、时间分辨率、水平分辨率以及区域范围,适用于想自定义自己的区域模型的场景,需预先准备好区域高精度数据。 微调:在已有模型的基础上添加新数据,它适用于不改变模型结构参数和引入新要素的情况,添加最新数据的场景。
  • 构建科学计算大模型数据集流程 在ModelArts Studio大模型开发平台中,使用数据工程创建盘古科学计算大模型数据集流程见表2。 表2 盘古科学计算大模型数据集构建流程 流程 子流程 说明 操作指导 导入数据至盘古平台 创建原始数据集 数据集是指用于模型训练或评测的一组相关数据样本,上传至平台的数据将被创建为原始数据集进行统一管理。 创建原始数据集 上线原始数据集 在正式发布数据集前,需要执行上线操作。 上线原始数据集 加工数据集(可选) 创建气象类数据集加工任务 数据集中若存在异常数据,可通过数据集加工功能去除异常字符、表情符号、个人敏感内容等。 创建气象类数据集加工任务 上线加工后的数据集 对加工后的数据集执行上线操作。 上线加工后的文本类数据集 发布数据集 创建气象类数据集发布任务 创建发布数据集,并进行正式的发布操作,用于后续的训练、评测任务。 发布气象类数据集
  • 统计模型调用信息 针对调用的大模型,平台提供了统一的管理功能。 登录ModelArts Studio大模型开发平台,进入所需操作空间。 图1 进入操作空间 单击左侧导航栏“调用统计”,选择“NLP”页签。 选择当前调用的NLP大模型,可以按照不同时间跨度查看当前模型的调用总数、调用失败的次数、调用的总Tokens数、以及输入输出的Tokens数等基本信息。 此外,该功能还提供了可视化界面,可额外查看响应时长以及安全护栏拦截次数。 父主题: 调用NLP大模型
  • 使用“能力调测”调用NLP大模型 平台提供的“能力调测”功能支持用户直接调用预置模型或经过训练的模型。使用该功能前,需完成模型的部署操作,详见创建NLP大模型部署任务。 NLP大模型支持文本对话能力,在输入框中输入问题,模型就会返回对应的答案内容。 图1 调测NLP大模型 表1 NLP大模型能力调测参数说明 参数 说明 温度 用于控制生成文本的多样性和创造力。调高温度会使得模型的输出更多样性和创新性。 核采样 控制生成文本多样性和质量。调高核采样可以使输出结果更加多样化。 最大口令限制 用于控制聊天回复的长度和质量。 话题重复度控制 用于控制生成文本中的重复程度。调高参数模型会更频繁地切换话题,从而避免生成重复内容。 词汇重复度控制 用于调整模型对频繁出现的词汇的处理方式。调高参数会使模型减少相同词汇的重复使用,促使模型使用更多样化的词汇进行表达。 历史对话保留轮数 选择“多轮对话”功能时具备此参数。表示系统能够记忆的历史对话数。 父主题: 调用NLP大模型
  • 模型更新、修改部署 成功创建部署任务后,如需修改已部署的模型或配置信息,可以在详情页面单击右上角的“模型更新”或“修改部署”进行调整。更新模型时可以替换模型,但在修改部署时模型不可替换。 在“模型更新”或“修改部署”后进行升级操作时,可选择全量升级或滚动升级两种方式: 全量升级:新旧版本的服务同时运行,直至新版本完全替代旧版本。在新版本部署完成前,旧版本仍可使用。 滚动升级:部分实例资源空出用于滚动升级,逐个或逐批停止旧版本并启动新版本。滚动升级时可修改实例数。选择缩实例升级时,系统会先删除旧版本,再进行升级,期间旧版本不可使用。 图1 模型更新 图2 修改部署
  • NLP大模型训练常见报错与解决方案 NLP大模型训练常见报错及解决方案请详见表1。 表1 NLP大模型训练常见报错与解决方案 常见报错 问题现象 原因分析 解决方案 创建训练任务时,数据集列表为空 创建训练任务时,数据集选择框中显示为空,无可用的训练数据集。 数据集未发布。 请提前创建与大模型对应的训练数据集,并完成数据集发布操作。 训练日志提示“root: XXX valid number is 0”报错 日志提示“root: XXX valid number is 0”,表示训练集/验证集的有效样本量为0,例如: INFO: root: Train valid number is 0. 该日志表示数据集中的有效样本量为0,可能有如下原因: 数据未标注。 标注的数据不符合规格。 请检查数据是否已标注或标注是否符合算法要求。 训练日志提示“ValueError: label_map not match” 训练日志中提示“ValueError: label_map not match”,并打印出标签数据,例如: ValueError: label_map not match. {1:'apple', 2:'orange', 3:'banana', 4:'pear'} & {1:'apple', 2:'orange', 3:'banana'} 训练集中的标签个数与验证集中的个数不一致,导致该错误发生。 例如,训练集中的标签共有4个,验证集中的标签只有3个。 请保持数据中训练集和验证集的标签数量一致。 父主题: 训练NLP大模型
  • 查看训练指标 对于已完成训练,训练状态是“训练完成”状态的任务,单击任务名称,可在“训练结果”页面查看训练指标,模型的训练指标介绍请参见表2。 图1 查看训练指标 表2 训练指标说明 模型 训练指标 指标说明 NLP大模型 训练损失值 训练损失值是一种衡量模型预测结果和真实结果之间的差距的指标,通常情况下越小越好。 一般来说,一个正常的Loss曲线应该是单调递减的,即随着训练的进行,Loss值不断减小,直到收敛到一个较小的值。 困惑度 用来衡量大语言模型预测一个语言样本的能力,数值越低,准确率也就越高,表明模型性能越好。 指标看板 bleu-1:模型生成句子与实际句子在单字层面的匹配度,数值越高,表明模型性能越好。 bleu-2:模型生成句子与实际句子在词组层面的匹配度,数值越高,表明模型性能越好。 bleu-3:模型生成结果和实际句子的加权平均精确率,数值越高,表明模型性能越好。
  • 获取训练日志 单击训练任务名称,可以在“日志”页面查看训练过程中产生的日志。对于训练异常或失败的任务也可以通过训练日志定位训练失败的原因。典型训练报错和解决方案请参见NLP大模型训练常见报错与解决方案。 训练日志可以按照不同的节点(训练阶段)进行筛选查看。分布式训练时,任务被分配到多个工作节点上进行并行处理,每个工作节点负责处理一部分数据或执行特定的计算任务。日志也可以按照不同的工作节点(如worker-0表示第一个工作节点)进行筛选查看。 图2 获取训练日志
  • 查看模型训练状态 在模型训练列表中查看训练任务的状态,各状态说明详见表1。 表1 训练状态说明 训练状态 训练状态含义 已发布 模型已经训练完成并进行发布,用户可以使用模型进行部署、推理操作。 训练完成 模型训练已经成功完成。 训练中 模型正在训练中,训练过程尚未结束。 训练失败 模型训练过程中出现错误,需查看日志定位训练失败原因。 已停止 模型训练已被用户手动停止。 停止中 模型训练正在停止中。 训练异常 模型训练过程中出现了非预期的异常情况,需查看日志定位训练异常原因。 待启动 模型训练任务已经创建,但尚未启动训练过程。 初始化 模型训练任务正在进行初始化配置,准备开始训练。
共100000条