华为云用户手册

  • 吉凶测试 输入数字号码查询预测吉凶,测试结果仅供娱乐,请勿迷信。 输入参数 用户配置吉凶测试执行动作,相关参数说明如表2所示。 表2 吉凶测试输入参数说明 参数 必填 说明 示例值/默认值 输入待测试号码 是 手机号码、QQ号、门牌号、车牌号等各类数字号码通过周易数理进行吉凶测试。 138001381235 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 吉凶测试输出参数说明 参数 说明 示例值/默认值 测试结论 测试预测结果。 消灭万难,有贵人助,驾驭时机,可得告捷。 数理 测试结果数字。 17 概述 测试结果大概描述。 排除万难且会有贵人帮助... 吉凶结果 是否为吉或凶。 吉 数字评分 对该结果评分。 60
  • 删除模型实例数据 应用服务器可调用此接口删除数字工厂平台的指定模型实例数据。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表9。 表9 删除模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record_id String 是 模型实例数据ID,用于唯一标识一个模型实例数据。 无 abc***fffff 输出参数 无。
  • 获取模型ID 在调用接口时,API的请求参数需要填入模型ID。 登录华为云数字工厂企业平台。 在左侧导航单击“建模 ”,在“模型构建器”区域下,单击相应的模型卡片,进入模型详情界面。 这里以产品模型为例。其他模型同理。 获取模型ID。 进入产品模型管理界面,单击需要获取的模型ID,如图1所示。 图1 产品模型管理 进入事务模型管理界面,单击需要获取的模型ID,如图2所示。 图2 事务模型管理 进入产品模型管理界面,查看子模型(结构模型、业务规则)的模型ID,如图3所示。 图3 产品模型管理
  • 查询模型实例数据 应用服务器可调用此接口查询数字工厂平台指定模型实例数据详情信息。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表6。 表6 查询模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record_id String 是 模型实例数据ID,用于唯一标识一个模型实例数据。 无 abc***fffff 输出参数 用户可以在之后的执行动作中调用该输出参数,参数说明请参考表7。 表7 查询模型实例数据输出参数说明 参数 类型 说明 默认值 示例值 record_id String 模型实例数据ID。 无 aaabxxsax record Object 模型实例数据结构体,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" }
  • 修改模型实例数据 应用服务器可调用此接口修改数字工厂平台的指定模型实例数据。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表8。 表8 修改模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record_id String 是 模型实例数据ID,用于唯一标识一个模型实例数据。 无 abc***fffff record Object 是 模型动态信息数据,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" } 输出参数 无。
  • 创建模型实例数据 应用服务器可调用此接口创建数字工厂平台的模型实例数据。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表2。 表2 创建模型实例数据输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff record Object 是 模型动态信息数据,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" } parent_record_id String 否 上级模型实例数据唯一标识,创建子模型实例数据时必填。获取方法请参见获取模型ID。 无 xxx 输出参数 用户可以在之后的执行动作中调用该输出参数,参数说明请参考表3。 表3 创建模型实例数据输出参数说明 参数 类型 说明 默认值 示例值 record_id String 模型实例数据ID。 无 aaabxxsax record Object 模型实例数据结构体,JSON格式。 无 { "id": "id1", "name": "name1", "status": "enabled" }
  • 连接参数 连接器使用数字工厂分配的client_id和client_secret认证方式,连接前需要先登录数字工厂平台应用集成界面创建一个新应用,并获取到认证信息,请参考获取认证信息。 连接器验证,需要配置相关参数,参数说明请参考表1。 表1 连接器认证参数说明 参数 类型 是否必填 说明 默认值 示例值 应用标识 String 是 注册应用后,分配的client_id。获取方法请参见获取认证信息。 无 YVMBE***QIJCR 应用密钥 String 是 注册应用后,分配的client_secret。获取方法请参见获取认证信息。 无 ****** 实例ID String 是 实例ID。获取方法请参见获取对接信息。 无 aaa***bbb 站点编码 String 否 站点编码。企业层调用时必填,行业层调用时不需要填写。获取方法请参见获取对接信息。 无 DefaultSite
  • 查询模型实例数据列表 应用服务器可调用此接口查询数字工厂平台的模型实例数据列表,了解模型实例数据的概要信息。 输入参数 用户配置该执行动作,需要配置相关参数,参数说明请参考表4。 表4 查询模型实例数据列表输入参数说明 参数 类型 是否必填 说明 默认值 示例值 project_id String 是 项目ID。获取方法请参见获取对接信息。 无 abc***fffff model_id String 是 模型ID。获取方法请参见获取模型ID。 无 abc***fffff limit Integer 否 分页查询时每页显示的记录数。取值范围:1~50的整数。 10 50 marker String 否 上一次分页查询结果中最后一条记录的ID。 ffffffffffffffffffffffff ffffffffffffffffffffffff parent_record_id String 否 上级模型实例数据唯一标识,查询子模型实例数据时必填。 无 aaabxxsax condition_type String 否 查询条件类型,所有条件(AND)、任意条件(OR)。 无 OR conditions Array 否 查询条件。 无 [ { "code":"id", "op":"equal", "value": "abceddddddd" } ] 输出参数 用户可以在之后的执行动作中调用该输出参数,参数说明请参考表5。 表5 查询模型实例数据列表输出参数说明 参数 类型 说明 默认值 示例值 records Array 模型实例数据列表。 无 aaabxxsax page Object 列表分页信息。 无 { "id": "id1", "name": "name1", "status": "enabled" }
  • 节气信息查询 根据输入的节气名称和年份信息,给出该节气的日期范围,介绍,习俗等。 输入参数 用户配置节气信息查询执行动作,相关参数说明如表2所示。 表2 节气信息查询输入参数说明 参数 必填 说明 示例值/默认值 节气名称 是 24节气名称。 立春 年份 否 指定年份。 2020 输出参数 用户可以在之后的执行动作中调用该输出参数,输出参数说明请参考表3。 表3 节气信息查询输出参数说明 参数 说明 示例值/默认值 节气名称 查询的节气名称。 立春 节气图 该节气的节气图。 lichun.jpg 日期范围 日期范围。 2月4日或5日 公历日期 公历日期。 2020-02-04 农历日期 农历日期。 2020-1-11 农历年 农历年。 庚子 农历月 农历月。 正月 农历日 农历日。 十一 农历生肖 农历生肖。 鼠 诗句 该节气相关的诗句。 东风带雨逐西风,大地阳和暖气生。万物苏萌山水醒,农家岁首又谋耕。 介绍 该节气的介绍。 立春不仅是农历二十四节气中的第一个节气...... 习俗 该节气的习俗。 立春后,人们在春暖花开的日子里,喜欢外出游春...... 美食 该节气的美食。 立春时的食品主要是春饼、萝卜、五辛盘等,在南方则流行吃春卷...... 宜忌 该节气的宜忌。 立春后是疾病多发的季节。春天的多发病有肺炎、肝炎、流脑、麻疹......
  • 查看定时任务 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“定时运维”,进入“定时运维”页面。 图20 查询列表 单击搜索框,弹出搜索条件列表;选择对应的搜索条件,输入对应的值,单击回车按钮即可搜索数据。搜索框后的图标依次支持:刷新列表数据、设置列表展示字段。 单击列表数据中对应任务名称,进入查看定时任务详情。 图21 查看定时任务详情 定时任务详情界面中,单击“执行脚本”或“作业ID”,右侧弹窗查看脚本或作业详情。 图22 查询详情 系统租户隔离,仅能查看租户账号或子账号创建的定时任务。
  • 审批定时运维 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“定时运维”,进入“定时运维”页面。选择“状态”列为待审批的数据,单击任务名称,进入“定时任务详情”页面。 图26 审批定时任务 单击右上角“审批”,弹出审批结果弹窗,选择审批结果,输入审批意见。单击“确定”,即可完成审批操作。 图27 审批定时任务 仅能审批“审批人”列为当前登录账号的数据。审批通过的定时任务才可以被启用。
  • 启用、禁用定时任务 登录COC。 在左侧菜单栏选择“自动化运维”,在“日常运维”模块单击“定时运维”,进入“定时运维”页面。 单击列表“操作”列的“启用”、“禁用”,对定时任务进行启用或禁用。 图23 查看列表 1、用户仅能启用/禁用自己创建的定时任务。可查看当前租户账号下其他用户创建的定是任务。 2、任务启用后,开始生效,在后台创建定时调度,到达执行时间时开始执行。禁用后,在后台删除定时调度,不再执行。
  • COC自定义策略样例 示例1:授权用户创建运维事务 { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "coc:task:create" ] } ] } 示例2:拒绝用户删除文档 拒绝策略需要同时配合其他策略使用,否则没有实际作用。用户被授予的策略中,一个授权项的作用如果同时存在Allow和Deny,则遵循Deny优先。 如果您给用户授予COC FullAccess的系统策略,但不希望用户拥有COC FullAccess中定义的删除文档的权限,您可以创建一条拒绝删除文档的自定义策略,然后同时将COC FullAccess和拒绝策略授予用户,根据Deny优先原则,则用户可以对COC执行除了删除文档外的所有操作。拒绝策略示例如下: { "Version": "1.1", "Statement": [ { "Effect": "Deny", "Action": [ "coc:document:delete" ] } ] } 示例3:多个授权项策略 一个自定义策略中可以包含多个授权项,且除了可以包含本服务的授权项外,还可以包含其他服务的授权项,可以包含的其他服务必须跟本服务同属性,即都是项目级服务。多个授权语句策略描述如下: { "Version": "1.1", "Statement": [ { "Effect": "Allow", "Action": [ "coc:document:create", "scm:cert:complete" ] } ] }
  • GUC参数 表8 GUC参数 变更类型 序号 名称 变更描述 新增 1 space_readjust_schedule 用户、schema空间是否自动校准的参数,默认值:auto,支持范围:off/auto/auto(xxxK/M/G)。 2 space_once_adjust_num 空间管控和空间统计功能中,控制慢速构建与细粒度校准操作中每次处理的文件个数阈值,默认值:300。 3 tag_cache_max_number 该参数用于设置全局哈希表tag cache缓存item的最大阈值,默认值10000000。 4 enable_tagbucket_auto_adapt 该参数用于设置是否开启tagbucket自适应调整,默认值on。 5 cache_tag_value_num 该参数用于在tag列lateread场景时,设置缓存的tag元组数量,默认值60000。 6 buffer_ring_ratio 用于控制行存Ringbuffer的阈值和开关,默认值250,即1/4(250/1000),与以前逻辑一致。 7 enable_stream_ctescan 新增参数,升级默认关闭,新装默认打开。控制stream计划是否开启share scan功能。 8 behavior_compat_options 新增disable_including_all_mysql选项用于控制MySQL兼容模式下create table like语法是否为including all模式,默认不设置,create table like语法为including_all模式。 9 profile_logging_module 增加GUC参数profile_logging_module配置记录性能日志的类型,升级和新装均默认打开OBS,HADOOP,REMOTE_DATANODE,关闭MD。该参数方法与日志模块开关logging_module相同。 10 object_mtime_record_mode 控制pg_object记录修改时间的行为,默认保持老版本行为,新增选项可控制不记录分区/truncate/grant/revoke。 11 skew_option 控制是否使用优化策略。 12 ddl_lock_timeout 配置ddl锁超时的时间。 修改 13 rewrite_rule 新增选项orconversion,默认打开。 使用等值关联的OR条件优化规则。变更点:计划从nestloop转到hashjoin。 新增选项projection_pushdown,默认打开。 变更点:子查询/CTE/视图中未使用的列被优化删除。 14 default_orientation 新增userset guc参数default_orientation,用于控制用户默认建表(不设置orientation)的类型,参数有三种类型可以设置: 行存表(row),列存表(column),开启delta表的列存表(column enabledelta)。 15 max_process_memory 初始化安装时OM设置max_process_memory公式为:可用内存*0.7/(1+DN数),其中系数0.7改为0.8。老集群升级、扩容等场景不变。 16 enable_bloom_filter 复用原参数,现用于控制列存BloomFilter,默认值不变(打开)。 17 retry_ecode_list 默认值新增45003,主要是处理list分区表查询和add分区并发场景下,查询分区可能错位的问题。 18 auth_iteration_count 将默认值从50000减少到10000,新装、升级均会修改。参数表示客户端和服务端密码哈希迭代次数。
  • 修订记录 发布日期 修改记录 2024-03-28 第十一次正式发布。 更新策略管理概述、新增/编辑应急策略章节内容,更新约束限制并增加应急策略推荐配置说明。 更新采集数据章节内容,增加E CS VPC终端节点 资源相关说明。 更新安全编排概述、查看实例监控章节内容,更新剧本、流程实例约束限制说明。 更新查看基线检查结果章节内容,增加查看检查结果操作步骤。 更新查看资产信息、查看漏洞详情、查看事件信息、查看告警信息、查看情报指标章节内容,更新查看数据描述信息。 新增一键阻断/解封章节内容。 2024-02-29 第十次正式发布。 更新编辑工作空间章节内容,增加 安全云脑 对接标签服务资料描述。 更新创建托管章节内容,增加安全云脑对接Organizations资料描述信息。 更新编辑/删除资产章节内容,增加批量编辑资产操作步骤。 更新查看告警信息章节内容,告警详情页面优化,资料更新描述信息。 更新查看基线检查结果章节内容,新增检查结果页面描述。 更新处理基线检查结果章节内容,新增导入、导出检查结果操作指导。 更新支持接入的日志章节内容,新增支持接入安全云脑基线检查数据至安全分析管道中。 更新工作空间概述、安全分析概述章节内容,补充工作空间、安全分析的约束与限制。 更新内置剧本和流程章节内容,新增内置剧本、流程和资产连接。 更新查看资产信息、查看漏洞详情、查看事件信息、查看告警信息、新增/编辑情报指标章节内容,更新页面布局截图。 新增舆情监测功能资料说明。 2023-12-11 第九次正式发布。 更新购买安全云脑章节内容,安全云脑支持对接TMS服务,增加了相关描述内容。 更新创建/复制安全报告、查看安全报告章节内容,新增周报说明信息。 更新总览、态势总览、综合 态势感知 大屏、值班响应大屏、资产大屏、威胁态势大屏、脆弱性大屏章节内容,补充指标统计周期。 更新查看已处理任务章节内容,更新目录名称。 更新服务委托授权章节内容,补充安全云脑委托权限的说明。 更新内置剧本和流程章节内容,新增内置剧本、流程和资产连接。 新增采集数据章节内容。 删除“购买ECS”、“安装Agent”、“新增节点”、“配置组件”、“新增连接”、“配置解析器”、“新增采集通道”章节内容,优化合入采集数据章节。 删除“批量取消阻断”章节,合入批量阻断/批量取消阻断章节。 优化资料描述。 2023-10-30 第八次正式发布。 更新创建/复制安全报告章节内容,支持配置发送报告相关信息。 更新查看安全报告章节内容,新增月报展示内容说明信息。 新增内置剧本和流程章节内容,补充内置剧本、流程和资产连接信息。 新增支持接入的日志章节内容,补充可接入云服务日志信息。 新增配置防线策略章节内容。 删除“提交流程版本”章节内容,并更新管理流程版本章节内容,合入提交流程版本内容。 更新购买标准版、购买专业版章节内容,更新主机配额描述信息。 调整文档结构并优化资料描述。 2023-09-25 第七次正式发布。 更新资产管理概述章节内容,新增资产来源以及对应的安全防护产品描述信息。 更新日志字段含义章节内容,更新WAF攻击日志字段说明。 更新工作空间概述章节内容,更新工作空间约束限制内容。 新增投递日志数据至LTS章节内容。 优化资料描述。 2023-08-10 第六次正式发布。 更新下载安全报告章节内容,支持下载多种格式报告。 更新查看待办任务章节内容,新增了备注信息。 新增查看已处理任务章节,支持查看已处理任务信息。 新增设置资产订阅章节内容,支持订阅其他region信息。 新增策略管理章节,支持统一管理防线策略和应急策略。 更新查看事件信息章节内容,可以查看受影响咨询信息。 更新关闭/删除事件章节内容,支持批量关闭和删除事件。 更新查看告警信息信息章节内容,可以查看受影响咨询信息。 更新告警转事件或关联事件章节内容,新增告警关联事件操作。 更新关闭/删除告警章节内容,支持批量关闭和删除告警。 新增告警处置建议章节内容,针对TOP告警新增处理建议。 更新日志字段含义章节内容,新增MTD告警字段说明。 更新安全编排使用流程章节内容,系统内置剧本默认已激活,无需手动操作。 新增查看自定义类型章节内容。 更新新增资产连接、管理资产连接章节内容,更新描述信息。 更新数据采集概述章节内容,增加了支持的安装系统。 更新“购买ECS”章节内容,增加了支持的安装系统。 更新管理解析器章节内容,支持自定义导入、导出解析器。 删除“修改资产信息同步策略”章节,系统自动同步资产信息,无需再通过剧本进行同步。 2023-06-30 第五次正式发布。 新增(可选)配置并启用流程、(可选)配置并启用剧本章节内容。 更新安全编排概述、安全编排使用流程章节内容,优化描述信息。 删除“新增剧本”、“新增流程”、“新增布局”、“新增数据类”、“新增数据字段”章节内容。 2023-05-25 第四次正式发布。 新增数据投递、服务委托授权章节内容。 删除“资产管理访问授权”、“基线检查访问授权”章节内容,委托权限功能单独统一管理。 更新综合态势感知大屏、值班响应大屏、资产大屏、威胁态势大屏、脆弱性大屏章节数据详细说明。 优化文档描述。 2023-04-25 第三次正式发布。 新增空间托管章节内容。 新增查看已购资源章节内容,支持统一管理已购资源。 新增脆弱性大屏、资产大屏、威胁态势大屏章节内容。 新增下载安全报告章节内容。 新增导入/导出资产、“配置资产管理策略”章节内容,支持导入资产和管理资产同步策略。 新增修复漏洞、导入/导出漏洞、忽略/取消忽略漏洞章节内容。 新增插件管理章节内容。 新增数据采集章节内容,支持采集数据到安全云脑进行统一管理。 新增导入/导出事件、导入/导出告警、导入/导出情报指标章节内容。 更新购买安全云脑章节内容,新增智能分析增值包内容、版本升级内容。 更新新增工作空间章节内容,更新参数描述信息。 更新创建/复制安全报告章节内容,新增支持创建周报、月报描述。 更新查看安全报告章节内容,新增安全报告模板内容描述信息。 更新查看资产信息章节内容,更新各类资产分类展示描述信息。 更新数据集成章节内容,新增新接入数据源产品描述信息。 2023-02-20 第二次正式发布。 刷新总览、态势总览章节内容,新增“合规检查”数据展示模块。 刷新购买增值包章节内容,新增安排编排支持包周期购买说明。 新增删除工作空间章节内容。 新增值班响应大屏章节内容。 刷新漏洞管理章节内容,新增“增漏洞统计”相关说明。 刷新事件管理、告警管理、情报管理章节内容,新增事件/告警/情报统计情况描述。 刷新“新增流程”章节内容,新增人工审核步骤,可以自定义审核人员。 新增目录定制章节内容。 2022-12-10 第一次正式发布。
  • SecMasterBiz插件说明 SecMasterBiz插件是自动更改告警名称流程中的一个插件,用于分析处理webshell类型告警的名称数据,可以按照用户自定义维度拼接告警名称,返回更新后的告警名称。 SecMasterBiz插件包含多个Action,其中,“changeWebshellAlertName” Action提供了几个入参供用户自定义选取,每个入参代表一个分析维度。 用户根据需要选择不同的维度参数对进行告警名称进行拼接,没有选中的参数,默认不返回该维度数据。填入y表示yes,即选择该参数;填入n表示no,或者保持为空,都表示不选择该参数。 表1 参数配置说明 参数名称 参数含义 取值范围 severity 告警严重程度 y/n createTime 告警创建时间 y/n srcIp 告警攻击源IP y/n sourceCountryCity 告警攻击源国家和城市 y/n destinationIp 告警攻击目标IP y/n destinationCountryCity 告警攻击目标国家和城市 y/n
  • 适用场景 支持并行的算子 计划中存在以下算子支持并行: Scan:支持行存普通表和行存分区表顺序扫描、列存普通表和列存分区表顺序扫描、HDFS内外表顺序扫描;支持GDS数据导入的外表扫描并行。以上均不支持复制表。 Join:HashJoin、NestLoop Agg:HashAgg、SortAgg、PlainAgg、WindowAgg(只支持partition by,不支持order by) Stream:Redistribute、Broadcast 其他:Result、Subqueryscan、Unique、Material、Setop、Append、VectoRow、RowToVec SMP特有算子 为了实现并行,新增了并行线程间的数据交换Stream算子供SMP特性使用。以下新增的算子可以看做Stream算子的子类: Local Gather:实现DN内部并行线程的数据汇总 Local Redistribute:在DN内部各线程之间,按照分布键进行数据重分布 Local Broadcast:将数据广播到DN内部的每个线程 Local RoundRobin:在DN内部各线程之间实现数据轮询分发 Split Redistribute:在集群跨DN的并行线程之间实现数据重分布 Split Broadcast:将数据广播到集群所有DN的并行线程 上述新增算子可以分为Local与非Local两类,Local类算子实现了DN内部并行线程间的数据交换,而非Local类算子实现了跨DN的并行线程间的数据交换。 示例说明 以TPCH Q1的并行计划为例: 在这个计划中,实现了Hdfs Scan以及HashAgg算子的并行,并且新增了Local Gather和Split Redistribute数据交换算子。 其中6号算子为Split Redistribute算子,上面标有的“dop: 4/4”表明Split Redistribute的发送端和接收端线程的并行度均为4。4号算子为Local Gather,上面标有“dop: 1/4”,该算子的发送端线程并行度为4,而接收端线程并行度为1,即下层的5号Hash Aggregate算子按照4并行度执行,而上层的1~3号算子按照串行执行,4号算子实现了DN内并行线程的数据汇总。 通过计划Stream算子上标明的dop信息即可看出各个算子的并行情况。
  • 审视和修改表定义 在分布式框架下,数据分布在各个DN上。一个或者几个DN的数据存在一块物理存储设备上,好的表定义至少需要达到以下几个目标: 表数据均匀分布在各个DN上,以防止单个DN对应的存储设备空间不足造成集群有效容量下降。选择合适分布列,避免数据分布倾斜可以实现该点。 表Scan压力均匀分散在各个DN上,以避免单DN的Scan压力过大,形成Scan的单节点瓶颈。分布列不选择基表上等值filter中的列可以实现该点。 减少扫描数据量。通过分区的剪枝机制可以实现该点。 尽量减少随机IO。通过聚簇/局部聚簇可以实现该点。 尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布列的选择。创建表定义一般遵循图 1 表定义流程所示流程。表定义在数据库设计阶段创建,在SQL调优过程中进行审视和修改。 图1 表定义流程 父主题: SQL调优指南
  • SQL语句出错自动重试 GaussDB (DWS)支持在SQL语句执行出错时自动重试(下文简称CN Retry)。对于来自gsql客户端、JDBC、ODBC驱动的SQL语句,在SQL语句执行失败时,CN端能够自动识别语句执行过程中的报错,并重新下发任务进行自动重试。 该功能的限制和约束如下: 功能范围限制: 仅能提高故障发生时SQL语句执行成功率,不能保证100%的执行成功。 CN Retry默认开启,开启后temp表会记录日志,关闭CN Retry后,temp表不会记录日志,因此不能在使用temp表时反复打开/关闭CN Retry开关,否则主备切换后再CN Retry会造成数据不一致。 CN Retry默认开启,开启后新创建的unlogged表会忽视unlogged关键字,建成普通表。关闭CN Retry后,unlogged表不会记录日志,因此不能在使用unlogged表时反复打开/关闭CN Retry开关,否则主备切换后再CN Retry会造成数据不一致。 在使用gds进行数据导出时,支持CN Retry。现有机制导出时会对重复文件进行检测并删除相同的文件,因此建议不要对相同的外表重复导出数据,除非确定数据目录中相同文件名的文件需要删除。 错误类型约束: SQL语句出错时能够被识别和重试的错误,仅限在错误类型列表(请参考表1)中定义的错误。 语句类型约束: 支持单语句CN Retry、存储过程、函数、匿名块。不支持事务块中的语句。 存储过程语句约束: 包含EXCEPTION的存储过程,如果在执行过程中(包含语句块执行和EXCEPTION中的语句执行)错误被抛出,可以retry,且系统内部错误发生时,retry会先于EXCEPTION被执行,而如果报错被EXCEPTION捕获则不能retry。 不支持使用全局变量的package。 不支持DBMS_JOB。 不支持UTL_FILE。 如果存储过程中有输出打印信息(如dbms_output.put_line或raise info等),则发生retry时会重复输出已打印的消息,并会在重复消息前输出“Notice:Retry triggered, some message may be duplicated.”加以提示。 集群状态约束: 仅支持DN、GTM实例故障。 CN Retry有次数限制,如果在CN Retry达到最大尝试次数(最大次数由max_query_retry_times控制)之前,集群状态无法从故障状态恢复到正常状态,那么CN Retry不能保证执行成功。 扩容时不支持CN Retry。 数据导入约束: 不支持COPY FROM STDIN语句。 不支持gsql \copy from元命令。 不支持JDBC CopyManager copyIn导入数据。 CN Retry支持的错误类型列表和对应的错误码信息见表1, 可以通过GUC参数retry_ecode_list设置CN Retry支持的错误类型列表,但不建议用户直接修改该参数,如有修改需求请联系技术工程师协助处理。 表1 CN Retry支持的错误类型列表 错误类型 错误码 备注 对端连接重置(CONNECTION_RESET_BY_PEER) YY001 TCP通信错误:Connection reset by peer(CN和DN间通信) 对端流重置(STREAM_CONNECTION_RESET_BY_PEER) YY002 TCP通信错误:Stream connection reset by peer(DN和DN间通信) 锁等待超时(LOCK_WAIT_TIMEOUT) YY003 锁超时,Lock wait timeout 连接超时(CONNECTION_TIMED_OUT) YY004 TCP通信错误,Connection timed out 查询设置错误(SET_QUERY_ERROR) YY005 SET命令发送失败,Set query 超出逻辑内存(OUT_OF_ LOG ICAL_MEMORY) YY006 内存申请失败,Out of logical memory 通信库内存分配(SCTP_MEMORY_ALLOC) YY007 SCTP通信错误,Memory allocate error 无通信库缓存数据(SCTP_NO_DATA_IN_BUFFER) YY008 SCTP通信错误,SCTP no data in buffer 通信库释放内存关闭(SCTP_RELEASE_MEMORY_CLOSE) YY009 SCTP通信错误,Release memory close SCTP、TCP断开(SCTP_TCP_DISCONNECT) YY010 SCTP通信错误,TCP disconnect 通信库断开(SCTP_DISCONNECT) YY011 SCTP通信错误,SCTP disconnect 通信库远程关闭(SCTP_REMOTE_CLOSE) YY012 SCTP通信错误,Stream closed by remote 等待未知通信库通信(SCTP_WAIT_POLL_UNKNOW) YY013 等待未知通信库通信,SCTP wait poll unknow 无效快照(SNAPSHOT_INVALID) YY014 快照非法,Snapshot invalid 通讯接收信息错误(ERRCODE_CONNECTION_RECEIVE_WRONG) YY015 连接获取错误,Connection receive wrong 内存耗尽(OUT_OF_MEMORY) 53200 内存耗尽,Out of memory 连接失败(CONNECTION_FAILURE) 08006 GTM出错,Connection failure 连接异常(CONNECTION_EXCEPTION) 08000 连接出现错误,DN的通讯失败,Connection exception 管理员关闭系统(ADMIN_SHUTDOWN) 57P01 管理员关闭系统,Admin shutdown 关闭远程流接口(STREAM_REMOTE_CLOSE_SOCKET) XX003 关闭远程套接字,Stream remote close socket 重复查询编号(ERRCODE_STREAM_DUPLICATE_QUERY_ID) XX009 重复查询,Duplicate query id Stream查询并发更新同一行(ERRCODE_STREAM_CONCURRENT_UPDATE) YY016 Stream查询并发更新同一行,Stream concurrent update LLVM内存分配错误(ERRCODE_LLVM_BAD_ALLOC_ERROR ) CG003 内存分配错误, Allocate error LLVM致命错误(ERRCODE_LLVM_FATAL_ERROR) CG004 致命错误,Fatal error HashJoin临时文件读取错误(ERRCODE_HASHJOIN_TEMP_FILE_ERROR) F0011 临时文件读取错误,File error Buffer文件读取错误(ERRCODE_BUFFER_FILE_ERROR) F0012 文件读取错误,File error 分区个数发生变化(ERRCODE_PARTITION_NUM_CHANGED) 45003 在扫描LIST分区表时,发现此时的分区个数和优化阶段的分区个数不一致,一般出现在查询和ADD/DROP分区并发时。(此错误类型仅8.1.3及以上集群版本支持) 节点间对象SCHEMA名称不一致(ERRCODE_UNMATCH_OBJECT_SCHEMA) 42P30 对象SCHEMA名称不一致,Unmatched schema name 开启CN Retry功能需要设置如下GUC参数: 必选的GUC参数(CN和DN都需设置) max_query_retry_times CN Retry功能开启时会为临时表数据记录日志,为保证数据一致性,在使用临时表时不能切换CN Retry开关状态,保持使用临时表的会话中CN Retry开关始终处于打开状态或者关闭状态。 可选的GUC参数 cn_send_buffer_size max_cn_temp_file_size 父主题: SQL执行troubleshooting
  • 处理步骤 通过下列的操作步骤,可以分析出查询效率异常降低的原因。 使用ANALYZE命令分析数据库。 ANALYZE命令更新所有表中数据大小以及属性等相关统计信息,该命令为轻量级,可以经常执行。如果此命令执行后性能恢复或者有所提升,则表明autovacuum未能很好的完成它的工作,有待进一步分析。 检查查询语句是否返回了多余的数据信息。 例如,如果查询语句先查询一个表中所有的记录,而只用到结果中的前10条记录。对于包含50条记录的表,查询起来是很快的;但是,当表中包含的记录达到50000条,查询效率将会有所下降。 若业务应用中存在只需要部分数据信息,但是查询语句却是返回所有信息的情况,建议修改查询语句,增加LIMIT子句来限制返回的记录数。这样至少使数据库优化器有了一定的优化空间,一定程度上会提升查询效率。 检查查询语句单独运行时是否仍然较慢。 尝试在数据库没有其他查询或查询较少的时候运行查询语句,并观察运行效率。如果效率较高,则说明可能是由于之前运行数据库系统的主机负载过大导致查询低效。此外,还可能是执行计划比较低效,但是由于主机硬件较快使得查询效率较高。 检查相同查询语句重复执行的效率。 查询效率低的一个重要原因是查询所需信息没有缓存在内存中,这可能是由于内存资源紧张,缓存信息被其他查询处理覆盖。 重复执行相同的查询语句,如果后续执行的查询语句效率提升,则可能是由于上述原因导致。
  • Plan Hint实际调优案例 本节以TPC-DS标准测试的Q24的部分语句为例,在1000X,24DN环境上,说明使用plan hint进行实际调优的过程。示例如下: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 select avg(netpaid) from (select c_last_name ,c_first_name ,s_store_name ,ca_state ,s_state ,i_color ,i_current_price ,i_manager_id ,i_units ,i_size ,sum(ss_sales_price) netpaid from store_sales ,store_returns ,store ,item ,customer ,customer_address where ss_ticket_number = sr_ticket_number and ss_item_sk = sr_item_sk and ss_customer_sk = c_customer_sk and ss_item_sk = i_item_sk and ss_store_sk = s_store_sk and c_birth_country = upper(ca_country) and s_zip = ca_zip and s_market_id=7 group by c_last_name ,c_first_name ,s_store_name ,ca_state ,s_state ,i_color ,i_current_price ,i_manager_id ,i_units ,i_size); 该语句的初始计划如下,运行时间110s: 该计划中,第10层算子使用broadcast性能较差,由于第11层算子估算行数为2140,比实际行数严重低估。错误行数估算主要来源于第13层算子的行数低估,根因是第13层hashjoin中,使用store_sales的(ss_ticket_number, ss_item_sk)列和store_returns的(sr_ticket_number, sr_item_sk)列进行关联,由于缺少多列相关性的估算导致行数严重低估。 2. 使用如下的rows hint进行调优后,计划如下,运行时间318s: 1 2 select avg(netpaid) from (select /*+rows(store_sales store_returns * 11270)*/ c_last_name ... 时间反而劣化了,原因是第8层hashjoin过慢引起第9层redistribute时间过慢导致,其中第9层redistribute并没有数据倾斜,hashjoin慢的原因是由于第18层redistribute后数据倾斜导致。 3. 经过实际数据查证,customer_address的两个join列的不同值数目较少,使用其进行join容易出现数据倾斜,故把customer_address放到最后进行join。使用如下的hint进行调优后,计划如下,运行时间116s: 1 2 3 4 select avg(netpaid) from (select /*+rows(store_sales store_returns *11270) leading((store_sales store_returns store item customer) customer_address)*/ c_last_name ... 发现时间基本花在了第6层redistribute算子上,需要进一步优化。 4. 由于最后一层redistribute包含倾斜,所以时间较长。为了避免倾斜,需要将item表放在最后join,由于item表的join并不能使行数减少。修改hint如下并执行,计划如下,运行时间120s: 1 2 3 4 select avg(netpaid) from (select /*+rows(store_sales store_returns *11270) leading((customer_address (store_sales store_returns store customer) item)) c_last_name ... 该计划中的redistribute问题并没有解决,因为第22层item表做了broadcast,导致与customer_address表join后的倾斜并没有被消除掉。 5. 增加如下禁止item表做broadcast的hint,使与customer_address join的表做redistribute(也可以进行join表redistribute的hint),计划如下,运行时间105s: 1 2 3 4 5 select avg(netpaid) from (select /*+rows(store_sales store_returns *11270) leading((customer_address (store_sales store_returns store customer) item)) no broadcast(item)*/ c_last_name ... 6. 发现最后一层使用单层Agg,但行数缩减较多。使用相同的hint,同时结合参数best_agg_plan=3进行双层Agg调优,最终计划如下图所示,运行时间94s,完成调优。 如果有统计信息变更引起的查询劣化,可以考虑用plan hint来调整到之前的查询计划。这里以TPCH-Q17为例,在收集default_statistics_target设置为–2的统计信息之后,计划相比于默认统计信息发生劣化。 1. 默认统计信息(default_statistics_target设置为100)的计划如下: 2. 统计信息变更(default_statistics_target设置为–2)的计划如下: 3. 经过对比,劣化的原因主要为lineitem和part表join时stream类型由BroadCast变更为Redistribute导致。可以对语句进行stream方式的hint来调整到之前的计划,例如: 父主题: 使用Plan Hint进行调优
  • 操作步骤 登录行业视频管理服务后台。 输入账号、密码,单击“登录”。 单击提示界面中的“创建企业”。 按界面提示填写企业信息。 AK、SK、账号名,账号ID、项目和项目ID为 注册华为账号 并开通华为云创建的信息。 如果打开“API凭证后”无法获取项目ID,请单击“控制台”,选择“华北-北京四”后回到凭证界面即可获取项目ID。 填写完成后单击“创建”,创建企业。 如需修改企业信息,展开企业名称后面的三角图标,选择“企业信息”,可以修改企业信息。
  • 购买套餐 登录行业视频管理服务。 单击“立即购买”,使用在注册华为账号并开通华为云中创建的华为账号(已完成个人和企业的实名认证)登录后进入套餐购买界面。 选择套餐包规格,套餐包说明如表1所示,详细价格介绍请参见计费说明。 表1 套餐包说明 套餐包 说明 接入调阅服务 接入调阅套餐根据设备接入数和调阅带宽按月收取费用,包括体验套餐包、标准套餐包和高级套餐包。 录像存储服务 录像存储服务套餐根据存储容量按月收取费用,包括动检存储和连续存储套餐包。 动检存储:当设备发送告警事件后,会保存告警时间段的设备录像到华为 云存储 。 连续存储:当设备在线的状态下,会保存全体连续的设备录像到华为云存储。 在左侧的“购买清单”中勾选“我已阅读并同意《华为云销售协议》”,单击“订单确认”。 在订单确认界面确认套餐信息后单击“立即购买”。 核对订单详情,勾选“协议及授权”,单击“去支付”。 按需选择扣费优惠,确认付款并支付订单,付款成功后待订单完成即可使用该套餐绑定设备。 套餐购买后可以在设备管理界面中配置,具体请参见配置服务。
  • 操作场景 添加设备后,默认没有开通服务,您可以按需选择并开通服务。提供的服务如下: 接入调阅服务:提供 视频接入 和管理功能,开通后可以查看实况和录像。 录像存储服务:提供云端视频存储功能,开通后设置录像计划进行录像存储,关闭服务后会删除所有录像文件。 行业数据流服务:提供云端存储设备智能告警数据功能,开通后可以在云端保存设备智能告警数据,如智能告警图片、智能分析元数据等。关闭服务后会删除所有相关数据。
  • 操作步骤 登录行业视频管理服务后台。 选择“人员管理”,单击“添加”,输入部门名称,单击“确定”。按需进行企业组织架构建设,最大支持9级的企业组织管理。 图1 添加部门 选择需要添加用户的部门,右侧单击“添加用户”。 输入用户信息,确认无误后,单击“添加”。 图2 添加用户 表1 角色说明 角色 说明 企业管理员 有所有设备、所有人员的权限。 有企业信息和企业凭证的权限。 有算法管理、算法详情的权限。 部门管理员 由企业管理员分配设备权限,无权限设备不可见。 只能管理所在部门下的人员,其他人员不可见。 不能修改企业管理员和其他部门管理员。 企业信息和凭证无查看权限。 服务管理、算法管理、算法详情无查看权限。 可以给普通用户和其他部门管理员分配设备/设备组。 普通用户 主要通过APP进行操作。 设备权限只能由企业/部门管理员分配。 没有查看部门人员的权限。 如需给用户分配设备,勾选需要分配设备的用户,单击“分配设备组”或“分配设备”,单击“确定”。
  • 计费模式 行业视频管理服务支持包年包月套餐包和按需计费两种计费方式。 包年包月套餐包:您可以先付费购买套餐包,使用时可选择已购套餐包资源绑定设备。行业视频管理服务提供接入调阅服务套餐包(表1)和录像存储服务套餐包(表2)。 (注意:接入设备带宽使用量超出套餐限额的部分,按照按需计费(表3)的资费扣费。) 按需计费:您可以开通按需计费服务,按照接入路数、调阅带宽以及视图云存储容量付费(表3),可以在行业视频管理服务后台随时对设备进行绑定或解绑服务,具体请参见配置服务。 (注意:行业数据流服务当前仅支持按需计费。) 系统会根据资源的实际使用情况按不同的量纲按月或天出账单,并从账户余额里扣款。账户余额可以进入“费用中心”界面查看,具体请参见充值。
  • 包周期套餐包报价 表1 接入调阅服务套餐的商用报价 套餐包 接入路数(路) 调阅带宽(mbps) 官网单价(套/月) 官网包年价(套/年) 价格单位 体验版 20 1 0 - 元 IVM标准版(B100) 100 5 240 2400 元 IVM标准版(B500) 500 25 800 8000 元 IVM标准版(B2000) 2000 100 3000 30000 元 IVM标准版(B5000) 5000 250 6000 60000 元 IVM高级版(A100) 100 20 700 7000 元 IVM高级版(A500) 500 100 2500 25000 元 IVM高级版(A2000) 2000 200 5000 50000 元 IVM高级版(A5000) 5000 500 11000 110000 元 备注: 接入调阅服务套餐包括接入路数与调阅带宽: 实际接入路数达到套餐包接入路数限额后,您将无法将设备绑定该套餐包,但仍可绑定按需计费服务; 每天峰值带宽消耗超过套餐包最高带宽时,超出部分将按照按需计费(1.20元/mbps/天)收取额外费用。 调阅带宽使用场景: 实况/回放预览、回放录像下载:调阅带宽使用量与视频码率&音频码率有关,可配置相机码率上限限制码率。例如:5mbps码率预估支持6路512kbps码率或1024kbps码率视频同时播放; 告警图片下载:调阅带宽使用量与图片下载速率&并发数量有关; 告警数据转发:调阅带宽使用量与告警转发速率&并发数量有关,可配置相机告警生成间隔时间抑制告警并发数量。
  • 到期与欠费 套餐到期 接入调阅套餐到期后,设备将无法继续使用行业视频管理服务,需要给设备绑定新的套餐,或者绑定按需计费。 录像存储套餐到期后,设备将停止将录像存至云端,需要给设备绑定新的套餐,或者绑定按需计费。云上存储的数据,超过保留期后会从行业视频管理删除。 账户欠费 账户欠费超过保留期后,视频点位会自动解绑按需计费,变为失效。账户缴费后,您可以点“恢复按需计费”按钮,恢复所有失效点位的按需计费服务。
  • 行业视频管理服务使用流程 表1 行业视频管理服务使用流程 流程 任务说明 参考文档 注册华为账号并开通华为云 进入华为云首页。 单击右上角的“注册”,创建华为账号并开通华为云,完成个人和企业的实名认证。 新增访问密钥,请参考注册华为账号并开通华为云章节。 密钥文件会自动下载,请妥善保存。 AK、SK、账号名、账号ID、项目、项目ID会作为创建企业时填写的关键参数。 请参考注册华为账号并开通华为云章节。 登录行业视频管理服务后台 使用华为帐号或行业视频管理服务帐号登录行业视频管理服务后台。 请参考登录行业视频管理后台章节。 创建企业 首次使用行业视频云服务,可以选择创建企业或等待管理员邀请加入企业,待管理员发送邀请后刷新页面即可看到企业邀请提示。 如果需要创建企业,可以根据页面提示操作。 请参考创建企业章节。 添加设备 包括添加设备组和设备,以及对设备进行版本升级与回退。 请参考设备管理章节。 添加部门和用户 给企业添加部门和用户。 请参考添加部门和用户章节。 购买套餐 用户根据需求,选择合适的套餐包类型和套餐包规格购买接入能力或存储服务。 请参考套餐购买章节。 开通按需计费 在华为云控制台开通按需计费。 绑定服务 在设备管理选择视频点位,绑定服务。 请参考配置服务章节。 安装算法 选择设备安装需要的算法。 请参考算法管理章节。
  • 设备版本限制 远程配置功能与设备10.0.0版本配套,仅少数其他版本支持部分功能,设备配套关系表如下: 表1 设备配套关系 组网场景 NVR/IVS设备版本 SDC设备版本 适用功能 SDC直连 - SDC 9.0.0.LG0001 SDC 9.0.0.LG0002 SDC 9.0.0.SPC307 SDC 10.0.0及以上 全部 SDC 10.0RC11.SPC100 仅不支持视频参数 其他 不支持 NVR/IVS+SDC透传 NVR 9.0.0 SPC6及以上版本 或 IVS 9.1.0及以上版本 SDC 9.0.0.LG0001 SDC 9.0.0.LG0002 SDC 9.0.0.SPC307 SDC 10.0.0及以上 全部 其他 不支持 其他 - 不支持
共100000条