华为云用户手册

  • 请求示例 POST https://{接入点IP:8102}/v2/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/tenant/contents { "log_time_ns": 1586850540000000000, "contents": [ "Fri Feb 1 07:48:04 UTC 2019 0\n", "Sat Apri 18 16:04:04 UTC 2019" ], "labels": { "user_tag": "string" } }
  • URI POST /v2/{project_id}/lts/groups/{log_group_id}/streams/{log_stream_id}/tenant/contents 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:32 最大长度:32 log_group_id 是 String 日志组ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:36 最大长度:36 log_stream_id 是 String 日志流ID,获取方式请参见:获取账号ID、项目ID、日志组ID、日志流ID。 缺省值:None 最小长度:36 最大长度:36 说明: 每个logstream写入速率最大不能超过100MB/S,超过此规格可能会导致日志丢失。
  • 响应示例 状态码: 200 日志上报成功。 { "errorCode": "SV CS TG.ALS.200.200", "errorMessage": "Report success.", "result": null } 状态码: 401 在客户端提供认证信息后,返回该状态码,表明服务端指出客户端所提供的认证信息不正确或非法。 { "errorCode" : "SVCSTG.ALS.403.105", "errorMessage" : "Project id is invalid.", "result": null }
  • 云硬盘实例 { "trace_id": "c4ddaa0b-2e05-11ef-bdc6-e1851d8cb7fb", "trace_name": "deleteVolume", "resource_type": "evs", "trace_rating": "normal", "api_version": "1.0", "source_ip": "124.71.93.243", "domain_id": "7e0d78c85***d0b9b7cba", "trace_type": "ConsoleAction", "service_type": "EVS", "event_type": "system", "project_id": "07066c6fc90025a02f6dc01e105b286e", "read_only": false, "resource_id": "bc661a99-3088-4e86-899f-fb4f46c2bb71", "tracker_name": "system", "resource_account_id": "7e0d78c85***d0b9b7cba", "time": 1718778778419, "user": { "access_key_id": "HSTAA8960GPIROJGW19L", "account_id": "7e0d78c85***d0b9b7cba", "user_name": " IAM UserA", "domain": { "name": "IAMDomainB", "id": "7e0d78c85***d0b9b7cba" }, "name": "IAMUserA", "principal_is_root_user": "true", "id": "f36972ced***d619f1214", "principal_urn": "iam::7e0d78c85***d0b9b7cba:user:IAMUserA", "type": "User", "principal_id": "f36972ced***d619f1214" }, "record_time": 1718778778419, "request": "", "response": "{\"job_id\":\"defe9cf7b5ca4566860edbebb181e17a\",\"job_type\":\"deleteVolume\",\"begin_time\":\"2024-06-19T06:32:53.018Z\",\"end_time\":\"2024-06-19T06:32:58.411Z\",\"status\":\"SUC CES S\",\"error_code\":null,\"fail_reason\":null,\"entities\":{\"volume_type\":\"GPSSD\",\"volume_id\":\"bc661a99-3088-4e86-899f-fb4f46c2bb71\",\"size\":10,\"name\":\"volume-d64d\"}}", "resource_name": "volume-d64d", "request_id": "defe9cf7b5ca4566860edbebb181e17a" } 在以上信息中,可以重点关注如下字段: "time":标识事件产生的时间戳,本例中为1718778778419。 "user":记录了操作用户的信息,本例中操作用户为账户(domain字段)IAMDomainB下的用户(name字段)IAMUserA。 "request":非必选字段,此处为空。 "response":记录了删除磁盘的返回结果。 "trace_rating":记录了事件的级别,可代替response字段提示用户操作结果,本例中为normal,按事件结构章节中约束,即代表操作成功。
  • 创建云服务器实例 { "trace_id": "cbdd4480-2e03-11ef-82de-cf140e2a70fb", "trace_name": "createServer", "resource_type": "ecs", "trace_rating": "normal", "api_version": "1.0", "source_ip": "124.71.93.243", "domain_id": "7e0d78c85***d0b9b7cba", "trace_type": "ConsoleAction", "service_type": "ECS", "event_type": "system", "project_id": "07066c6fc90025a02f6dc01e105b286e", "read_only": false, "tracker_name": "system", "operation_id": "ListSubscriptions", "resource_account_id": "7e0d78c85***d0b9b7cba", "time": 1718777931170, "resource_name": "ecs-test", "user": { "access_key_id": "HSTAZVL6WYS0J5MYE2GA", "account_id": "7e0d78c85***d0b9b7cba", "user_name": "IAMUserA", "domain": { "name": "IAMDomainB", "id": "7e0d78c85***d0b9b7cba" }, "name": "IAMUserA", "principal_is_root_user": "true", "id": "f36972ced***d619f1214", "principal_urn": "iam::7e0d78c85***d0b9b7cba:user:IAMUserA", "type": "User", "principal_id": "f36972ced***d619f1214" }, "record_time": 1718777931170, "request": "{\"server\":{\"adminPass\":\"********\",\"extendparam\":{\"chargingMode\":\"0\",\"regionID\":\"cn-north-4\"},\"count\":1,\"metadata\":{\"op_svc_userid\":\"f36972ced***d619f1214\",\"__support_agent_list\":\"hss,ces\"},\"availability_zone\":\"cn-north-4c\",\"description\":\"\",\"name\":\"ecs-test\",\"imageRef\":\"7d940784-ac0a-425f-b3fa-8478f1a1df70\",\"root_volume\":{\"volumetype\":\"GPSSD\",\"extendparam\":{\"resourceSpecCode\":\"GPSSD\",\"resourceType\":\"3\"},\"size\":40,\"metadata\":null,\"hw:passthrough\":\"false\",\"cluster_type\":null,\"cluster_id\":null,\"iops\":null,\"throughput\":null},\"data_volumes\":[],\"flavorRef\":\"sn3.small.1\",\"personality\":[],\"vpcid\":\"250ad46d-9c89-44ec-a97d-293da771b06b\",\"security_groups\":[{\"id\":\"3bb87748-e387-42e5-ad7a-4331638f1321\"}],\"nics\":[{\"subnet_id\":\"1a02d148-e7f9-4a3c-ba58-18099dfbf752\",\"nictype\":\"\",\"ip_address\":\"\",\"port_id\":null,\"binding:profile\":{\"disable_security_groups\":\"false\"},\"extra_dhcp_opts\":[],\"ipv6_bandwidth\":null,\"ipv6_enable\":false,\"driver_mode\":null,\"allowed_address_pairs\":null,\"efi_enable\":false,\"efi_protocol\":null}],\"publicip\":{\"id\":null,\"eip\":{\"bandwidth\":{\"name\":\"ecs-test-bandwidth\",\"size\":1,\"id\":null,\"sharetype\":\"PER\",\"productid\":\"\",\"chargemode\":\"traffic\"},\"extendparam\":{\"chargingMode\":\"postPaid\"},\"iptype\":\"5_bgp\",\"ipproductid\":\"\"}},\"key_name\":\"KeyPair-ebbe\",\"isAutoRename\":false,\"server_tags\":[],\"batch_create_in_multi_az\":false,\"spod_enable\":false,\"user_data\":\"\"}}", "message": "success", "response": "{\"job_id\":\"ff8080828fe9028a01902f2542df1b10\",\"job_type\":\"createSingleServer\",\"begin_time\":\"2024-06-19T06:18:09.502Z\",\"end_time\":\"2024-06-19T06:18:51.169Z\",\"status\":\"SUCCESS\",\"error_code\":null,\"fail_reason\":null,\"entities\":{\"server_id\":\"7285ea5d-f15c-4d9c-9e4e-37d37023f2f4\"}}", "resource_id": "7285ea5d-f15c-4d9c-9e4e-37d37023f2f4", "request_id": "null" } 在以上信息中,可以重点关注如下字段: "time":标识事件产生的时间戳,本例中为1718777931170。 "user":记录了操作用户的信息,本例中操作用户为账户(domain字段)IAMDomainB下的用户(name字段)IAMUserA。 "request":记录了创建ECS服务器的请求,可以抽取该ECS服务器的简单信息,如name为ecs-test-bandwidth,资源id(vpcid字段)为250ad46d-9c89-44ec-a97d-293da771b06b。 "response":记录了创建ECS服务的返回结果,可以抽取其中的关键信息,如创建结果(status字段)为SUCCESS,错误码(error_code字段)和失败原因(fail_reason字段)均为空(null)。
  • 前提条件 已创建GDS-kafka集群。 GDS-kafka集群与目标数据源可以正常通信。 如果目标数据源为云下的数据库,则需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP、云上安全组出方向放通云下数据源所在的主机、数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 如果目标数据源为云上服务,则网络互通需满足如下条件: GDS-kafka集群与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保GDS-kafka集群已绑定EIP,数据源所在的主机可以访问公网且防火墙规则已开放连接端口。 GDS-kafka集群与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 必须确保该云服务的实例与集群所属的企业项目必须一致,如果不同,需要修改工作空间的企业项目。 已获取待连接数据源的地址、用户名和密码,且该用户拥有数据导入、导出的操作权限。
  • 创建逻辑集群关联用户并跨逻辑集群查询数据 以系统管理员dbadmin连接数据库,执行以下SQL语句查看逻辑集群创建成功。 1 SELECT group_name FROM PGXC_GROUP; 创建两个用户u1和u2,分别关联逻辑集群lc1和逻辑集群lc2。 1 2 CREATE USER u1 NODE GROUP "lc1" password '{password}'; CREATE USER u2 NODE GROUP "lc2" password '{password}'; 切换到用户u1,创建表t1,并插入数据。 1 2 3 SET ROLE u1 PASSWORD '{password}'; CREATE TABLE u1.t1 (id int); INSERT INTO u1.t1 VALUES (1),(2); 切换到用户u2,创建表t2,并插入数据。 1 2 3 SET ROLE u2 PASSWORD '{password}'; CREATE TABLE u2.t2 (id int); INSERT INTO u2.t2 VALUES (1),(2); 同时使用u2查询u1.t1表。返回结果提示没有权限。 1 SELECT * FROM u1.t1; 切换回系统管理员dbadmin,查询表u1.t1和u2.t2分别创建到了集群lc1和lc2中,分别对应企业的两块业务,实现了基于逻辑集群的数据隔离。 1 2 3 SET ROLE dbadmin PASSWORD '{password}'; SELECT p.oid,relname,pgroup,nodeoids FROM pg_class p LEFT JOIN pgxc_class pg ON p.oid = pg.pcrelid WHERE p.relname = 't1'; SELECT p.oid,relname,pgroup,nodeoids FROM pg_class p LEFT JOIN pgxc_class pg ON p.oid = pg.pcrelid WHERE p.relname = 't2'; 将逻辑集群lc1的访问权限授予用户u2,同时将SCHEMA u1访问权限、表u1.t1访问权限授予用户u2。 1 2 3 GRANT usage ON NODE GROUP lc1 TO u2; GRANT usage ON SCHEMA u1 TO u2; GRANT select ON TABLE u1.t1 TO u2; 划分逻辑集群后,相当于在原来物理集群的基础上,再增加一层逻辑集群(NODE GROUP)的权限隔离。所以跨逻辑集群访问数据,首先要授权用户有逻辑集群(NODE GROUP层)权限,其次是SCHEMA权限,最后是单张表TABLE权限。如果没有授予逻辑集群的权限,会提示类似permission denied for node group xx的错误信息。 再次切换到u2用户,查询u1.t1表,查询成功,逻辑集群既实现了数据隔离,又可以在用户授权后进行跨逻辑集群访问。 1 2 SET ROLE u2 PASSWORD '{password}'; SELECT * FROM u1.t1;
  • 负荷分析概述 GaussDB (DWS)的负荷分析工具为数据库提供性能数据收集和分析,用户可通过创建负荷信息快照记录指定时间段集群的负荷信息数据。其中两个负荷信息快照可形成该时间段内负荷诊断报告。负荷诊断报告(Workload Diagnosis Report,简称WDR)可以提供指定时间段内的性能数据,以HTML网页报告的形式呈现给用户,能够帮助用户发现异常、诊断问题、优化性能等,其内容丰富直观,是数据库调优的利器。 负荷分析功能仅8.1.1.300及以上集群版本支持。 负荷诊断报告存储仅支持OBS场景。 父主题: 负荷分析
  • CPU管理 目前支持“共享配额”和“专属限额”两种CPU管理方式: CPU共享配额:在CPU系统繁忙的情况下,不同资源池按照共享配额配置分配CPU资源;在CPU系统空闲的情况下,该配置不生效。 CPU专属限额:限制资源池使用的CPU核数上限,无论CPU系统繁忙或者空闲,该资源池上的作业都无法突破该限额配置。 在资源池页面“资源配置”一栏,您可以修改当前资源池的CPU共享配额和专属限额。 共享配额和专属限额的管理方式各有优劣,共享配额的管理方式可以实现CPU资源的充分利用,但是资源池之间隔离不彻底,可能影响查询性能;专属限额的管理方式可以实现CPU资源的绝对隔离,但是在资源池CPU资源空闲时,会造成资源的浪费。 CPU专属限额仅8.1.3及以上集群版本支持。
  • 异常规则 异常规则用于异常查询的识别和快速处理,防止“低质量SQL”长时间占用大量资源,导致其他查询阻塞或性能下降。 在资源池页面“关联异常规则”一栏,可浏览当前资源池中已绑定的异常规则,绑定新异常规则,解绑已有异常规则。目前支持的异常处理规则如表1 异常规则参数所示。 8.2.1及以上集群版本支持降级异常规则,所有异常规则都支持降级行为,降级后仅网络资源抢占降至低优先级,即在正常查询无网络请求时,才会调度降级查询的网络请求。 关联、解绑异常规则仅8.2.0及以上集群版本支持。 表1 异常规则参数 参数项 描述 取值范围(0表示不约束) 操作 阻塞时间 作业的阻塞时间,包括全局并发排队以及局部并发排队的总时间,单位秒。 例如,如果配置“阻塞时间”为300秒,那么当该资源池中的用户执行的某个作业在阻塞300秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 执行所消耗时间 已经执行的作业从开始执行到当前所消耗的时间,单位为秒。 例如,如果配置“执行所消耗时间”为100秒,那么当该资源池中的用户执行的某个作业在执行超过100秒后将被终止。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间 作业在所有DN上执行时所耗费的CPU总时间,单位为秒。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 检查倾斜率的时间间隔 检查作业执行的CPU倾斜率的间隔时间,单位为秒,需同“所有DN上CPU时间的倾斜率”一起设置。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 所有DN上CPU总时间倾斜率 作业在DN上执行时的CPU时间的倾斜率,依赖于“检查倾斜率的时间间隔”的设置。 1~100的整数。0表示不约束。 终止、降级或不约束 单DN算子下盘大小 作业在单个DN上最大下盘的数据量,单位MB。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束 DN平均消耗CPU占比 作业在所有DN上执行时的平均CPU使用率,检测周期不强依赖“检查倾斜率的时间间隔”,若配置将使用该检查间隔,否则系统默认30秒间隔。 说明: 该异常规则仅8.2.0及以上集群版本支持。 1~100的整数。0表示不约束 终止、降级或不约束 单个DN上最大带宽 作业在单个DN上最大可占用的网络带宽,单位MB。 说明: 该异常规则仅8.2.1及以上集群版本支持。 1~2147483647的整数。0表示不约束。 终止、降级或不约束
  • 内存管理 内存资源,即资源池所占用的内存百分比。 内存管理的目的:防止数据库系统占用内存过高导致内存溢出(OOM)和实现资源池之间的内存隔离和限制。为满足这两个目的,资源管理从以下两方面进行内存管理: 全局内存管理 为防止数据库系统使用内存过大导致OOM,设置数据库系统全局内存上限(max_process_memory),对数据库全局内存进行管理。全局内存管理包含运行前管理和运行中管理,运行中管理防止实际使用内存超限,运行前管理防止查询执行过程中报错,具体如下: 运行前管理: 一方面慢车道运行的所有查询估算内存都会进行统计,另一方面数据库系统实际使用内存会进行反馈,当实际使用内存大于统计内存时,对统计内存进行调整。查询运行前,判断全局剩余内存能否满足查询运行,满足情况下查询可以直接运行,否则查询需要排队,等待其他查询释放资源后运行。 运行中管理: 查询执行过程中实际使用的内存也会进行统计,查询在申请内存时判断内存使用是否超限,内存超限查询报错,已用内存释放。 资源池内存管理 资源池内存管理属于专属限额的管理方式,即资源池分配多少内存就只能使用多少内存,空闲出来的内存其他资源池不能使用。 资源池内存分配采用百分比方式,取值范围0~100。0表示资源池不进行内存管理,100表示资源池进行内存管理且可使用全局所有内存。 所有资源池分配的内存百分比之和不能超过100。资源池内存管理仅管控慢车道查询,且只包含运行前管理,处理逻辑与全局内存运行前管理类似。资源池慢车道查询运行前,进行估算内存统计,当统计内存大于资源池内存时,查询需要排队,等待资源池内其他查询运行结束释放资源后才能运行。
  • 并发管理 并发,即资源池中的最大查询并发数。并发管理作为运行前管理,用于限制查询并发运行的数量,通过限制查询并发数降低资源争抢,保证资源的有序高效利用。 在资源池页面“短查询配置”一栏,您可以通过开关键决定是否开启短查询加速功能。如果需要对简单语句并发数(默认值为-1,0 或-1表示不控制)进行修改,可选择打开短查询加速。 并发管理规则如下: 短查询加速开启,复杂查询受资源池并发控制,简单查询受短查询并发控制。 短查询加速关闭,复杂查询和简单查询均受资源池并发控制,短查询并发控制无效。
  • 查看运维任务 登录GaussDB(DWS)管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维状态模块。 单击指定运维任务名称,将显示运维任务运行的详细信息。 运维任务:Vacuum 状态:等待中、运行中、已完成、失败。 完成度 时间窗剩余 执行时间窗(本地时间) 正在Vacuum的表 准备Vacuum的表 完成Vacuum的表 失败Vacuum的表 其中正在Vacuum的表,准备Vacuum的表,已完成Vacuum的表和Vacuum失败的表最多显示100张。 如果集群只读,智能运维任务则无法执行INSERT语句,可能会遇到任务状态一直为运行中,此时运行中为历史状态,代表在设置时间内未完成。如果手动暂停该任务并且未调度,任务状态可能一直处于等待中,请尽快解除只读并联系技术支持人员更新任务状态。 父主题: Vacuum回收GaussDB(DWS)空间
  • 绑定企业项目 在GaussDB(DWS)中,用户可以在创建集群时为集群选择所属的企业项目,从而将GaussDB(DWS)集群与企业项目进行关联,详情请参见创建GaussDB(DWS)存算一体2.0集群。在选择“企业项目”的下拉列表中,将显示用户在企业项目服务中已创建的项目。系统还内置了一个缺省的企业项目“default”,如果用户没有为集群选择企业项目,将使用缺省项目“default”。 注意,目前企业项目服务仍处于公测期间,仅允许有公测权限的用户设置企业项目,普通用户无法看到企业项目相关信息。 在集群创建过程中,如果集群与企业项目绑定成功,则集群创建成功,如果绑定失败,系统会发送告警,集群就会创建失败。 在为GaussDB(DWS)集群创建快照时,会同时保存集群与企业项目的关联关系,在恢复集群时,也会恢复企业项目的关联关系。 当删除GaussDB(DWS)集群时,GaussDB(DWS)集群与企业项目的关联关系就会被自动删除。
  • 查看企业项目 在集群创建成功后,您可以在集群列表和集群详情页面查看集群关联的企业项目。用户只能查询到有访问权限的项目下的集群资源。 在集群管理页面的集群列表中,查看集群所属的企业项目。 图1 查看企业项目 在集群列表中,找到所需要的集群,然后单击集群名称,进入“集群详情”页面,可以查看与集群关联的企业项目。单击企业项目的名称,可以跳转到企业管理的控制台页面对该企业项目进行查看或编辑。 图2 查看集群的企业项目 同时,在企业管理的控制台上,查询指定项目中的资源列表时,也可以查询到GaussDB(DWS)服务的资源。
  • 将集群迁入或迁出企业项目 一个GaussDB(DWS)集群只能关联一个企业项目。当集群创建成功后,可以在企业管理的控制台上,执行迁出操作,将GaussDB(DWS)集群从当前所属的企业项目中迁出到另一个企业项目中;或者执行迁入操作,在指定的企业项目中迁入另一个企业项目中的GaussDB(DWS)集群。迁入迁出后,GaussDB(DWS)集群与新的企业项目进行关联,GaussDB(DWS)集群与原企业项目的关联关系将被自动解除。 迁入的详细操作,请参考《企业管理用户指南》的为企业项目迁入资源。 迁出的详细操作,请参考《企业管理用户指南》的迁出企业项目资源。
  • 告警解释 GaussDB(DWS)每30秒采集集群各节点的数据盘I/O利用率。如果某节点的某数据盘最近10分钟(可配置)内的平均使用率超过90%(可配置),则上报节点数据盘I/O利用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。 如果节点数据盘I/O利用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。 基于SSD盘存储的集群,在业务量增多的情况下,磁盘I/O可能会超过100%,但不代表磁盘存在性能瓶颈,需结合实际业务运行情况判断告警有效性。
  • 使用pg_query_audit函数查看数据库审计日志 使用SQL客户端工具成功连接集群,连接方式请参考连接GaussDB(DWS)集群。 使用函数pg_query_audit查询当前CN节点的审计日志: 1 pg_query_audit(timestamptz starttime,timestamptz endtime,audit_log) 参数starttime和endtime分别表示审计记录的开始时间和结束时间,audit_log表示所查看的审计日志信息所在的物理文件路径,当不指定audit_log时,默认查看连接当前实例的审计日志信息。 例如,查看指定时间段当前CN节点审计记录。 1 SELECT * FROM pg_query_audit('2021-02-23 21:49:00','2021-02-23 21:50:00'); 查询结果如下: 1 2 3 begintime | endtime | operation_type | audit_type | result | username | database | client_conninfo | object_name | command_text | detail_info | transaction_xid | query_id | node_name | session_id | local_port | remote_port ---------------------------+---------------------------+----------------+------------+--------+------------+----------+-----------------+-------------+-----------------+------------------------------------------------------------------+-----------------+----------+--------------+------------------------------+------------+------------- 2021-02-23 21:49:57.76+08 | 2021-02-23 21:49:57.82+08 | login_logout | user_login | ok | dbadmin | gaussdb | gsql@[local] | gaussdb | login db | login db(gaussdb) successfully, the current user is: dbadmin | 0 | 0 | coordinator1 | 140324035360512.667403397820909.coordinator1 | 27777 | 该条记录表明,用户dbadmin在2021-02-23 21:49:57.82+08登录数据库gaussdb。其中client_conninfo字段在log_hostname启动且IP连接时,字符@后显示反向DNS查找得到的主机名。 使用函数pgxc_query_audit可以查询所有CN节点的审计日志: 1 pgxc_query_audit(timestamptz starttime,timestamptz endtime) 例如,查看指定时间段所有CN节点审计记录。 1 SELECT * FROM pgxc_query_audit('2021-02-23 22:05:00','2021-02-23 22:07:00') where audit_type = 'user_login' and username = 'user1'; 查询结果如下: 1 2 3 4 begintime | endtime | operation_type | audit_type | result | username | database | client_conninfo | object_name | command_text | detail_info | transaction_xid | query_id | node_name | session_id | local_port | remote_port ----------------------------+----------------------------+----------------+------------+--------+----------+----------+-----------------+-------------+--------------+------------------------------------------------------------+-----------------+----------+--------------+----------------------------------------------+------------+------------- 2021-02-23 22:06:22.219+08 | 2021-02-23 22:06:22.271+08 | login_lgout | user_login | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db | login db(gaussdb) successfully, the current user is: user1 | 0 | 0 | coordinator2 | 140689577342720.667404382271356.coordinator | 27782 | 2021-02-23 22:05:51.697+08 | 2021-02-23 22:05:51.749+08 | login_lgout | user_login | ok | user1 | gaussdb | gsql@[local] | gaussdb | login db | login db(gaussdb) successfully, the current user is: user1 | 0 | 0 | coordinator1 | 140525048424192.667404351749143.coordinator1 | 27777 | 查询结果显示,用户user1在CN1和CN2的成功登录记录。 查询审计多个对象名的记录。 1 2 SET audit_object_name_format TO 'all'; SELECT object_name,result,operation_type,command_text FROM pgxc_query_audit('2022-08-26 8:00:00','2022-08-26 22:55:00') where command_text like '%student%'; 查询结果如下: 1 2 3 4 5 6 7 8 object_name | result | operation_type | command_text ------------------------------------------------------------------+--------+----------------+------------------------------------------------------------------------------------------------------------------ -------------------------------------------- student | ok | ddl | CREATE TABLE student(stuNo int, stuName TEXT); studentscore | ok | ddl | CREATE TABLE studentscore(stuNo int, stuscore int); ["public.student_view01","public.studentscore","public.student"] | ok | ddl | CREATE OR REPLACE VIEW student_view01 AS SELECT * FROM student t1 where t1.stuNo in (select stuNo from studentscore t2 where t1.stuNo = t2.stuNo); ["public.student_view01","public.student","public.studentscore"] | ok | dml | SELECT * FROM student_view01; 查询结果object_name显示多个对象名,包括:表名、视图名及视图所涉及的基表名。
  • 前提条件 审计功能总开关audit_enabled已开启。(audit_enabled默认值为ON,若关闭请参考修改GaussDB(DWS)集群GUC参数设置为OFF)。 已配置需要审计的审计项。各审计项及其开启办法,请参考设置数据库审计日志。 数据库正常运行,并且对数据库执行了一系列增、删、改、查操作,保证在查询时段内有审计结果产生。 数据库各个节点审计日志单独记录。 只有拥有AUDITADMIN属性的用户才可以查看审计记录。
  • 查看数据库审计日志方式 方式一:由于审计日志会占用一定磁盘空间,为了防止本地磁盘文件过大,GaussDB(DWS)支持审计日志转储,用户可以开启审计日志转储功能,将审计日志转储到OBS(用户需创建用于存储审计日志的OBS桶)中进行查看或下载,详细内容请参考开启审计日志转储。 方式二:通过依赖于 云日志服务LTS 的“集群日志管理”功能查看采集的审计数据库日志或进行日志下载,详细内容请参考查看集群日志。 方式三:数据库的审计日志默认存储于数据库中,连接集群后使用pg_query_audit函数进行查看。详细内容请参考使用pg_query_audit函数查看数据库审计日志。
  • 删除自动快照 自动快照不支持手动删除,仅GaussDB(DWS)系统能够删除自动快照。 GaussDB(DWS)会在如下情况下删除自动快照: 自动快照保留期结束。 删除集群。 为防止用户误执行删除集群操作,GaussDB(DWS)将提供以下策略(该功能仅在8.2.0及以上集群版本支持): 若最新一次的快照为自动快照,则系统会将自动快照保留一天时间。 若最新一次的快照为手动快照,则会删除相应集群已有的自动快照。 父主题: 自动快照
  • 自动快照概述 自动快照采用差异增量备份,第一次创建自动快照为全量备份,以后每间隔一段时间做一次全量备份,全量备份作为基础版本。两次全量备份之间都是做增量备份,增量备份基于前一次备份所发生的更改进行记录。 在恢复快照时,GaussDB(DWS)会将最近一次的全量备份到本次备份之间的所有备份一起用于恢复集群,因此不会产生数据丢失。 为了保证每个增量快照都能够正常进行数据恢复,如果增量快照的保存时间超过了保留天数,GaussDB(DWS)不会立即删除过期的增量快照,而是仍然保留这部分快照,以便提供给后续其他增量快照恢复集群时使用,直到完成下一次全量快照,GaussDB(DWS)才会一并删除已过期的上一次的全量自动快照和相关的增量快照。 图1 快照备份过程 集群创建成功后,自动快照默认处于启用状态。当集群启用了自动快照时,GaussDB(DWS)将按照设定的时间和周期以及快照类型自动创建快照,默认为每8小时做一次增量备份,每周做一次全量备份。用户也可以对集群设置自动快照策略,并根据自身需求,对集群设置一个或多个自动快照策略。如果用户未配置全量备份策略,则每14次增量备份做一次全量备份。GaussDB(DWS)管理控制台设置集群的自动快照策略,具体操作请参见设置自动快照策略。 自动快照有保留期,可设置为1~31天,默认为7天,系统会在保留期结束时删除到期快照。该保留期为用户可见快照的保留期,如果存在增量快照未到期,为保证快照可用,前置增量快照和全量快照不会立即物理删除,已到期的快照为隐藏状态,用户不可见。待全部增量快照都到期后,前置隐藏的快照才实际物理删除。如果需要将自动快照保留更长时间,可以创建一份副本作为手动快照。自动快照会保留至保留期结束,而手动快照在手动删除前将会一直保留。如何复制自动快照,详情见复制自动快照。 父主题: 自动快照
  • 开发规范 如果用户在APP的开发中,使用了连接池机制,那么需要遵循如下规范。否则,连接池里的连接就是有状态的,会对用户后续使用连接池进行操作的正确性带来影响。 如果在连接中设置了GUC参数,那么在将连接归还连接池之前,必须使用“SET SESSION AUTHORIZATION DEFAULT;RESET ALL;”将连接的状态清空。 如果使用了临时表,那么在将连接归还连接池之前,必须将临时表删除。 父主题: 使用JDBC和ODBC连接集群
  • 历史查询 在“历史查询”这一栏您可以根据选择的指定时间段浏览运行过的所有查询历史信息,可单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。指标包括: 查询ID、用户名称、应用名称、数据库名称、资源池、提交时间、阻塞时间(ms)、执行时间(ms)、CPU时间(ms)、CPU时间倾斜(%)、平均下盘量(MB)、查询语句、接入CN、客户端IP、查询状态、完成时间、预估总执行时间(ms)、取消原因。 打开隐藏系统查询按钮可隐藏系统历史查询。
  • 功能说明 用户需要查看集群的监控指标信息时,可以通过 云监控 (Cloud Eye)确认集群各项指标情况。通过监控集群运行时的各项指标,用户可以识别出数据库集群状态异常的时间段,然后在数据库日志中,分析可能存在问题的活动,从而优化数据库性能。本章节定义了 数据仓库 服务上报 云监控服务 的监控指标的命名空间、监控指标列表和维度定义。用户可以通过云监控服务提供的管理控制台或API接口来检索数据仓库服务产生的监控指标和告警信息。
  • (可选)准备ECS作为gsql客户端主机 购买弹性云服务器的操作步骤,请参见《弹性云服务器快速入门》中的购买并登录Linux弹性云服务器章节。 创建的弹性云服务器需要满足如下要求: 弹性云服务器需要与GaussDB(DWS)集群在相同的区域、可用分区。 如果使用GaussDB(DWS)提供的gsql命令行客户端连接GaussDB(DWS)集群,弹性云服务器的镜像必须满足如下要求: 镜像的操作系统必须是gsql客户端所支持的下列Linux操作系统: “Redhat x86_64”客户端工具支持在以下系统中使用: RHEL 6.4~7.6 CentOS 6.4~7.4 EulerOS 2.3 “SUSE x86_64”客户端工具支持在以下系统中使用: SLES 11.1~11.4 SLES 12.0~12.3 “Euler Kunpeng_64”客户端工具支持在以下系统中使用: EulerOS 2.8 “Stream Euler X86_64”客户端工具支持在以下系统中使用: EulerOS 2.2 “Stream Euler Kunpeng_64”客户端工具支持在以下系统中使用: EulerOS 2.8 如果客户端通过内网地址访问集群,请确保创建的弹性云服务器与GaussDB(DWS)集群在同一虚拟私有云里。 虚拟私有云相关操作请参见《虚拟私有云用户指南》中虚拟私有云和子网章节。 如果客户端通过公网地址访问集群,请确保创建的弹性云服务器和GaussDB(DWS)集群都要有弹性IP。 购买弹性云服务器时,参数“弹性公网IP”需选择“现在购买”或“使用已有”。 弹性云服务器对应的安全组规则需要确保能与GaussDB(DWS)集群提供服务的端口网络互通。 安全组相关操作请参见《虚拟私有云用户指南》中安全组章节。 请确认弹性云服务器的安全组中存在符合如下要求的规则,如果不存在,请在弹性云服务器的安全组中添加相应的规则: 方向:出方向。 协议:必须包含TCP。例如TCP、全部。 端口:需要包含GaussDB(DWS)集群提供服务的数据库端口,例如,设置为“1-65535”或者具体的GaussDB(DWS)数据库端口。 目的地址:设置的IP地址需要包含所要连接的GaussDB(DWS)集群的连接地址。其中0.0.0.0/0表示任意地址。 图1 出方向的规则 GaussDB(DWS)集群的安全组规则需要确保GaussDB(DWS)能接收来自客户端的网络访问。 请确认GaussDB(DWS)集群的安全组中存在符合如下要求的规则,如果不存在,请在GaussDB(DWS)集群的安全组中添加相应的规则。 方向:入方向。 协议:必须包含TCP。例如,TCP、全部。 端口:设置为GaussDB(DWS)集群提供服务的数据库端口。例如,“8000”。 源地址:设置的IP地址需要包含GaussDB(DWS)客户端主机的IP地址。例如,“192.168.0.10/32”。 图2 入方向的规则
  • 资源池 DMS可显示用户定义的资源池名称,实时/历史资源消耗以及资源池资源配额,可单击列表右上方的设置按钮勾选需要在列表中展示的指标信息。指标包括: 资源池:资源池名称。 监控:单击弹出侧拉栏展示CPU、内存、磁盘等资源池资源的消耗历史趋势。 CPU使用率:资源池的实时CPU计算资源使用率。 共享配额:当前资源池的用户在执行作业时可以使用的CPU时间比例。 存储资源:资源池的存储空间。 磁盘使用率:资源池的实时磁盘使用率。 内存资源:资源池的内存配置的百分比。 内存使用率:资源池实时内存使用率。 实时简单语句并发:资源池的简单查询并发数使用量(判定为简单并发的查询不受资源池的管控)。 简单语句并发:资源池的简单并发数配额。 实时复杂语句并发:资源池的复杂查询并发数使用量(判定为复杂并发的查询受资源池的管控)。 复杂语句并发:资源池的复杂并发数配额。 操作:资源池相关配置操作。
  • 熔断查询 用户可以通过熔断查询查看资源池上的熔断规则的触发情况。 查询ID:熔断语句的查询ID。 查询语句:熔断查询语句。 阻塞时间(ms):熔断语句的阻塞时间,单位:ms。 执行时间(ms):熔断语句的执行时间,单位:ms。 CPU时间(ms):熔断语句消耗的CPU时间,单位:ms。 CPU倾斜率(%):熔断语句在各个DN上的CPU消耗倾斜率。 异常处理方式:熔断语句的异常处理方式。 处理状态:处理熔断语句的实时状态。
  • 修改资源池 在资源管理中,您可以对某个资源池的参数进行修改。 登录GaussDB(DWS)管理控制台。 在集群列表中单击需要访问“资源管理”页面的集群名称。 切换至“资源管理”页签。 在“资源池”列表中切换需要修改的资源池名称,包括“短查询配置”、“资源配置”、“关联异常规则”、“关联用户”。 修改短查询配置。修改为相应取值,单击右侧“保存”。 参数项 描述 取值 短查询加速 短查询加速开关,默认打开。 打开 短查询并发 短查询作业为执行估算内存小于32MB的查询作业,默认值“-1”表示不管控。 10 修改资源配置。 单击右侧“编辑”,详情请参见表1修改相应参数。 表1 资源池参数 参数项 描述 默认值 名称 资源池的名称。 - CPU资源(%) 共享配额:关联在当前资源池的用户在执行作业时可以使用的CPU时间比例,取值范围为1-99的整数。 专属限额:限定资源池中数据库用户在执行作业时可使用的最大CPU核数占总核数的百分比,取值范围为0-100的整数,0表示不限制。 说明: 所有资源池的总和不能超过99%。当配置CPU共享配额后,如果当前只有一个资源池时,该参数不生效。 共享配额非绝对限制,只有在发生CPU竞争时才生效。例如,资源池A和B被绑定在CPU1运行,当A和B均运行时参数生效,只有A运行则参数不生效。 所有资源池的CPU专属限额总和最大不能超过100%,系统默认的CPU专属限额(%)为0。 CPU专属限额仅8.1.3及以上集群版本支持。 - 内存资源(%) 资源池所占用的内存百分比。 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 0(不限制) 存储资源(MB) 可使用的永久表空间大小。 该值是资源池下所有DN的表空间总值,单DN节点可用空间=设置值 / DN节点数。 -1(不限制) 复杂语句并发 资源池中的最大查询并发数。 内存和查询并发支持单独管控和联合管控,联合管控时必须同时满足并发和内存要求时作业才能下发。 10 网络带宽权重 网络调度时权重值。取值范围为1~2147483647的整数,默认配置为-1。 注意: 网络带宽权重仅8.2.1及以上集群版本支持,DWS 3.0集群不支持。 -1(不限制) CPU专属限额仅8.1.3及以上集群版本支持。 单击“确定”。 关联异常规则。 单击左侧“关联异常规则”按钮。 从当前异常规则列表中,勾选需要关联的异常规则,一次可勾选多个。 单击“确定”。 如果需要解绑异常规则,则单击“解除关联”按钮即可。 关联、解绑异常规则仅8.2.0及以上集群版本支持。 默认异常规则,当用户未关联资源池,或者用户所关联的资源池未配置异常规则时默认生效;当用户所关联的资源池关联所指定规则时,以所关联规则为准。 默认异常规则仅8.2.0及以上集群版本支持,升级到8.2.0及以上集群版本时默认异常规则不会生效,用户可自行创建所需规则。 8.2.1集群版本支持降级异常规则,所有异常规则都支持降级行为,降级后仅网络资源抢占降至低优先级:在正常查询无网络请求时,才会调度降级查询的网络请求。 同一个资源池最多关联16组异常规则。 同一个资源池可以关联多组规则,资源池关联的多组不同的异常规则以“或”的关系生效,满足其中一组的所有条件即可生效。例如,资源池关联两组规则,一组指定elapsedtime=2400, 另一组指定elapsedtime=1200,memsize=2000,那么执行中的作业,满足执行时间达到1200秒且内存使用达到2000MB时,或者执行时间达到2400秒时,都会触发规则终止作业。 关联用户。 单击左侧“关联用户”。 从当前用户列表中,勾选需要关联的用户,一次可勾选多个。 单击“确定”。 如果需要解除关联用户,则单击“解除关联”按钮即可。 一个数据库用户只有被添加到某个资源池中之后,该用户运行作业所使用的资源才能被管控。 一个数据库用户只能被添加至一个资源池中,从资源池中移除的用户可以再次添加至其他资源池。 数据库管理员用户不可关联。 当用户没有指定关联资源池时,会被默认关联到default_pool,资源使用受default_pool限制。default_pool在开启资源管理功能后由系统自动创建。 父主题: 资源池
  • 磁盘扩容概述 随着客户业务的发展,磁盘空间往往最先出现资源瓶颈,在其他资源尚且充足的情况下,执行传统扩容操作不仅耗时久,还伴随着资源浪费问题。通过磁盘扩容可快速缓解存储资源瓶颈现象,操作过程中无需暂停业务,并且不会造成CPU、内存等资源浪费。用户可在没有其他业务情况下选择磁盘扩容操作,扩容成功后如果磁盘空间仍不足可以继续磁盘扩容,若扩容失败用户可尝试重新进行磁盘扩容操作。 磁盘扩容功能仅8.1.1.203及以上版本支持,并且创建集群规格需要为标准数仓SSD云盘和实时数仓类型。 集群状态为“可用”、“待重启”、“只读”、“非均衡”、“节点故障”或者 “不可用”的情况下才能下发磁盘扩容。
共100000条