云服务器内容精选

  • 前提条件 在迁移之前,请先阅读迁移方案概览,选择正确的迁移方案,了解当前D CS 支持的在线迁移能力,选择适当的目标实例。 如果是单机/主备等多DB的源端实例迁移到Proxy集群实例,Proxy集群默认不开启多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请先参考开启多DB操作开启Proxy集群多DB设置。 如果是单机/主备等多DB的源端实例迁移到Cluster集群实例,Cluster集群不支持多DB,仅有一个DB0,请先确保源端实例DB0以外的DB是否有数据,如果有,请将数据转存到DB0,否则会出现迁移失败,将数据转存到DB0的操作请参考使用Rump在线迁移。 已获取准备迁移的源Redis实例的IP地址和端口。 如果您还没有目标Redis,请先创建目标Redis,具体操作请参考购买Redis实例。 如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空Redis实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。
  • 创建在线迁移任务 请使用DCS目标Redis所在的账号登录分布式缓存服务控制台。 在管理控制台左上角单击,选择DCS目标Redis所在的区域。 单击左侧菜单栏的“数据迁移”。页面显示迁移任务列表页面。 单击右上角的“创建在线迁移任务”。 设置迁移任务名称和描述。 任务名称请以字母开头,长度不小于4位且不超过64位。任务名称只能包含字母、数字、中划线、下划线。 配置在线迁移任务虚拟机资源的VPC、子网和安全组。 请选择与目标Redis相同的VPC,确保迁移资源能访问目标Redis实例。 创建的在线迁移任务会占用一个租户侧IP,即控制台上迁移任务对应的“迁移IP”。如果源端Redis或目标端Redis配置了白名单,需确保配置了迁移IP或关闭白名单限制。 迁移任务所选安全组的“出方向规则”需放通源端Redis和目标端Redis的IP和端口(安全组默认情况下为全部放通,则无需单独放通),以便迁移任务的虚拟机资源能访问源Redis和目标Redis。
  • 检查网络 检查源Redis、目标Redis、迁移任务资源所在VPC是否为同一个VPC。 如果是,请执行配置在线迁移任务;如果不是,请执行2。 检查源Redis的VPC、目标Redis的VPC、迁移任务资源所在VPC的网络是否打通,确保迁移任务的虚拟机资源能访问源Redis和目标Redis。 如果已打通,则执行配置在线迁移任务;如果没打通,则执行3。 源Redis和目标Redis属于不同的云厂商,仅支持云专线打通网络,请参考云专线。
  • 配置在线迁移任务 创建完在线迁移任务之后,单击该迁移任务右侧的“配置”,配置在线迁移的源Redis、目标Redis等信息。 选择迁移方法。 支持“全量迁移”和“全量迁移+增量迁移”两种,“全量迁移”和“全量迁移+增量迁移”的功能及限制如表1所示。 表1 在线迁移方法说明 迁移类型 描述 全量迁移 该模式为Redis的一次性迁移,适用于可中断业务的迁移场景。全量迁移过程中,如果源Redis有数据更新,这部分更新数据不会被迁移到目标Redis。 全量迁移+增量迁移 该模式为Redis的持续性迁移,适用于对业务中断敏感的迁移场景。增量迁移阶段通过解析日志等技术, 持续保持源Redis和目标端Redis的数据一致。 增量迁移,迁移任务会在迁移开始后,一直保持迁移中状态,不会自动停止。需要您在合适时间,在“操作”列单击“停止”,手动停止迁移。停止后,源端数据不会造成丢失,只是目标端不再写入数据。增量迁移在传输链路网络稳定情况下是秒级时延,具体的时延情况依赖于网络链路的传输质量。 图1 选择迁移方法 仅当迁移方法选择“全量迁移+增量迁移”时,支持选择是否启用“带宽限制”。 如果启用带宽限制功能,当数据同步速度达到带宽限制时,将限制同步速度的继续增长。 选择是否“自动重连”。如开启自动重连模式,迁移过程中在遇到网络等异常情况时,会无限自动重连。 自动重连模式在无法进行增量同步时,会触发全量同步,增加带宽占用,请谨慎选择。 分别配置“源Redis”和“目标Redis”。 配置“源Redis类型”和“源Redis实例”: “源Redis类型”请选择“自建Redis”,并在“源Redis实例”处输入源Redis的IP地址和端口。 如果源Redis为Cluster集群,需要输入集群所有主节点的IP端口,用英文逗号隔开。例如:192.168.1.1:6379,192.168.0.0:6379 配置“目标Redis类型”和“目标Redis实例”: “目标Redis类型”请选择“云服务Redis”,并在“目标Redis实例”处选择需要迁移的目标Redis。 分别配置“源Redis实例密码”和“目标Redis实例密码”:如果是密码访问模式实例,在输入连接实例密码后,单击密码右侧的“测试连接”,检查实例密码是否正确、网络是否连通。如果是免密访问的实例,请直接单击“测试连接”。如果测试连接失败,请检查输入的实例密码是否正确、Redis实例与迁移任务网络是否打通。 如果是DCS服务的Redis实例,此处暂不支持使用账号管理功能中创建的ACL账号及密码。 在“源DB”或“目标DB”中,您可以选择是否需要指定具体迁移的DB。例如源端输入5,目标端输入6时,表示迁移源Redis DB5中的数据到目标Redis的DB6;当源端不指定DB,目标端指定DB时,表示默认迁移源端的全部数据,到目标端指定的DB,当目标端不指定DB时,表示默认迁移到与源端对应的DB。 当源端为多DB,目标端为单DB的DCS实例时(单DB的实例只有DB0),需要源端的所有数据都在DB0,或者指定仅迁移源端某一DB中的数据并将目标端DB指定为0,否则会迁移失败。 DCS Redis的DB数请参见Redis实例是否支持多DB方式?。 单击“下一步”。 确认迁移信息,然后单击“提交”,开始创建迁移任务。 可返回迁移任务列表中,观察对应的迁移任务的状态,迁移成功后,任务状态显示“成功”。 如果出现迁移失败,建议单击迁移任务名称,进入迁移任务详情页面,通过“迁移日志”排查迁移失败的原因。 如果是增量迁移,全量迁移后会一直处于增量迁移中的状态。 如需手动停止迁移中的任务,勾选迁移任务左侧的方框,单击迁移任务上方的“停止”,即可停止迁移。 勾选停止迁移或迁移失败的迁移任务,单击迁移任务上方的“重启”,可重新进行迁移。如果重启迁移任务后迁移失败,建议单击“配置”,重新配置在线迁移任务后重试。 单次最多支持勾选50个在线迁移任务,批量停止、删除、或重启迁移任务。
  • 迁移后验证 数据迁移前如果目标Redis中数据为空,迁移完成后,可以通过以下方式确认数据的完整性: 连接源Redis和目标Redis。连接Redis的方法请参考Redis-cli客户端连接Redis。 输入info keyspace,查看keys参数和expires参数的值。 对比源Redis和目标Redis的keys参数分别减去expires参数的差值。如果差值一致,则表示数据完整,迁移正常。 注意:如果是全量迁移,迁移过程中源Redis更新的数据不会迁移到目标实例。
  • 约束与限制 如果源Redis禁用了SYNC和PSYNC命令,请务必联系源端云厂商放通SYNC和PSYNC命令,否则会导致在线迁移失败。 在线迁移不支持公网方式直接迁移。 进行在线迁移时,建议将源端实例的参数repl-timeout配置为300秒,client-output-buffer-slave-hard-limit和client-output-buffer-slave-soft-limit配置为实例最大内存的20%。 源端仅支持Redis 3.0及3.0以上的Redis版本。 较早建立的实例如果密码中包含单引号('),则该实例不支持进行在线迁移,建议修改实例密码或使用其他迁移方式。 开启了SSL的目标实例不支持数据迁移,需要关闭目标实例SSL后再进行迁移,开启或关闭SSL的操作请参考配置Redis SSL 数据加密 传输。
  • 代码样例 此用例用于生成带授权信息的临时URL。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 from obs import ObsClient import os import traceback import base64 # 推荐通过环境变量获取AKSK,这里也可以使用其他外部引入方式传入,如果使用硬编码可能会存在泄露风险 # 您可以登录访问管理控制台获取访问密钥AK/SK,获取方式请参见https://support.huaweicloud.com/usermanual-ca/ca_01_0003.html ak = os.getenv("AccessKeyID") sk = os.getenv("SecretAccessKey") # 【可选】如果使用临时AKSK和SecurityToken访问OBS,则同样推荐通过环境变量获取 # security_token = os.getenv("SecurityToken") # server填写Bucket对应的Endpoint, 这里以华北-北京四为例,其他地区请按实际情况填写 server = "https://obs.cn-north-4.myhuaweicloud.com" # 创建obsClient实例 # 如果使用临时AKSK和SecurityToken访问OBS,需要在创建实例时通过security_token参数指定securityToken值 obsClient = ObsClient(access_key_id=ak, secret_access_key=sk, server=server) try: # 生成创建桶的带授权信息的URL res1 = obsClient.createSignedUrl(method='PUT', bucketName='bucketname', expires=3600) print('signedUrl:', res1.signedUrl) print('actualSignedRequestHeaders:', res1.actualSignedRequestHeaders) # 生成上传对象的带授权信息的URL res2 = obsClient.createSignedUrl(method='PUT', bucketName='bucketname', objectKey='objectkey', expires=3600, headers={'Content-Type': 'text/plain'}) print('signedUrl:', res2.signedUrl) print('actualSignedRequestHeaders:', res2.actualSignedRequestHeaders) # 生成设置对象ACL的带授权信息的URL res3 = obsClient.createSignedUrl(method='PUT', bucketName='bucketname', objectKey='objectkey', specialParam='acl', expires=3600, headers={'x-obs-acl': 'private'}) print('signedUrl:', res3.signedUrl) print('actualSignedRequestHeaders:', res3.actualSignedRequestHeaders) # 生成下载对象的带授权信息的URL res4 = obsClient.createSignedUrl(method='GET', bucketName='bucketname', objectKey='objectkey', expires=3600) print('signedUrl:', res4.signedUrl) print('actualSignedRequestHeaders:', res4.actualSignedRequestHeaders) # 生成删除对象的带授权信息的URL res5 = obsClient.createSignedUrl(method='DELETE', bucketName='bucketname', objectKey='objectkey', expires=3600) print('signedUrl:', res5.signedUrl) print('actualSignedRequestHeaders:', res5.actualSignedRequestHeaders) # 生成删除桶的带授权信息的URL res6 = obsClient.createSignedUrl(method='DELETE', bucketName='bucketname', expires=3600) print('signedUrl:', res6.signedUrl) print('actualSignedRequestHeaders:', res6.actualSignedRequestHeaders) # 生成设置初始化分段任务的带授权信息的URL res7 = obsClient.createSignedUrl(method='POST', bucketName='bucketname', objectKey='objectkey', specialParam='uploads', expires=3600) print('signedUrl:', res7.signedUrl) print('actualSignedRequestHeaders:', res7.actualSignedRequestHeaders) # 生成上传段的带授权信息的URL, res8 = obsClient.createSignedUrl(method='PUT', bucketName='bucketname', objectKey='objectkey', expires=3600, queryParams={'partNumber': '1', 'uploadId': '00000*****'}) print('signedUrl:', res8.signedUrl) print('actualSignedRequestHeaders:', res8.actualSignedRequestHeaders) # 生成合并段的带授权信息的URL res9 = obsClient.createSignedUrl(method='POST', bucketName='bucketname', objectKey='objectkey', expires=3600, queryParams={'uploadId': '00000*****'}) print('signedUrl:', res9.signedUrl) print('actualSignedRequestHeaders:', res9.actualSignedRequestHeaders) # 生成图片持久化处理的带授权信息的URL # 源对象所在的桶名 bucketName = 'originBucketName'; # 处理前的源对象名 objectKey = 'test.png'; # 处理后的对象名 targetObjectName ="save.png" # 处理后保存的桶名, 可选参数 targetBucketName ="saveBucketName" queryParams={} queryParams["x-image-process"]="image/resize,w_100" queryParams["x-image-save-object"]=base64.b64encode(targetObjectName .encode("utf-8")).decode() # 可选参数 queryParams["x-image-save-bucket"]=base64.b64encode(targetBucketName .encode("utf-8")).decode() res10 = obsClient.createSignedUrl(method='GET', bucketName=bucketName, objectKey=objectKey, queryParams=queryParams, expires=3600) print('signedUrl:', res10.signedUrl) print('actualSignedRequestHeaders:', res10.actualSignedRequestHeaders) except: print(traceback.format_exc())
  • 接口约束 OBS支持的Region与Endpoint的对应关系,详细信息请参见地区与终端节点。 如果遇到跨域报错、签名不匹配问题,请参考以下步骤排查问题: 未配置跨域,需要在控制台配置CORS规则,请参考配置桶允许跨域请求。 签名计算问题,请参考URL中携带签名排查签名参数是否正确;比如上传对象功能,后端将Content-Type参与计算签名生成授权URL,但是前端使用授权URL时没有设置Content-Type字段或者传入错误的值,此时会出现跨域错误。解决方案为:Content-Type字段前后端保持一致。
  • 请求参数 表1 请求参数列表 参数名称 参数类型 是否必选 描述 method str 必选 参数解释: HTTP方法类型 取值范围: GET POST PUT DELETE HEAD 默认取值: 无 bucketName str 可选 参数解释: 桶名。 约束限制: 桶的名字需全局唯一,不能与已有的任何桶名称重复,包括其他用户创建的桶。 桶命名规则如下: 3~63个字符,数字或字母开头,支持小写字母、数字、“-”、“.”。 禁止使用IP地址。 禁止以“-”或“.”开头及结尾。 禁止两个“.”相邻(如:“my..bucket”)。 禁止“.”和“-”相邻(如:“my-.bucket”和“my.-bucket”)。 同一用户在同一个区域多次创建同名桶不会报错,创建的桶属性以第一次请求为准。 默认取值: 无 objectKey str 可选 参数解释: 对象名。对象名是对象在存储桶中的唯一标识。对象名是对象在桶中的完整路径,路径中不包含桶名。 例如,您对象的访问地址为examplebucket.obs.cn-north-4.myhuaweicloud.com/folder/test.txt 中,对象名为folder/test.txt。 取值范围: 长度大于0且不超过1024的字符串。 默认取值: 无 specialParam str 可选 参数解释: 特殊操作符,代表要操作的子资源, 取值范围: versions uploads location storageinfo quota storagePolicy acl append logging policy lifecycle website versioning cors notification tagging delete restore 默认取值: 无 expires int 可选 参数解释: 带授权信息的URL的过期时间。 取值范围: 大于等于0的整型数,单位:秒。 默认取值: 300秒 headers dict 可选 参数解释: 请求中携带的头域。 默认取值: 无 queryParams dict 可选 参数解释: 请求中携带的查询参数。 默认取值: 无 如果遇到跨域报错、签名不匹配问题,请参考以下步骤排查问题: 未配置跨域,需要在控制台配置CORS规则,请参考配置桶允许跨域请求。 签名计算问题,请参考URL中携带签名排查签名参数是否正确;比如上传对象功能,后端将Content-Type参与计算签名生成授权URL,但是前端使用授权URL时没有设置Content-Type字段或者传入错误的值,此时会出现跨域错误。解决方案为:Content-Type字段前后端保持一致。
  • PG_THREAD_WAIT_STATUS 通过PG_THREAD_WAIT_STATUS视图可以检测当前实例中工作线程(backend thread)以及辅助线程(auxiliary thread)的阻塞等待情况。具体字段信息如表1所示。 表1 PG_THREAD_WAIT_STATUS字段 名称 类型 描述 node_name text 当前节点的名称。 db_name text 数据库名称。 thread_name text 线程名称。 query_id bigint 查询id,对应debug_query_id。 tid bigint 当前线程的线程号。 sessionid bigint 当前会话id。 lwtid integer 当前线程的轻量级线程号。 psessionid bigint 父会话ID。 tlevel integer streaming线程的层级。 smpid integer 并行线程的id。 wait_status text 当前线程的等待状态。等待状态的详细信息请参见表2。 wait_event text 如果wait_status是acquire lock、acquire lwlock、wait io三种类型,此列描述具体的锁、轻量级锁、I/O的信息。否则是空。 locktag text 当前线程正等待获取的锁的信息。 lockmode text 当前线程正等待获取的锁的模式。包含表级锁、行级锁、页级锁下的各模式。 block_sessionid bigint 阻塞当前线程获取锁的会话标识。 global_sessionid text 全局会话id。 wait_status列的等待状态如表2所示。 表2 等待状态列表 wait_status值 含义 none 没在等任意事件。 acquire lock 等待加锁,要么加锁成功,要么加锁等待超时。 acquire lwlock 等待获取轻量级锁。 wait io 等待I/O完成。 wait cmd 等待完成读取网络通信包。 wait pooler get conn 等待pooler完成获取连接。 wait pooler abort conn 等待pooler完成终止连接。 wait pooler clean conn 等待pooler完成清理连接。 pooler create conn: [nodename], total N 等待pooler建立连接,当前正在与nodename指定节点建立连接,且仍有N个连接等待建立。 get conn 获取到其他节点的连接。 set cmd: [nodename] 在连接上执行SET/RESET/TRANSACTION BLOCK LEVEL PARA SET/SESSION LEVEL PARA SET,当前正在nodename指定节点上执行。 cancel query 取消某连接上正在执行的SQL语句。 stop query 停止某连接上正在执行的查询。 wait node: [nodename](plevel), total N, [phase] 等待接收与某节点的连接上的数据,当前正在等待nodename节点plevel线程的数据,且仍有N个连接的数据待返回。如果状态包含phase信息,则可能的阶段状态有: begin:表示处于事务开始阶段。 commit:表示处于事务提交阶段。 rollback:表示处于事务回滚阶段。 wait transaction sync: xid 等待xid指定事务同步。 wait wal sync 等待特定LSN的wal log完成到备机的同步。 wait data sync 等待完成数据页到备机的同步。 wait data sync queue 等待把行存的数据页放入同步队列。 flush data: [nodename](plevel), [phase] 等待向网络中nodename指定节点的plevel对应线程发送数据。如果状态包含phase信息,则可能的阶段状态为wait quota,即当前通信流正在等待quota值。 stream get conn: [nodename], total N 初始化stream flow时,等待与nodename节点的consumer对象建立连接,且当前有N个待建连对象。 wait producer ready: [nodename](plevel), total N 初始化stream flow时,等待每个producer都准备好,当前正在等待nodename节点plevel对应线程的producer对象准备好,且仍有N个producer对象处于等待状态。 synchronize quit stream plan结束时,等待stream线程组内的线程统一退出。 nodegroup destroy stream plan结束时,等待销毁stream node group。 wait active statement 等待作业执行,正在资源负载管控中。 gtm connect 等待与GTM建连。 gtm get gxid 等待从GTM获取事务xid。 gtm get snapshot 等待从GTM获取事务快照snapshot。 gtm begin trans 等待GTM开始事务。 gtm commit trans 等待GTM提交事务。 gtm rollback trans 等待GTM执行事务回滚。 gtm start prepare trans 等待GTM开始两阶段事务的prepare阶段。 gtm prepare trans 等待GTM完成两阶段事务的prepare阶段。 gtm open sequence 等待GTM打开sequence。 gtm close sequence 等待GTM关闭sequence。 gtm create sequence 等待GTM创建sequence。 gtm alter sequence 等待GTM修改sequence。 gtm get sequence val 等待从GTM获取sequence的下一个值。 gtm set sequence val 等待GTM设置sequence的值。 gtm drop sequence 等待GTM删除sequence。 gtm rename sequence 等待GTM重命名sequence。 analyze: [relname], [phase] 当前正在对表relname执行analyze。如果状态包含phase信息,则为autovacuum,表示是数据库自动开启AutoVacuum线程执行的analyze分析操作。 vacuum: [relname], [phase] 当前正在对表relname执行vacuum。如果状态包含phase信息,则为autovacuum,表示是数据库自动开启AutoVacuum线程执行的vacuum清理操作。 vacuum full: [relname] 当前正在对表relname执行vacuum full清理。 create index 当前正在创建索引。 HashJoin - [ build hash | write file ] 当前是HashJoin算子,主要关注耗时的执行阶段。 build hash:表示当前HashJoin算子正在建立哈希表。 write file:表示当前HashJoin算子正在将数据写入磁盘。 HashAgg - [ build hash | write file ] 当前是HashAgg算子,主要关注耗时的执行阶段。 build hash:表示当前HashAgg算子正在建立哈希表。 write file:表示当前HashAgg算子正在将数据写入磁盘。 HashSetop - [build hash | write file ] 当前是HashSetop算子,主要关注耗时的执行阶段。 build hash:表示当前HashSetop算子正在建立哈希表。 write file:表示当前HashSetop算子正在将数据写入磁盘。 Sort | Sort - [fetch tuple | write file] 当前是Sort算子做排序,fetch tuple表示Sort算子正在获取tuple,write file表示Sort算子正在将数据写入磁盘。 Material | Material - write file 当前是Material算子,write file表示Material算子正在将数据写入磁盘。 standby read recovery conflict 备机只读与日志回放产生冲突。 standby get snapshot 备机只读获取快照。 prune table 等待堆表清理历史删除数据。 prune index 等待索引清理历史删除数据。 vacuum gpi 等待gpi索引清理历史删除数据。 gtm reset xmin 等待gtm重置xmin。 gtm get xmin 等待从gtm获取xmin。 gtm get csn 等待从gtm获取csn。 gtm start preprare trans 等待gtm启动二阶段事务。 gtm rename sequence 等待gtm重命名sequence。 wait reserve td 等待分配ustore事务槽。 wait td rollback 等待ustore事务槽回滚。 wait available td 等待ustore可用的事务槽。 wait transaction rollback 等待事务回滚。 gtm set disaster cluster 等待在gtm设置容灾集群信息。 gtm get disaster cluster 等待从gtm获取容灾集群信息。 gtm del disaster cluster 等待在gtm删除容灾集群信息。 gtm set consistency point 等待在gtm设置一致性点。 wait sync bgworkers 等待并行创建索引的子线程完成本地扫描和排序。 wait gs_sleep 等待服务器线程延迟时间。 wait vacuum delay 等待vacuum延迟时间。 wait seq scan seq scan执行时间。 wait index scan index scan执行时间。 wait checkpoint start checkpoint开始阶段时间。 wait checkpoint done checkpoint结束阶段时间。 wait xact start command xact开始时间。 wait xact commit command xact提交时间。 wait io control 等待作业执行,正在I/O管控中。 security audit write pipe 等待将审计日志写入管道。 当wait_status为acquire lwlock、acquire lock或wait io时,表示有等待事件。正在等待获取wait_event列对应类型的轻量级锁、事务锁或者正在进行I/O操作。 其中,wait_status值为acquire lwlock(轻量级锁)时对应的wait_event等待事件类型与描述信息如表3所示。(wait_event为extension时,表示此时的轻量级锁是动态分配的锁,未被监控。) 表3 轻量级锁等待事件列表 wait_event类型 类型描述 ShmemIndexLock 用于保护共享内存中的主索引哈希表。 OidGenLock 用于避免不同线程产生相同的OID。 XidGenLock 用于避免两个事务获得相同的xid。 ProcArrayLock 用于避免并发访问或修改ProcArray共享数组。 SInvalReadLock 用于避免与清理失效消息并发执行。 SInvalWriteLock 用于避免与其它写失效消息、清理失效消息并发执行。 WALInsertLock 用于避免与其它WAL插入操作并发执行。 WALWriteLock 用于避免并发WAL写盘。 ControlFileLock 用于避免pg_control文件的读写并发、写写并发。 CheckpointLock 用于避免多个checkpoint并发执行。 CLogControlLock 用于避免并发访问或者修改Clog控制数据结构。 SubtransControlLock 用于避免并发访问或者修改子事务控制数据结构。 MultiXactGenLock 用于串行分配唯一MultiXact id。 MultiXactOffsetControlLock 用于避免对pg_multixact/offset的写写并发和读写并发。 MultiXactMemberControlLock 用于避免对pg_multixact/members的写写并发和读写并发。 RelCacheInitLock 用于失效消息场景对init文件进行操作时加锁。 CheckpointerCommLock 用于向checkpointer发起文件刷盘请求场景,需要串行的向请求队列插入请求结构。 TwoPhaseStateLock 用于避免并发访问或者修改两阶段信息共享数组。 TablespaceCreateLock 用于确定tablespace是否已经存在。 BtreeVacuumLock 用于防止vacuum清理B-tree中还在使用的页面。 AlterPortLock 用于保护CN更改注册端口号的操作。 AutovacuumLock 用于串行化访问autovacuum worker数组。 AutovacuumScheduleLock 用于串行化分配需要vacuum的table。 AutoanalyzeLock 用于获取和释放允许执行Autoanalyze的任务资源。 SyncScanLock 用于确定heap扫描时某个relfilenode的起始位置。 NodeTableLock 用于保护存放CN和DN节点信息的共享结构。 PoolerLock 用于保证两个线程不会同时从连接池里取到相同的连接。 RelationMappingLock 用于等待更新系统表到存储位置之间映射的文件。 Async Ctl 用于保护Async buffer。 AsyncCtlLock 用于避免并发访问或者修改共享通知状态。 AsyncQueueLock 用于避免并发访问或者修改共享通知信息队列。 SerializableXactHashLock 用于避免对于可串行事务共享结构的写写并发和读写并发。 SerializableFinishedListLock 用于避免对于已完成可串行事务共享链表的写写并发和读写并发。 SerializablePredicateLockListLock 用于保护对于可串行事务持有的锁链表。 OldSerXidLock 用于保护记录冲突可串行事务的结构。 FileStatLock 用于保护存储统计文件信息的数据结构。 SyncRepLock 用于在主备复制时保护xlog同步信息。 DataSyncRepLock 用于在主备复制时保护数据页同步信息。 MetaCacheSweepLock 用于元数据循环淘汰。 ExtensionConnectorLibLock 用于初始化ODBC连接场景,在加载与卸载特定动态库时进行加锁。 SearchServerLibLock 用于GPU加速场景初始化加载特定动态库时,对读文件操作进行加锁。 LsnXlogChkFileLock 用于串行更新特定结构中记录的主备机的xlog flush位置点。 GTMHostInfoLock 用于避免并发访问或者修改GTM主机信息。 ReplicationSlotAllocationLock 用于主备复制时保护主机端的流复制槽的分配。 ReplicationSlotControlLock 用于主备复制时避免并发更新流复制槽状态。 ResourcePoolHashLock 用于避免并发访问或者修改资源池哈希表。 OBSGetPathLock 用于避免对obs路径的写写并发和读写并发。 JobShmemLock 用于MPP兼容ORACLE定时任务功能中保护定时读取的全局变量。 OBSRuntimeLock 用于获取环境变量,如GAUSSHOME。 LLVMDumpIRLock 用于导出动态生成函数所对应的汇编语言。 LLVMParseIRLock 用于在查询开始处从IR文件中编译并解析已写好的IR函数。 CriticalCacheBuildLock 用于从共享或者本地缓存初始化文件中加载cache的场景。 WaitCountHashLock 用于保护用户语句计数功能场景中的共享结构。 BufMappingLock 用于保护对共享缓冲映射表的操作。 LockMgrLock 用于保护常规锁结构信息。 PredicateLockMgrLock 用于保护可串行事务锁结构信息。 OperatorRealTLock 用于避免并发访问或者修改记录算子级实时数据的全局结构。 OperatorHistLock 用于避免并发访问或者修改记录算子级历史数据的全局结构。 SessionRealTLock 用于避免并发访问或者修改记录query级实时数据的全局结构。 SessionHistLock 用于避免并发访问或者修改记录query级历史数据的全局结构。 CacheSlotMappingLock 用于保护CU Cache全局信息。 BarrierLock 用于保证当前只有一个线程在创建Barrier。 GPCCommitLock 用于保护全局Plan Cache hash表的添加操作。 GPCClearLock 用于保护全局Plan Cache hash表的清除操作。 GPCTimelineLock 用于保护全局Plan Cache hash表检查Timeline的操作。 GPCMappingLock 用于全局Plan Cache缓存管理。 GPCPrepareMappingLock 用于全局Plan Cache缓存管理。 GPRCMappingLock 用于管理自治事务全局缓存hash表的访问和修改操作。 BufFreelistLock 用于保证共享缓冲区空闲列表操作的原子性。 AddinShmemInitLock 保护共享内存对象的初始化。 wait active statement 等待作业执行,正在资源负载管控中。 wait memory 等待内存获取。 DnUsedSpaceHashLock 用于更新会话对应的空间使用信息。 InstanceRealTLock 用于保护共享实例统计信息hash表的更新操作。 IOStatLock 用于资源管理IO统计信息哈希表并发维护操作。 PldebugLock 用于存储过程调试并发维护操作。 StartBlockMappingLock 用于globalstat从pgstat获取startblockarray等信息。 GlobalSeqLock 用于全局seqence序列管理。 MatviewSeqnoLock 用于物化视图缓存管理。 DataFileIdCacheLock 管理共享内存中存储数据文件描述符的哈希表的并发访存。 GTMHostInfoLock 保护共享GTM主机信息的并发访存。 TwoPhaseStatePartLock 保护(各个分区)两阶段事务状态信息。 WALBufMappingLock 保护共享内中各个wal缓存页面与lsn偏移的映射关系。 UndoZoneLock 保护undozone的并发访存。 RollbackReqHashLock 管理共享内存中存储回滚请求信息的哈希表的并发访存。 UHeapStatLock 保护ustore统计信息的并发访存。 WALWritePaxosLock 保护向paxos复制组件写wal日志的并发顺序。 SyncPaxosLock 保护paxos同步队列的并发访存。 BackgroundWorkerLock 保护background worker的并发顺序。 HadrSwitchoverLock 保护容灾切换的并发顺序。 HashUidLock 保护uid分配的并发顺序。 ParallelDecodeLock 保护并行解码的并发顺序。 XLogMaxCSNLock 保护容灾模式下本地最大可恢复CSN信息。 DisasterCacheLock 保护共享内存中容灾信息缓存的并发访存。 MaxCSNArrayLock 保护共享内存中各个分片备机CSN恢复进度信息。 RepairBadBlockStatHashLock 保护共享内存中损坏页面哈希表的并发访存。 DropArchiveSlotLock 保护删除归档槽信息的并发顺序。 ProcXactMappingLock 保护事务号-线程信息映射哈希表的并发访存。 UndoPerZoneLock 保护每个undozone内信息的并发访存。 UndoSpaceLock 保护undospace的并发访存。 SnapshotBlockLock 控制快照备份与页面刷盘的并发顺序。 DWSingleFlushFirstLock 控制非段页式单页面双写文件的并发顺序。 DWSingleFlushSecondLock 控制段页式单页面双写文件的并发顺序 DWSingleFlushSecondBufTagLock 控制段页式单页面双写文件的元信息并发访存 RestartPointQueueLock 控制备机restart Point数组的并发访存。 UnlinkRelHashTblLock 保护共享内存中待删除文件哈希表的并发访存。 UnlinkRelForkHashTblLock 保护共享内存中待删除文件fork哈希表的并发访存。 WALFlushWait 保护日志刷盘的并发顺序。 WALConsensusWait 保护日志达成一致才进行事务提交或日志回放操作。 WALBufferInitWait 保护wal共享内存页面的初始化和刷盘顺序。 WALInitSegment 保护wal日志段文件的初始化顺序。 SegmentHeadPartitionLock 保护段页式segment头部元信息的分区锁。 PgwrSyncQueueLock 保护待刷盘文件队列的并发访存。 BarrierHashTblLock 保护共享内存中barrier列表信息的并发访存。 PageRepairHashTblLock 保护页面修复哈希表的并发访存。 FileRepairHashTblLock 保护文件修复哈希表的并发访存。 BadBlockStatHashLock 保护共享损坏页面统计哈希表的并发访存。 BufferIOLock 保护共享缓冲区单个页面加载或淘汰的IO并发。 BufferContentLock 保护共享缓冲区单个页面的读写并发。 CUSlotListLock 保护共享CU槽位链表的并发访存。 DataCacheLock 保护共享CU只读缓存的并发访存。 MetaCacheLock 保护共享cu meta缓存的并发访存。 CBMParseXlogLock 控制cbm文件的并发访存。 CLogBufMappingLock 控制共享clog页面映射的并发访存。 C LOG Ctl 控制各个clog分区信息的并发访存。 CSNBufMappingLock 控制共享csnlog页面映射的并发访存。 CSNLOG Ctl 控制各个csnlog分区信息的并发访存。 DelayDDLLock 控制删除类ddl和延迟备份功能的并发顺序。 DoubleWriteLock 控制双写模块的并发顺序。 DfsConnectorCacheLock 控制dfs连接缓存的并发访存。 DfsUserLoginLock 控制dfs用户登录的并发顺序。 DfsSpaceCacheLock 控制dfs空间管理缓存的并发顺序。 PGPROCLock 保护全局共享线程状态数组的并发访存。 RelfilenodeReuseLock 控制文件名复用的并发顺序。 ReplicationSlotLock 保护逻辑复制槽信息的并发访存。 LogicalReplicationSlotPersistentDataLock 控制逻辑复制槽持久化的并发顺序。 RowPageReplicationLock 控制行存页面复制的并发顺序。 MultiXactOffset Ctl 保护multixact offset文件信息的并发访存。 MultiXactMember Ctl 保护multixact member文件信息的并发访存。 OldSerXid SLRU Ctl 保护oldser事务号缓存信息的并发访存。 FullBuildXlogCopyStartPtrLock 控制全量build起点位置的并发访存。 RcvWriteLock 控制wal receiver writer的并发顺序。 XlogRemoveSegLock 控制最新删除wal文件信息的并发访存。 CsnMinLock 控制csn min信息的并发访存。 HypoIndexLock 虚拟索引创建、删除、重置等动作中使用的轻量级锁。 XGBoostLibLock DB4AI特性调用xgboost库时启用的锁。 InstrUserLockId 对保护用户登录或者退出登录哈希表并发修改加锁。 GsStackLock 控制gs_stack函数不被并发调用。 InstrStmtTrackCtlLock 在动态开启全量SQL时, 保护哈希表的并发访存。 CaptureViewFileHashLock 开启性能视图采集时,保护哈希表的并发访存。 UniqueSqlEvictLock 开启Unique SQL回收时,保护哈希表的并发访存。 ASPMappingLock 用于管理ASP的hash表的并发访存。 AuditIndexFileLock 控制审计日志index文件的并发读写。 SQLAdvisorLock 用于管理分布列推荐中hash表的并发访存。 LWTRANCHE_ACCOUNT_TABLE 控制账户锁定状态hash表的并发读写。 当wait_status值为wait io时对应的wait_event等待事件类型与描述信息如表4所示。 表4 I/O等待事件列表 wait_event类型 类型描述 BufFileRead 从临时文件中读取数据到指定buffer。 BufFileWrite 向临时文件中写入指定buffer中的内容。 ControlFileRead 读取pg_control文件。主要在数据库启动、执行checkpoint和主备校验过程中发生。 ControlFileSync 将pg_control文件持久化到磁盘。数据库初始化时发生。 ControlFileSyncUpdate 将pg_control文件持久化到磁盘。主要在数据库启动、执行checkpoint和主备校验过程中发生。 ControlFileWrite 写入pg_control文件。数据库初始化时发生。 ControlFileWriteUpdate 更新pg_control文件。主要在数据库启动、执行checkpoint和主备校验过程中发生。 CopyFileRead copy文件时读取文件内容。 CopyFileWrite copy文件时写入文件内容。 DataFileExtend 扩展文件时向文件写入内容。 DataFileFlush 将表数据文件持久化到磁盘 DataFileImmediateSync 将表数据文件立即持久化到磁盘。 DataFilePrefetch 异步读取表数据文件。 DataFileRead 同步读取表数据文件。 DataFileSync 将表数据文件的修改持久化到磁盘。 DataFileTruncate 表数据文件truncate。 DataFileWrite 向表数据文件写入内容。 LockFileAddToDataDirRead 读取"postmaster.pid"文件。 LockFileAddToDataDirSync 将"postmaster.pid"内容持久化到磁盘。 LockFileAddToDataDirWrite 将pid信息写到"postmaster.pid"文件。 LockFileCreateRead 读取LockFile文件"%s.lock"。 LockFileCreateSync 将LockFile文件"%s.lock"内容持久化到磁盘。 LockFileCreateWRITE 将pid信息写到LockFile文件"%s.lock"。 NgroupDestoryLock 对于保护nodegroup哈希表并发修改加锁。 NGroupMappingLock 对于保护nodegroup哈希表的单个分桶并发修改加锁。 RelationMapRead 读取系统表到存储位置之间的映射文件 RelationMapSync 将系统表到存储位置之间的映射文件持久化到磁盘。 RelationMapWrite 写入系统表到存储位置之间的映射文件。 ReplicationSlotRead 读取流复制槽文件。重新启动时发生。 ReplicationSlotRestoreSync 将流复制槽文件持久化到磁盘。重新启动时发生。 ReplicationSlotSync checkpoint时将流复制槽临时文件持久化到磁盘。 ReplicationSlotWrite checkpoint时写流复制槽临时文件。 SLRUFlushSync 将pg_clog、pg_subtrans和pg_multixact文件持久化到磁盘。主要在执行checkpoint和数据库停机时发生。 SLRURead 读取pg_clog、pg_subtrans和pg_multixact文件。 SLRUSync 将脏页写入文件pg_clog、pg_subtrans和pg_multixact并持久化到磁盘。主要在执行checkpoint和数据库停机时发生。 SLRUWrite 写入pg_clog、pg_subtrans和pg_multixact文件。 TimelineHistoryRead 读取timeline history文件。在数据库启动时发生。 TimelineHistorySync 将timeline history文件持久化到磁盘。在数据库启动时发生。 TimelineHistoryWrite 写入timeline history文件。在数据库启动时发生。 TwophaseFileRead 读取pg_twophase文件。在两阶段事务提交、两阶段事务恢复时发生。 TwophaseFileSync 将pg_twophase文件持久化到磁盘。在两阶段事务提交、两阶段事务恢复时发生。 TwophaseFileWrite 写入pg_twophase文件。在两阶段事务提交、两阶段事务恢复时发生。 WALBootstrapSync 将初始化的WAL文件持久化到磁盘。在数据库初始化发生。 WALBootstrapWrite 写入初始化的WAL文件。在数据库初始化发生。 WALCopyRead 读取已存在的WAL文件并进行复制时产生的读操作。在执行归档恢复完后发生。 WALCopySync 将复制的WAL文件持久化到磁盘。在执行归档恢复完后发生。 WALCopyWrite 读取已存在WAL文件并进行复制时产生的写操作。在执行归档恢复完后发生。 WALInitSync 将新初始化的WAL文件持久化磁盘。在日志回收或写日志时发生。 WALInitWrite 将新创建的WAL文件初始化为0。在日志回收或写日志时发生。 WALRead 从xlog日志读取数据。两阶段文件redo相关的操作产生。 WALSyncMethodAssign 将当前打开的所有WAL文件持久化到磁盘。 WALWrite 写入WAL文件。 DoubleWriteFileRead 等待读取双写文件。 DoubleWriteFileSync 等待刷盘双写文件。 DoubleWriteFileWrite 等待写入双写文件。 PredoProcessPending 等待并行回放处理剩余记录。 PredoApply 等待并行回放应用回放。 DisableConnectFileRead 等待读取锁分片文件。 DisableConnectFileSync 等待刷盘锁分片文件。 DisableConnectFileWrite 等待写入锁分片文件 BufHashTableSearch 共享缓冲区hash表搜索(可能会触发页面淘汰)。 buffer_strategy_get 策略化缓冲区页面获取(可能会触发页面淘汰)。 UndoFileExtend undo文件扩展。 UndoFilePrefetch undo文件预取。 UndoFileRead undo文件读取。 UndoFileWrite undo文件写。 UndoFileSync undo文件刷盘。 UndoFileUnlink undo文件删除。 UndoMetaSync undo元数据文件刷盘。 WALBufferAccess WAL Buffer访问(出于性能考虑,内核代码里只统计访问次数,未统计其访问耗时)。 WALBufferFull WAL Buffer满时,写wal文件相关的处理。 DWSingleFlushGetPos 单页面双写文件查找可用位置。 DWSingleFlushWrite 单页面双写文件刷盘。 CkptWaitPageWriterFlush 执行全量checkpoint时等待刷页。 CkptWaitPageWriterSync checkpoint打点前等待有修改的文件同步到磁盘。 CkptWaitCommitTransactionFinish checkpoint打点前等待所有已经提交的事务提交完毕。 MPFL_INIT 初始化max_page_flush_lsn。 MPFL_READ 读取max_page_flush_lsn。 MPFL_WRITE 写max_page_flush_lsn。 OBSList 遍历OBS目录。 OBSRead 读取OBS对象。 OBSWrite 写入OBS对象。 LOGCTRL_SLEEP 等待备机回放追赶。 ShareStorageWalRead 共享盘读取日志文件。 ShareStorageWalWrite 共享盘写入日志文件。 ShareStorageCtlInfoRead 共享盘读取控制信息。 ShareStorageCtlInfoWrite 共享盘写入控制信息。 SegFileExtend 段页式文件扩展。 SegReadDisk 段页式文件读取。 SegWriteDisk 段页式文件写入。 SegSync 段页式文件刷盘。 SegFileShrink 段页式文件收缩。 当wait_status值为acquire lock(事务锁)时对应的wait_event等待事件类型与描述信息如表5所示。 表5 事务锁等待事件列表 wait_event类型 类型描述 relation 对表加锁。 extend 对表扩展空间时加锁。 partition 对分区表加锁。 partition_seq 对分区表的分区加锁。 page 对表页面加锁。 tuple 对页面上的tuple加锁。 transactionid 对事务id加锁。 virtualxid 对虚拟事务id加锁。 object 加对象锁。 userlock 加用户锁。 advisory 加advisory锁。 filenode 对文件名加锁。 subtransactionid 对子事务号加锁。 tuple_uid 对元组头部的uid隐藏字段加锁。 父主题: 其他系统视图
  • PG_THREAD_WAIT_STATUS 通过PG_THREAD_WAIT_STATUS视图可以检测当前实例中工作线程(backend thread)以及辅助线程(auxiliary thread)的阻塞等待情况。多租场景下,non-PDB访问该视图时返回全部信息,PDB访问该视图时仅返回该PDB相关信息。 表1 PG_THREAD_WAIT_STATUS字段 名称 类型 描述 node_name text 当前节点的名称。 db_name text 数据库名称。 thread_name text 线程名称。 query_id bigint 查询ID,对应debug_query_id。 tid bigint 当前线程的线程号。 sessionid bigint 当前会话ID。 lwtid integer 当前线程的轻量级线程号。 psessionid bigint 父会话ID。 tlevel integer streaming线程的层级。 smpid integer 并行线程的ID。 wait_status text 当前线程的等待状态。等待状态的详细信息请参见表2。 wait_event text 如果wait_status是acquire lock、acquire lwlock、wait io三种类型,此列描述具体的锁、轻量级锁、IO的信息。否则是空。 locktag text 当前线程正等待获取的锁的信息。 lockmode text 当前线程正等待获取的锁的模式。包含表级锁、行级锁、页级锁下的各模式。 block_sessionid bigint 阻塞当前线程获取锁的会话标识。 global_sessionid text 全局会话ID。 wait_status列的等待状态有以下状态。 表2 等待状态列表 wait_status值 含义 none 没在等任意事件。 acquire lock 等待加锁,要么加锁成功,要么加锁等待超时。 acquire lwlock 等待获取轻量级锁。 wait io 等待IO完成。 wait cmd 等待完成读取网络通信包。 wait pooler get conn 等待pooler完成获取连接。 wait pooler abort conn 等待pooler完成终止连接。 wait pooler clean conn 等待pooler完成清理连接。 pooler create conn: [nodename], total N 等待pooler建立连接,当前正在与nodename指定节点建立连接,且仍有N个连接等待建立。 get conn 获取到其他节点的连接。 set cmd: [nodename] 在连接上执行SET/RESET/TRANSACTION BLOCK LEVEL PARA SET/SESSION LEVEL PARA SET,当前正在nodename指定节点上执行。 cancel query 取消某连接上正在执行的SQL语句。 stop query 停止某连接上正在执行的查询。 wait node: [nodename](plevel), total N, [phase] 等待接收与某节点的连接上的数据,当前正在等待nodename节点plevel线程的数据,且仍有N个连接的数据待返回。如果状态包含phase信息,则可能的阶段状态有: begin:表示处于事务开始阶段。 commit:表示处于事务提交阶段。 rollback:表示处于事务回滚阶段。 wait transaction sync: xid 等待xid指定事务同步。 wait wal sync 等待特定LSN的wal log完成到备机的同步。 wait data sync 等待完成数据页到备机的同步。 wait data sync queue 等待把行存的数据页放入同步队列。 flush data: [nodename](plevel), [phase] 等待向网络中nodename指定节点的plevel对应线程发送数据。如果状态包含phase信息,则可能的阶段状态为wait quota,即当前通信流正在等待quota值。 stream get conn: [nodename], total N 初始化stream flow时,等待与nodename节点的consumer对象建立连接,且当前有N个待建连对象。 wait producer ready: [nodename](plevel), total N 初始化stream flow时,等待每个producer都准备好,当前正在等待nodename节点plevel对应线程的producer对象准备好,且仍有N个producer对象处于等待状态。 synchronize quit stream plan结束时,等待stream线程组内的线程统一退出。 wait stream nodegroup destroy stream plan结束时,等待销毁stream node group。 wait active statement 等待作业执行,正在资源负载管控中。 analyze: [relname], [phase] 当前正在对表relname执行analyze。如果状态包含phase信息,则为autovacuum,表示是数据库自动开启AutoVacuum线程执行的analyze分析操作。 vacuum: [relname], [phase] 当前正在对表relname执行vacuum。如果状态包含phase信息,则为autovacuum,表示是数据库自动开启AutoVacuum线程执行的vacuum清理操作。 vacuum full: [relname] 当前正在对表relname执行vacuum full清理。 create index 当前正在创建索引。 HashJoin - [ build hash | write file ] 当前是HashJoin算子,主要关注耗时的执行阶段。 build hash:表示当前HashJoin算子正在建立哈希表。 write file:表示当前HashJoin算子正在将数据写入磁盘。 HashAgg - [ build hash | write file ] 当前是HashAgg算子,主要关注耗时的执行阶段。 build hash:表示当前HashAgg算子正在建立哈希表。 write file:表示当前HashAgg算子正在将数据写入磁盘。 HashSetop - [build hash | write file ] 当前是HashSetop算子,主要关注耗时的执行阶段。 build hash:表示当前HashSetop算子正在建立哈希表。 write file:表示当前HashSetop算子正在将数据写入磁盘。 Sort | Sort - [fetch tuple | write file] 当前是Sort算子做排序,fetch tuple表示Sort算子正在获取tuple,write file表示Sort算子正在将数据写入磁盘。 Material | Material - write file 当前是Material算子,write file表示Material算子正在将数据写入磁盘。 NestLoop 当前是NestLoop算子。 wait memory 等待内存获取。 wait sync consumer next step Stream算子等待消费者执行。 wait sync producer next step Stream算子等待生产者执行。 vacuum gpi vacuum或者autovacuum流程中global partition index清理。 standby read recovery conflict 备机只读与日志回放产生冲突。 standby get snapshot 备机只读获取快照。 prune table 等待堆表清理历史删除数据。 prune index 等待索引清理历史删除数据。 wait reserve td 等待分配ustore事务槽。 wait td rollback 等待ustore事务槽回滚。 wait available td 等待ustore可用的事务槽。 wait transaction rollback 等待事务回滚。 wait sync bgworkers 等待并行创建索引的子线程完成本地扫描和排序。 wait io control 等待作业执行,正在I/O管控中。 wait gs_sleep 等待服务器线程延迟时间。 wait vacuum delay 等待vacuum延迟时间。 wait seq scan seq scan执行时间。 wait index scan index scan执行时间。 wait checkpoint start checkpoint开始阶段时间。 wait checkpoint done checkpoint结束阶段时间。 wait xact start command xact开始时间。 wait xact commit command xact提交时间。 wait for autoextend partition 等待分区表自动扩展创建分区。 Accept client conn - Total Time GaussDB数据库 接受客户端的连接请求时,从建立连接开始到连接成功过程的整体耗时。 Accept client conn - ThrdPool - add epoll GaussDB 数据库接受客户端的连接请求时,线程池模式下,从建立连接开始,到线程池将session的句柄加入到epoll的耗时。 Accept client conn - ThrdPool - wait worker GaussDB数据库接受客户端的连接请求时,线程池模式下,从线程池将session的句柄加入到epoll开始,到线程池中工作线程开始工作的耗时。 Accept client conn - ThrdPool - init session GaussDB数据库接受客户端的连接请求时,线程池模式下,从线程池中工作线程开始工作,到session初始化结束的耗时。 Accept client conn - Worker - init proc GaussDB数据库接受客户端的连接请求时,非线程池模式下,从建立连接开始,到线程初始化结束的耗时。 Accept client conn - Worker - init session GaussDB数据库接受客户端的连接请求时,非线程池模式下,从线程初始化结束,到session初始化结束的耗时。 security audit write pipe 等待将审计日志写入管道。 当wait_status为acquire lwlock、acquire lock或者wait io时,表示有等待事件。正在等待获取wait_event列对应类型的轻量级锁、事务锁,或者正在进行IO。 其中,wait_status值为acquire lwlock(轻量级锁)时对应的wait_event等待事件类型与描述信息如下。(wait_event为extension时,表示此时的轻量级锁是动态分配的锁,未被监控。) 表3 轻量级锁等待事件列表 wait_event类型 类型描述 ShmemIndexLock 用于保护共享内存中的主索引哈希表。 OidGenLock 用于避免不同线程产生相同的OID。 XidGenLock 用于避免两个事务获得相同的xid。 ProcArrayLock 用于避免并发访问或修改ProcArray共享数组。 SInvalReadLock 用于避免与清理失效消息并发执行。 SInvalWriteLock 用于避免与其它写失效消息、清理失效消息并发执行。 WALInsertLock 用于避免与其它WAL插入操作并发执行。 WALWriteLock 用于避免并发WAL写盘。 ControlFileLock 用于避免pg_control文件的读写并发、写写并发。 CheckpointLock 用于避免多个checkpoint并发执行。 CLogControlLock 用于避免并发访问或者修改Clog控制数据结构。 SubtransControlLock 用于避免并发访问或者修改子事务控制数据结构。 MultiXactGenLock 用于串行分配唯一MultiXact id。 MultiXactOffsetControlLock 用于避免对pg_multixact/offset的写写并发和读写并发。 MultiXactMemberControlLock 用于避免对pg_multixact/members的写写并发和读写并发。 RelCacheInitLock 用于失效消息场景对init文件进行操作时加锁。 CheckpointerCommLock 用于向checkpointer发起文件刷盘请求场景,需要串行的向请求队列插入请求结构。 TwoPhaseStateLock 用于避免并发访问或者修改两阶段信息共享数组。 TablespaceCreateLock 用于确定tablespace是否已经存在。 BtreeVacuumLock 用于防止vacuum清理B-tree中还在使用的页面。 AutovacuumLock 用于串行化访问autovacuum worker数组。 AutovacuumScheduleLock 用于串行化分配需要vacuum的table。 AutoanalyzeLock 用于获取和释放允许执行Autoanalyze的任务资源。 SyncScanLock 用于确定heap扫描时某个relfilenode的起始位置。 NodeTableLock 用于保护存放数据库节点信息的共享结构。 PoolerLock 用于保证两个线程不会同时从连接池里取到相同的连接。 RelationMappingLock 用于等待更新系统表到存储位置之间映射的文件。 Async Ctl 用于保护Async buffer。 AsyncCtlLock 用于避免并发访问或者修改共享通知状态。 AsyncQueueLock 用于避免并发访问或者修改共享通知信息队列。 SerializableXactHashLock 用于避免对于可串行事务共享结构的写写并发和读写并发。 SerializableFinishedListLock 用于避免对于已完成可串行事务共享链表的写写并发和读写并发。 SerializablePredicateLockListLock 用于保护对于可串行事务持有的锁链表。 OldSerXidLock 用于保护记录冲突可串行事务的结构。 FileStatLock 用于保护存储统计文件信息的数据结构。 SyncRepLock 用于在主备复制时保护xlog同步信息。 DataSyncRepLock 用于在主备复制时保护数据页同步信息。 MetaCacheSweepLock 用于元数据循环淘汰。 ExtensionConnectorLibLock 用于初始化ODBC连接场景,在加载与卸载特定动态库时进行加锁。 SearchServerLibLock 用于GPU加速场景初始化加载特定动态库时,对读文件操作进行加锁。 LsnXlogChkFileLock 用于串行更新特定结构中记录的主备机的xlog flush位置点。 ReplicationSlotAllocationLock 用于主备复制时保护主机端的流复制槽的分配。 ReplicationSlotControlLock 用于主备复制时避免并发更新流复制槽状态。 ResourcePoolHashLock 用于避免并发访问或者修改资源池哈希表。 WorkloadStatHashLock 用于避免并发访问或者修改包含数据库主节点的SQL请求构成的哈希表。 WorkloadIoStatHashLock 用于避免并发访问或者修改用于统计当前数据库节点的IO信息的哈希表。 WorkloadCGroupHashLock 用于避免并发访问或者修改Cgroup信息构成的哈希表。 OBSGetPathLock 用于避免对obs路径的写写并发和读写并发。 WorkloadUserInfoLock 用于避免并发访问或修改负载管理的用户信息哈希表。 WorkloadRecordLock 用于避免并发访问或修改在内存自适应管理时对数据库主节点收到请求构成的哈希表。 WorkloadIOUtilLock 用于保护记录iostat,CPU等负载信息的结构。 WorkloadNodeGroupLock 用于避免并发访问或者修改内存中的nodegroup信息构成的哈希表。 JobShmemLock 用于定时任务功能中保护定时读取的全局变量。 OBSRuntimeLock 用于获取环境变量,如GAUSSHOME。 LLVMDumpIRLock 用于导出动态生成函数所对应的汇编语言。 LLVMParseIRLock 用于在查询开始处从IR文件中编译并解析已写好的IR函数。 CriticalCacheBuildLock 用于从共享或者本地缓存初始化文件中加载cache的场景。 WaitCountHashLock 用于保护用户语句计数功能场景中的共享结构。 BufMappingLock 用于保护对共享缓冲映射表的操作。 LockMgrLock 用于保护常规锁结构信息。 PredicateLockMgrLock 用于保护可串行事务锁结构信息。 OperatorRealTLock 用于避免并发访问或者修改记录算子级实时数据的全局结构。 OperatorHistLock 用于避免并发访问或者修改记录算子级历史数据的全局结构。 SessionRealTLock 用于避免并发访问或者修改记录query级实时数据的全局结构。 SessionHistLock 用于避免并发访问或者修改记录query级历史数据的全局结构。 BarrierLock 用于保证当前只有一个线程在创建Barrier。 dummyServerInfoCacheLock 用于保护缓存加速数据库连接信息的全局哈希表。 RPNumberLock 用于加速GaussDB的数据库节点对正在执行计划的任务线程的计数。 CBMParseXlogLock Cbm解析xlog时的保护锁 RelfilenodeReuseLock 避免错误地取消已重用的列属性文件的链接。 RcvWriteLock 防止并发调用WalDataRcvWrite。 PercentileLock 用于保护全局PercentileBuffer CSNBufMappingLock 保护csn页面 UniqueSQLMappingLock 用于保护uniquesql hash table DelayDDLLock 防止并发ddl。 CLOG Ctl 用于避免并发访问或者修改Clog控制数据结构 Async Ctl 保护Async buffer MultiXactOffset Ctl 保护MultiXact offset的slru buffer MultiXactMember Ctl 保护MultiXact member的slrubuffer OldSerXid SLRU Ctl 保护old xids的slru buffer ReplicationSlotLock 用于保护ReplicationSlot PGPROCLock 用于保护pgproc MetaCacheLock 用于保护MetaCache DataCacheLock 用于保护datacache InstrUserLock 用于保护InstrUserHTAB。 BadBlockStatHashLock 用于保护global_bad_block_stat hash表。 BufFreelistLock 用于保证共享缓冲区空闲列表操作的原子性。 AddinShmemInitLock 保护共享内存对象的初始化。 AlterPortLock 保护协调节点更改注册端口号的操作。 FdwPartitionCaheLock HDFS分区表缓冲区的管理锁。 DfsConnectorCacheLock DFSConnector缓冲区的管理锁。 DfsSpaceCacheLock HDFS表空间管理缓冲区的管理锁。 FullBuildXlogCopyStartPtrLock 用于保护全量Build中Xlog复制的操作。 DfsUserLoginLock 用于HDFS用户登录以及认证。 LogicalReplicationSlotPersistentDataLock 用于保护逻辑复制过程中复制槽位的数据。 PgfdwLock 用于管理实例向Foreign server建立连接。 InstanceTimeLock 用于获取实例中会话的时间信息。 XlogRemoveSegLock 保护Xlog段文件的回收操作。 DnUsedSpaceHashLock 用于更新会话对应的空间使用信息。 CsnMinLock 用于计算CSNmin。 GPCCommitLock 用于保护全局Plan Cache hash表的添加操作。 GPCClearLock 用于保护全局Plan Cache hash表的清除操作。 GPCTimelineLock 用于保护全局Plan Cache hash表检查Timeline的操作。 InstanceRealTLock 用于保护共享实例统计信息hash表的更新操作。 CLogBufMappingLock 用于提交日志缓存管理。 GPCMappingLock 用于全局Plan Cache缓存管理。 GPCPrepareMappingLock 用于全局Plan Cache缓存管理。 BufferIOLock 保护共享缓冲区页面的IO操作。 BufferContentLock 保护共享缓冲区页面内容的读取、修改。 CSNLOG Ctl 用于CSN日志管理。 DoubleWriteLock 用于双写的管理操作。 RowPageReplicationLock 用于管理行存储的数据页复制。 MatviewSeqnoLock 用于物化视图缓存管理。 GPRCMappingLock 用于管理自治事务全局缓存hash表的访问和修改操作。 extension 其他轻量锁。 wait active statement 等待作业执行,正在资源负载管控中。 wait memory 等待内存获取。 IOStatLock 用于资源管理IO统计信息哈希表并发维护操作。 StartBlockMappingLock 用于globalstat从pgstat获取startblockarray等信息 PldebugLock 用于存储过程调试并发维护操作 DataFileIdCacheLock 管理共享内存中存储数据文件描述符的哈希表的并发访存。 GTMHostInfoLock 保护共享GTM主机信息的并发访存。 TwoPhaseStatePartLock 保护(各个分区)两阶段事务状态信息。 WALBufMappingLock 保护共享内中各个wal缓存页面与lsn偏移的映射关系。 UndoZoneLock 保护undozone的并发访存。 RollbackReqHashLock 管理共享内存中存储回滚请求信息的哈希表的并发访存。 UHeapStatLock 保护ustore统计信息的并发访存。 WALWritePaxosLock 保护向paxos复制组件写wal日志的并发顺序。 SyncPaxosLock 保护paxos同步队列的并发访存。 BackgroundWorkerLock 保护background worker的并发顺序。 HadrSwitchoverLock 保护容灾切换的并发顺序。 HashUidLock 保护uid分配的并发顺序。 ParallelDecodeLock 保护并行解码的并发顺序。 XLogMaxCSNLock 保护容灾模式下本地最大可恢复CSN信息。 DisasterCacheLock 保护共享内存中容灾信息缓存的并发访存。 MaxCSNArrayLock 保护共享内存中各个分片备机CSN恢复进度信息。 RepairBadBlockStatHashLock 保护共享内存中损坏页面哈希表的并发访存。 HypoIndexLock 虚拟索引创建、删除、重置等动作中使用的轻量级锁。 XGBoostLibLock DB4AI特性调用xgboost库时启用的锁。 DropArchiveSlotLock 保护删除归档槽信息的并发顺序 ProcXactMappingLock 保护事务号到线程信息映射哈希表的并发访存。 UndoPerZoneLock 保护每个undozone内信息的并发访存。 UndoSpaceLock 保护undospace的并发访存。 SnapshotBlockLock 控制快照备份与页面刷盘的并发顺序。 DWSingleFlushFirstLock 控制非段页式单页面双写文件的并发顺序。 DWSingleFlushSecondLock 控制段页式单页面双写文件的并发顺序。 DWSingleFlushSecondBufTagLock 控制段页式单页面双写文件的元信息并发访存。 RestartPointQueueLock 控制备机restart Point数组的并发访存。 UnlinkRelHashTblLock 保护共享内存中待删除文件哈希表的并发访存。 UnlinkRelForkHashTblLock 保护共享内存中待删除文件fork哈希表的并发访存。 WALFlushWait 保护日志刷盘的并发顺序。 WALConsensusWait 保护日志达成一致才进行事务提交或日志回放操作。 WALBufferInitWait 保护wal共享内存页面的初始化和刷盘顺序。 WALInitSegment 保护wal日志段文件的初始化顺序。 SegmentHeadPartitionLock 保护段页式segment头部元信息的分区锁。 PgwrSyncQueueLock 保护待刷盘文件队列的并发访存。 BarrierHashTblLock 保护共享内存中barrier列表信息的并发访存。 PageRepairHashTblLock 保护页面修复哈希表的并发访存。 FileRepairHashTblLock 保护文件修复哈希表的并发访存。 InstrUserLockId 对保护用户登录登出哈希表并发修改加锁。 GsStackLock 控制gs_tack函数不会被并发调用。 InstrStmtTrackCtlLock 在动态开启全量SQL时,保护哈希表的并发访存。 CaptureViewFileHashLock 开启性能视图采集时,保护哈希表的并发访存。 UniqueSqlEvictLock 开启Unique SQL回收时,保护哈希表的并发访存。 gtt_shared_ctl 用于保护全局临时表共享哈希表并发读写。 AuditIndexFileLock 控制审计日志index文件的并发读写。 LWTRANCHE_ACCOUNT_TABLE 控制账户锁定状态hash表的并发读写。 当wait_status值为wait io时对应的wait_event等待事件类型与描述信息如下。 表4 IO等待事件列表 wait_event类型 类型描述 BufFileRead 从临时文件中读取数据到指定buffer。 BufFileWrite 向临时文件中写入指定buffer中的内容。 ControlFileRead 读取pg_control文件。主要在数据库启动、执行checkpoint和主备校验过程中发生。 ControlFileSync 将pg_control文件持久化到磁盘。数据库初始化时发生。 ControlFileSyncUpdate 将pg_control文件持久化到磁盘。主要在数据库启动、执行checkpoint和主备校验过程中发生。 ControlFileWrite 写入pg_control文件。数据库初始化时发生。 ControlFileWriteUpdate 更新pg_control文件。主要在数据库启动、执行checkpoint和主备校验过程中发生。 CopyFileRead copy文件时读取文件内容。 CopyFileWrite copy文件时写入文件内容。 DataFileExtend 扩展文件时向文件写入内容。 DataFileFlush 将表数据文件持久化到磁盘 DataFileImmediateSync 将表数据文件立即持久化到磁盘。 DataFilePrefetch 异步读取表数据文件。 DataFileRead 同步读取表数据文件。 DataFileSync 将表数据文件的修改持久化到磁盘。 DataFileTruncate 表数据文件truncate。 DataFileWrite 向表数据文件写入内容。 LockFileAddToDataDirRead 读取“postmaster.pid”文件。 LockFileAddToDataDirSync 将“postmaster.pid”内容持久化到磁盘。 LockFileAddToDataDirWrite 将pid信息写到“postmaster.pid”文件。 LockFileCreateRead 读取LockFile文件“%s.lock”。 LockFileCreateSync 将LockFile文件“%s.lock”内容持久化到磁盘。 LockFileCreateWRITE 将pid信息写到LockFile文件“%s.lock”。 RelationMapRead 读取系统表到存储位置之间的映射文件 RelationMapSync 将系统表到存储位置之间的映射文件持久化到磁盘。 RelationMapWrite 写入系统表到存储位置之间的映射文件。 ReplicationSlotRead 读取流复制槽文件。重新启动时发生。 ReplicationSlotRestoreSync 将流复制槽文件持久化到磁盘。重新启动时发生。 ReplicationSlotSync checkpoint时将流复制槽临时文件持久化到磁盘。 ReplicationSlotWrite checkpoint时写流复制槽临时文件。 SLRUFlushSync 将pg_clog、pg_subtrans和pg_multixact文件持久化到磁盘。主要在执行checkpoint和数据库停机时发生。 SLRURead 读取pg_clog、pg_subtrans和pg_multixact文件。 SLRUSync 将脏页写入文件pg_clog、pg_subtrans和pg_multixact并持久化到磁盘。主要在执行checkpoint和数据库停机时发生。 SLRUWrite 写入pg_clog、pg_subtrans和pg_multixact文件。 TimelineHistoryRead 读取timeline history文件。在数据库启动时发生。 TimelineHistorySync 将timeline history文件持久化到磁盘。在数据库启动时发生。 TimelineHistoryWrite 写入timeline history文件。在数据库启动时发生。 TwophaseFileRead 读取pg_twophase文件。在两阶段事务提交、两阶段事务恢复时发生。 TwophaseFileSync 将pg_twophase文件持久化到磁盘。在两阶段事务提交、两阶段事务恢复时发生。 TwophaseFileWrite 写入pg_twophase文件。在两阶段事务提交、两阶段事务恢复时发生。 WALBootstrapSync 将初始化的WAL文件持久化到磁盘。在数据库初始化发生。 WALBootstrapWrite 写入初始化的WAL文件。在数据库初始化发生。 WALCopyRead 读取已存在的WAL文件并进行复制时产生的读操作。在执行归档恢复完后发生。 WALCopySync 将复制的WAL文件持久化到磁盘。在执行归档恢复完后发生。 WALCopyWrite 读取已存在WAL文件并进行复制时产生的写操作。在执行归档恢复完后发生。 WALInitSync 将新初始化的WAL文件持久化磁盘。在日志回收或写日志时发生。 WALInitWrite 将新创建的WAL文件初始化为0。在日志回收或写日志时发生。 WALRead 从xlog日志读取数据。两阶段文件redo相关的操作产生。 WALSyncMethodAssign 将当前打开的所有WAL文件持久化到磁盘。 WALWrite 写入WAL文件。 WALBufferAccess WAL Buffer访问(出于性能考虑,内核代码里只统计访问次数,未统计其访问耗时)。 WALBufferFull WAL Buffer满时,写wal文件相关的处理。 DoubleWriteFileRead 双写 文件读取。 DoubleWriteFileSync 双写 文件强制刷盘。 DoubleWriteFileWrite 双写 文件写入。 PredoProcessPending 并行日志回放中当前记录回放等待其它记录回放完成。 PredoApply 并行日志回放中等待当前工作线程等待其他线程回放至本线程LSN。 DisableConnectFileRead HA锁分片逻辑文件读取。 DisableConnectFileSync HA锁分片逻辑文件强制刷盘。 DisableConnectFileWrite HA锁分片逻辑文件写入。 BufHashTableSearch 共享缓冲区hash表搜索(可能会触发页面淘汰)。 buffer_strategy_get 策略化缓冲区页面获取(可能会触发页面淘汰)。 UndoFileExtend undo文件扩展。 UndoFilePrefetch undo文件预取。 UndoFileRead undo文件读取。 UndoFileWrite undo文件写。 UndoFileSync undo文件刷盘。 UndoFileUnlink undo文件删除。 UndoMetaSync undo元数据文件刷盘。 DWSingleFlushGetPos 单页面双写文件查找可用位置。 DWSingleFlushWrite 单页面双写文件刷盘。 CkptWaitPageWriterFlush 执行全量checkpoint时等待刷页。 CkptWaitPageWriterSync checkpoint打点前等待有修改的文件同步进磁盘。 CkptWaitCommitTransactionFinish checkpoint打点前等待所有已经提交的事务提交完毕。 MPFL_INIT 初始化max_page_flush_lsn。 MPFL_READ 读取max_page_flush_lsn。 MPFL_WRITE 写max_page_flush_lsn。 OBSList 遍历OBS目录。 OBSRead 读取OBS对象。 OBSWrite 写入OBS对象。 LOGCTRL_SLEEP 等待备机回放追赶。 ShareStorageWalRead 共享盘读取日志文件。 ShareStorageWalWrite 共享盘写入日志文件。 ShareStorageCtlInfoRead 共享盘读取控制信息。 ShareStorageCtlInfoWrite 共享盘写入控制信息。 SegFileExtend 段页式文件扩展。 SegReadDisk 段页式文件读取。 SegWriteDisk 段页式文件写入。 SegSync 段页式文件刷盘。 SegFileShrink 段页式文件收缩。 当wait_status值为acquire lock(事务锁)时对应的wait_event等待事件类型与描述信息如下。 表5 事务锁等待事件列表 wait_event类型 类型描述 relation 对表加锁。 extend 对表扩展空间时加锁。 partition 对分区表加锁。 partition_seq 对分区表的分区加锁。 page 对表页面加锁。 tuple 对页面上的tuple加锁。 transactionid 对事务ID加锁。 virtualxid 对虚拟事务ID加锁。 object 加对象锁。 userlock 加用户锁。 advisory 加advisory锁。 filenode 对文件名加锁,控制文件级操作的并发顺序。 subtransactionid 对子事务号加锁。 tuple_uid 对元组uid隐藏字段加锁。 父主题: 其他系统视图
  • 如何将 API服务 上架到华为云商店上售卖? API服务上架到华为云商店,您需要按如下流程完成部署和配置: 完成API的创建、发布等工作 此部分操作在API网关服务中完成,您可以参考《API网关用户指南》。 其他相关操作包括“API分组”、“API管理”和“环境管理”等。 (可选)配置API的流量控制策略 流量控制主要用来限制单位时间内API的被调用次数,保护后端服务的稳定。 此部分操作在API网关服务中完成,您可以参考流量控制章节。 (可选)配置API的访问控制策略 访问控制主要用于禁止或仅允许某些账号/源访问IP的API调用。 此部分操作在API网关服务中完成,您可以参考访问控制章节。 在华为云商店中,入住卖家中心,将您的API开放售卖。 将API上架到华为云商店售卖。 此部分操作在华为云商店完成,您需要作为卖家入驻云商店,然后发布API商品。 专享版实例暂不支持将API上架到云商店公开售卖。 父主题: 其他
  • 迁移原理 Rump使用SCAN来获取keys,用DUMP/RESTORE来get/set值。 SCAN是一个时间复杂度O(1) 的命令,可以快速获得所有的key。DUMP/RESTORE使读/写值独立于关键工作。 以下是Rump的主要特性: 通过SCAN非阻塞式的获取key,避免KEYS命令造成Redis服务阻塞。 支持所有数据类型的迁移。 把SCAN和DUMP/RESTORE操作放在同一个管道中,利用pipeline提升数据迁移过程中的网络效率。 不使用任何临时文件,不占用磁盘空间。 使用带缓冲区的channels,提升源服务器的性能。
  • 迁移数据 执行如下命令迁移数据: rump -from {source_redis_address} -to {target_redis_address} {source_redis_address} 源Redis实例地址,格式为:redis://[user:password@]host:port/db,中括号部分为可选项,实例设置了密码访问时需要填写密码,格式遵循RFC 3986规范。注意用户名可为空,但冒号不能省略,例如redis://:mypassword@192.168.0.45:6379/1。 db为数据库编号,不传则默认为0。 {target_redis_address} 目标Redis实例地址,格式与from相同。 以下示例表示将本地Redis数据库的第0个DB的数据迁移到192.168.0.153这台Redis数据库中,其中密码以*替代显示。 [root@ecs ~]# ./rump -from redis://127.0.0.1:6379/0 -to redis://:******@192.168.0.153:6379/0 .Sync done. [root@ecs ~]#
  • 前提条件 如果您还没有目标Redis,请先创建目标Redis,具体操作请参考购买Redis实例。 如果您已有目标Redis,则不需要重复创建,为了对比迁移前后数据及预留足够的内存空间,建议在数据迁移之前清空目标实例数据,清空操作请参考清空Redis实例数据。如果没有清空实例数据,数据迁移后,目标Redis与源Redis实例重复的数据迁移后会被覆盖,源Redis没有、目标Redis有的数据会保留。 已创建弹性 云服务器ECS ,创建弹性云服务器的方法,请参见创建弹性云服务器。 ECS请选择与DCS Cluster集群实例相同虚拟私有云、子网和安全组,并且需要绑定弹性公网IP。