检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
软解析次数(缓存计划)。 n_hard_parse bigint 硬解析次数(生成计划)。 db_time bigint 有效的DB执行时间,包含等待时间、网络发送时间等,若查询执行涉及到多线程,DB_TIME是多个线程的DB_TIME之和(单位:微秒)。 cpu_time bigint CPU的
先选择其他方法。 enable_broadcast=on 控制查询优化器对于broadcast广播模式数据传输的使用。此方式网络传输数据量较大,因此当网络传输节点(Stream)实际数据量较大而估算不准时,可以将该参数设置为off,看性能是否有提升。 rewrite_rule 控制优化器是否启用特定组合的重写规则。
图,用户可根据需求单击“添加监控视图”按钮添加。监控指标如下所示: 集群维度的监控指标:CPU使用率、内存使用率、磁盘使用率、磁盘I/O、网络I/O、状态、CN异常数量、只读、会话数量、活跃会话数、死锁数量、DN异常数量、DN实例CPU使用率、平均每秒事务数、平均每秒查询数、容量
面,您可以对安全组进行设置。 安全组的配置操作需联系组织安全保密管理员执行。 集群更换安全组过程中有短暂的业务中断,请谨慎操作。为了更好的网络性能,选择安全组时不要多于5个。 父主题: 产品咨询
步助力企业降本增效。 存算分离集群具有以下优势: 湖仓一体:提供简单、易维护的湖仓一体体验,无缝对接DLI,支持元数据自动导入、外部表查询加速、内外表关联查询,支持数据湖格式读写,简化数据入湖入仓。 实时写入:提供H-Store存储引擎,对实时写入场景进行了设计优化,支持高吞吐实时写入与更新,同时支持大批量写入场景。
触发因素:行存表max值逐个scan符合条件的值来计算max,当scan的数据量很大时,会持续消耗I/O。 解决办法:给max列增加索引,凭借btree索引数据有序存储的特征,加速扫描过程,降低I/O消耗。 场景8:大量数据带索引导入 某业务场景数据往DWS同步时,延迟严重,集群整体I/O压力大。 后台查看等待视图有大量wait
集群节点的数量。支持的节点数范围为3~256。 图2 数据仓库配置 单击“下一步:网络配置”。 参见表4进行网络配置。 表4 网络配置 参数 示例 说明 虚拟私有云 vpc-default GaussDB(DWS)所在的虚拟私有云网络。 子网 subnet-default(192.168.0.0/24)
减少扫描数据量。通过分区的剪枝机制可以实现该点。 尽量减少随机IO。通过聚簇/局部聚簇可以实现该点。 尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布
可通过几个表测试,监控资源利用率,根据结果提高或减少并发量。常用资源监控命令有:内存和CPU监控top命令,I/O监控命令iostat,网络监控命令sar等。相关案例请参见多线程导出。 任务示例 示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。
参数说明:在查询包含OBS时,通过该参数决定查询是否通过计算资源池进行加速。 参数类型:USERSET 取值范围:布尔型 on表示包含有OBS的查询在计算资源池可用时,会根据代价评估决定是否通过计算资源池对查询加速。 off表示任何查询都不会通过计算资源池进行加速。 默认值:off behavior_compat_options
助您安全地控制云资源的访问。通过IAM,您可以在云账号中给员工创建IAM用户,并授权控制他们对云资源的访问范围。 场景一:您的员工中有负责软件开发的人员,您希望他们拥有GaussDB(DWS)的使用权限,但是不希望他们拥有删除集群等高危操作的权限,那么您可以使用IAM为开发人员创
减少扫描数据量。通过分区的剪枝机制可以实现该点。 尽量减少随机IO。通过聚簇/局部聚簇可以实现该点。 尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布
internal-privateIp -- WRITE_PARTITION_POLICY=DN时如果客户端程序和dws集群网络不在同一网络(内部通信网络),通过此参数配置网络ip映射格式为:内部IP:外部IP多个使用;分割。 - TIMEOUT_TASK dws.client.timeout
1分钟 dws013_bytes_in 网络输入吞吐量 该指标用于统计每秒从网络输入每个集群节点的数据总量。 单位:字节/秒 ≥ 0字节/秒 数据仓库节点 1分钟 dws014_bytes_out 网络输出吞吐量 该指标用于统计从每个节点每秒发送到网络的数据总量。 单位:字节/秒 ≥ 0字节/秒
被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。 通过PL/pgSQL,可以将一整块计算和一系列查询分组在数据库服务器内部,这样就有了一种过程语言的能力并且使SQL更易用,同时能节省的客户端/服务器通信开销。
被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。 通过PL/pgSQL,可以将一整块计算和一系列查询分组在数据库服务器内部,这样就有了一种过程语言的能力并且使SQL更易用,同时能节省的客户端/服务器通信开销。
创建MRS集群 登录华为云控制台,选择“大数据 > MapReduce服务”。 单击“购买集群”,选择“自定义购买”。 填写软件配置参数,单击“下一步”。 表2 软件配置 参数项 取值 区域 华北-北京四 集群名称 mrs_01 版本类型 普通版 集群版本 MRS 3.1.3(主推) 说明:
String 指定子网ID,用于集群网络配置。默认值与原集群相同。 security_group_id 否 String 指定安全组ID,用于集群网络配置。默认值与原集群相同。 vpc_id 否 String 指定虚拟私有云ID,用于集群网络配置。默认值与原集群相同。 availability_zone
集群的所有DN节点上,因此每次数据表操作都可能会涉及所有DN节点,导致网络压力增大和系统资源大量消耗,仅通过扩大集群规模也很难解决,GaussDB(DWS)建议用户划分多个逻辑集群来解决业务数量扩大带来的网络压力和资源消耗问题。 通过划分独立的逻辑集群,将新增的业务分配到独立的逻
【关注】尽量避免数据shuffle。shuffle是指在物理上,数据从一个节点传输到另一个节点。shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。