检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
减少扫描数据量。通过分区的剪枝机制可以实现该点。 尽量减少随机IO。通过聚簇/局部聚簇可以实现该点。 尽量避免数据shuffle,减小网络压力。通过选择join-condition或者group by列为分布列可以最大程度的实现这点。 从上述描述来看表定义中最重要的一点是分布
1分钟 dws013_bytes_in 网络输入吞吐量 该指标用于统计每秒从网络输入每个集群节点的数据总量。 单位:字节/秒 ≥ 0字节/秒 数据仓库节点 1分钟 dws014_bytes_out 网络输出吞吐量 该指标用于统计从每个节点每秒发送到网络的数据总量。 单位:字节/秒 ≥ 0字节/秒
except_rule text 资源池关联的异常规则,支持关联多个异常规则,异常规则间用逗号分隔。 weight integer 资源调度权重,目前仅用于网络调度。 父主题: 系统表
except_rule text 资源池关联的异常规则,支持关联多个异常规则,异常规则间用逗号分隔。 weight integer 资源调度权重,目前仅用于网络调度。 父主题: 系统表
16xlarge.ki1.dec 64 228 ARM ECS/本地直通 单击“下一步:网络配置”。 配置网络。 表3 网络参数说明 参数名 参数解释 样例值 虚拟私有云 指定集群节点使用的虚拟专用网络,实现不同业务的网络隔离。 首次创建数据仓库集群时,如果未配置过虚拟私有云,可以单击“查看虚拟
被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。 通过PL/pgSQL,可以将一整块计算和一系列查询分组在数据库服务器内部,这样就有了一种过程语言的能力并且使SQL更易用,同时能节省的客户端/服务器通信开销。
被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。 通过PL/pgSQL,可以将一整块计算和一系列查询分组在数据库服务器内部,这样就有了一种过程语言的能力并且使SQL更易用,同时能节省的客户端/服务器通信开销。
被处理、接收并处理结果、做一些计算,然后发送更多查询给服务器。如果客户端和数据库服务器不在同一台机器上,所有这些会引起进程间通信并且将带来网络负担。 通过PL/pgSQL,可以将一整块计算和一系列查询分组在数据库服务器内部,这样就有了一种过程语言的能力并且使SQL更易用,同时能节省的客户端/服务器通信开销。
【关注】尽量避免数据shuffle。shuffle是指在物理上,数据从一个节点传输到另一个节点。shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。
【关注】尽量避免数据shuffle。shuffle是指在物理上,数据从一个节点传输到另一个节点。shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。
服务在同一个区域内,例如华北-北京四。 确保Kafka、DLI、DWS网络互通。本实践将Kafka和DWS创建在同一个区域和虚拟私有云下,同时在Kafka和DWS的安全组中放通了DLI的队列所在网段,确保网络互通。 为确保DLI到DWS的连接链路稳定,请创建完DWS集群后为集群绑定ELB服务。
【关注】尽量避免数据shuffle。shuffle是指在物理上,数据从一个节点传输到另一个节点。shuffle占用了大量宝贵的网络资源,减小不必要的数据shuffle,可以减少网络压力,使数据的处理本地化,提高集群的性能和可支持的并发度。通过对关联条件和分组条件的仔细设计,能够尽可能的减少不必要的数据shuffle。
不支持手动删除)。快照会占用用户购买使用的OBS配额。 Project Project用于将OpenStack的资源(计算资源、存储资源和网络资源)进行分组和隔离。Project可以是一个部门或者一个项目组。一个账户中可以创建多个Project。 GaussDB(DWS)的数据库概念
说明: 如规格售罄,可选择其他可用区或规格。 热数据存储 100GB / 节点 节点数量 3 信息核对无误,单击“下一步:网络配置”,参见表3进行网络配置。 表3 网络配置 参数名称 配置方式 虚拟私有云 vpc-default 子网 subnet-default(192.168.0.0/24)
集群的所有DN节点上,因此每次数据表操作都可能会涉及所有DN节点,导致网络压力增大和系统资源大量消耗,仅通过扩大集群规模也很难解决,GaussDB(DWS)建议用户划分多个逻辑集群来解决业务数量扩大带来的网络压力和资源消耗问题。 通过划分独立的逻辑集群,将新增的业务分配到独立的逻
%s:%d, %s. Detail: %s" SQLSTATE:XX000 错误原因:无法连接上对端的DN。 解决办法:检查是否有节点故障或者网络连接是否正常。 GAUSS-04339: "pooler: Failed to reset agent!" SQLSTATE: XX000
backup" SQLSTATE: XX000 错误原因:处理重建命令过程中,主备之间连接中断,发送文件失败。 解决办法:恢复主备机节点间的网络。 GAUSS-01980: "could not close log file %u, segment %u: %m" SQLSTATE:
level: ERROR GS_101130105 错误码: Tuple does not match the descriptor. 解决方案:从网络接收到的数据不正确。 level: ERROR GS_101140135 错误码: partitioned table does not support
memsize 作业执行使用的最大内存大小,单位:MB。 取值范围:数值型,-1,1~INT64_MAX。 bandwidth 作业执行可使用的最大网络带宽,单位:MB。 取值范围:数值型,-1,1~INT64_MAX。 示例 修改异常规则except_rule1的blocktime规则阈
io_priority 该参数8.1.2集群版本中已废弃,为兼容历史版本保留该参数。 except_rule 异常规则集。 weight 资源池网络带宽权重。 示例 修改一个资源池,其控制组指定为"DefaultClass"组下属的"High" Timeshare Workload控制组: