检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
DWS导入性能都和哪些因素有关联? dws的导入性能受多方面因素影响,主要有以下几点: 集群规格:磁盘io、网络吞吐、内存、cpu规格等。 业务规划:表字段的类型、是否压缩、行存还是列存。 数据存储:集群本地、OBS等。 数据导入的方式选择等。 父主题: 数据迁移
在左侧导航栏选择“监控 > 实时查询”,进入实时查询监控页面。 根据选择的指定时间段浏览集群中正在运行的所有查询信息。 单击指定实时查询监控的会话查询ID,进入该会话ID的实时查询的详情页面,在详情页面中会展示当前监控的详细内容。例如用户名称、数据库名称、执行时间、查询语句、查询状态、排队状态、
在创建集群之前,您需要创建VPC,为GaussDB(DWS) 服务提供一个安全、隔离的网络环境。 如果用户已有VPC,可重复使用,不需多次创建。 关于创建VPC的详细信息可以参考《虚拟私有云用户指南》中的创建虚拟私有云和子网章节。 操作步骤 登录管理控制台。 选择“网络 > 虚拟私有云”。 在“虚拟私有云”界面,单击“创建虚拟私有云”,创建虚拟私有云。
Table的方式,实现在多个集群之间的关联查询和用来导入数据。 使用场景 将数据从一个GaussDB(DWS)集群导入到另外一个GaussDB(DWS)集群中。 多个集群之间的关联查询。 注意事项 两个集群必须在同一个Region、一个AZ内且VPC网络互通。 创建的外表与其对应的远端表
查看快照信息 用户创建快照后,可以在“快照管理”页面查看集群快照的信息。 查看快照信息 登录GaussDB(DWS) 管理控制台。 在左侧导航栏中,选择“管理 > 快照管理”。 在快照列表中,默认显示用户所有的快照。 在快照列表中,查看快照的“快照名称”、“快照状态”、“集群名称
查看GUC参数 GaussDB(DWS)的GUC参数影响数据库的系统行为,用户可根据业务场景和数据量查看并调整GUC参数取值。 查看GUC参数方式一:集群创建成功后,用户可在GaussDB(DWS) 管理控制台上查看常用的数据库参数。 查看GUC参数方式二:成功连接集群后,通过SQL命令的方式查看数据库GUC参数。
查看GUC参数 GaussDB(DWS)的GUC参数影响数据库的系统行为,用户可根据业务场景和数据量查看并调整GUC参数取值。 查看GUC参数方式一:集群创建成功后,用户可在GaussDB(DWS) 管理控制台上查看常用的数据库参数。 查看GUC参数方式二:成功连接集群后,通过SQL命令的方式查看数据库GUC参数。
Partitioning)仅8.1.3及以上集群版本支持。 分区的优势 某些类型的查询性能可以得到极大提升,特别是表中访问率较高的行位于一个单独分区或少数几个分区上的情况下。分区可以减少数据的搜索空间,提高数据访问效率。 当查询或更新一个分区的大部分记录时,连续扫描对应分区而不是访问整个表可以获得巨大的性能提升。
当管道文件导入导出场景并发较大时,该值应不低于业务并发数。 -s status_file 设置状态文件,仅支持linux系统。 -D 后台运行gds,仅支持linux系统。 -r 递归遍历目录(外表目录下的子目录)下文件,仅支持linux系统。 -h 显示帮助信息。 --enable-ssl 使用SSL认证的方式与集群通信。
将获取的TPC-H工具上传到ECS的/data1/script/tpch-kit目录执行以下命令解压。 “tpch_3.0.1.zip”替换为实际的软件包名。 cd /data1/script/tpch-kit && unzip tpch_v3.0.1.zip 执行如下命令编译生成数据构建工具dbgen。
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
集群的性能和运行状况。当您发现监控指标存在异常时,可以通过查看集群监控指标排查出现异常的原因。具体查看方法可参考“在监控面板(DMS)查看GaussDB(DWS)集群监控”章节。 如果需要更多的计算资源或存储资源以满足业务需要时,可以在管理控制台对已有集群,进行规格变更或扩容操作
集群的性能和运行状况。当您发现监控指标存在异常时,可以通过查看集群监控指标排查出现异常的原因。具体查看方法可参考“在监控面板(DMS)查看GaussDB(DWS)集群监控”章节。 如果需要更多的计算资源或存储资源以满足业务需要时,可以在管理控制台对已有集群,进行规格变更或扩容操作
登录MRS管理控制台。 选择“集群列表 > 现有集群”,单击要查看的集群名称,进入集群基本信息页面。 单击“文件管理”,选择“HDFS文件列表”。 进入您要导入到GaussDB(DWS)集群的数据的存储目录,并记录其路径。 图1 在MRS上查看数据存储路径 创建外表。 SERVER名字填写10
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
在GaussDB(DWS)上,创建外表tpcds.customer_address_ext用于接收数据服务器上的数据。 假设OBS数据服务器与集群网络连接正常,OBS数据服务器IP为xxx.xxx.x.xx,数据源文件格式为CSV,规划的并行导入与示例保持一致。 其中设置的导入信息如下所示:
之间stream数量大约为600~700,当批量任务运行时如果有临时查询,就会超过上限,导致上述报错。 分析过程 GUC参数comm_max_stream表示任意两个DN之间stream的最大数量。 在CN上查询当前任意两个DN之间stream情况: 1 SELECT node_name
默认显示driver_name和driver_version,driver_path和os_user的显示由用户控制(参见连接数据库和Linux下配置数据源)。 父主题: 连接和认证
查看数据倾斜状态 操作场景 数据倾斜会造成查询表性能下降。对于记录数超过千万条的表,建议在执行全量数据导入前,先导入部分数据,以进行数据倾斜检查和调整分布列,避免导入大量数据后发现数据倾斜,调整成本高。 背景信息 GaussDB(DWS)是采用Shared-nothing架构的MPP(Massive
查看运维任务 登录GaussDB(DWS)管理控制台。 在集群列表中单击指定集群名称。 进入“集群详情”页面,切换至“智能运维”页签。 在运维详情部分切换至运维状态模块。 单击指定运维任务名称旁箭头,将显示运维任务运行的详细信息。 运维任务:Vacuum 状态:等待中、运行中、已完成、失败。