检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导致双方性能同时劣化。 方案建议: GDS服务单独使用服务器部署在DWS集群外。 GDS所在服务器的磁盘能力、GDS服务器与DWS集群间网络带宽都要按需规划。 规则4.2 避免同时对多个协同分析外表进行跨集群并发访问 原理说明:在A集群通过协同分析访问B集群数据时,A集群所有DN会与B集群CN建立连接和活跃会话。
GDS实践指南 安装GDS前必须确认GDS所在服务器环境的系统参数是否和数据库集群的系统参数一致。 GDS与GaussDB(DWS)通信要求物理网络畅通,尽量使用万兆网。因为千兆网无法承载高速的数据传输压力,极易出现断连,使用千兆网时GaussDB(DWS)无法提供通信保障。满足万兆网
了DN,释放了CN的资源,使其有能力处理其他外部请求。 所有DN都参与数据导入,这样可以充分利用各设备的计算能力及网络带宽,提升导入效率。 外表灵活的OPTION设置,有利于在数据入库前对数据做预处理,例如非法字符替换、容错处理等。 图1 数据并行导入示意图 上图中所涉及的相关概念说明如下:
准)。 将JRE的PATH设置在原来的PATH后面,规避本地越权问题(PATH=$PATH:$JAVA_HOME/bin)。 系统资源加固:GaussDB(DWS)在底层虚拟机已预置了安全相关参数,确保ECS/BMS底层的OS安全环境。 数据库与外部网络隔离 GaussDB(DW
查询到max_active_statements为80,则阈值设置为80*70%=56。 设置方法: 在DWS管理控制台,选择“专属集群 > 集群列表”。 单击集群所在行右侧的“查看监控指标”,进入云监控服务界面。 单击左上角,单击集群名称所在行右侧“创建告警规则”。 “选择类
gds_check用于对GDS部署环境进行检查,包括操作系统参数、网络环境、磁盘占用情况等,也支持对可修复系统参数的修复校正,有助于在部署运行GDS时提前发现潜在问题,提高执行成功率。 注意事项 执行脚本前需设置环境变量,可参考《开发指南》中“导入数据>通过外表并行导入>安装配置和启动GDS”章节。
配置DWS数据源连接 参见创建CDM集群先完成CDM集群创建并绑定弹性IP。 确保CDM集群与DWS集群在同一个区域、虚拟私有云下,以保证网络互通。 在CDM管理控制台的“集群管理”页面,单击集群操作列的“作业管理”,选择“连接管理 > 新建连接”。 连接器类型选择“数据仓库服务(DWS)”,单击“下一步”。
可通过几个表测试,监控资源利用率,根据结果提高或减少并发量。常用资源监控命令有:内存和CPU监控top命令,I/O监控命令iostat,网络监控命令sar等。相关案例请参见多线程导出。 任务示例 示例1:将表reason的数据通过外表foreign_tpcds_reasons导出到数据文件中。
部请求。 每个DN都参与数据导出,使各个设备的计算能力及网络带宽得到充分利用。 支持多个hdfs server并发导出,导出的路径可以为空,命名规则需与导出文件一致。 选择MRS服务与集群节点处于联网状态,导出速率会受网络带宽影响。 支持数据文件格式:ORC。 导出文件命名规则
0;默认值:5。 设置是否将以保存数据加密为自动保存结果。 设置导入表数据显示和导入文件数据限制。 结果管理 查询结果 设置结果获取量:获取所有结果或指定数量的记录。 设置列宽。 内容长度:根据列的内容长度设置列的宽度。 自定义长度:根据网络模式下的取值长度设置列的最小宽度,单位为像素。
如何查看和设置GaussDB(DWS)数据库的字符集编码格式 查看数据库字符集编码 使用server_encoding参数查看当前数据库的字符集编码。例如,查看到数据库music的字符集编码为UTF8。 1 2 3 4 5 music=> SHOW server_encoding;
controlled. 解决方案:请设置hashjoin_spill_strategy为0-2。 level: ERROR GS_232050001 错误码: LZ4 decompress failed when deserializing message. 解决方案:请确认网络接收到的数据是否正确。
教程:设置只读逻辑集群并绑定用户 场景介绍 如果在不同时段内业务流量差异非常大,3节点集群又无法满足高峰期的吞吐量要求,但扩容至6节点又存在资源浪费或费用较高问题。用户可通过本章教程再结合弹性增删逻辑集群功能,实现类似于“晚上低峰期3节点,白天6节点,高峰期9节点”的弹性扩展功能。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
的流量总和。 参数类型:USERSET 参数建议保持默认设置,即禁用重协商机制。不建议通过gs_guc工具或其他方式直接在postgresql.conf文件中设置ssl_renegotiation_limit参数,即使设置也不会生效。 取值范围:整型,0~INT_MAX,单位为KB。其中0表示禁用重新协商机制。
讲解设置的导入外表参数信息。 其中设置的导入模式信息如下所示: 导入模式为Normal模式。 由于启动GDS时,设置的数据源文件存放目录为“/input_data/”,GDS监听端口为5000,实际存放数据源文件目录为“/input_data/import1/”,所以设置参数“
ns用于接收数据服务器上的数据。 其中设置的导出模式信息如下所示: 由于启动GDS时,设置的导出数据文件存放目录为“/output_data/”,GDS监听端口为5000。创建的导出数据文件存放目录为“/output_data/”。所以设置参数“location”为“gsfs://192
错误原因:连接host失败。 解决办法:请检查网络连接。 GAUSS-53501: "Undefined action.""Connection timeout." SQLSTATE: 无 错误原因:网络连接失败或函数执行超时。 解决办法:请检查网络连接与磁盘剩余空间。 GAUSS-53502:
data1/data/ ”,设置tpcds.customer_address_ext2参数“location”为“ obs://input-data2/data/”。 设置的数据格式信息是根据表从数据库导出时需要的详细数据格式参数信息指定的,参数设置如下所示: 数据源文件格式(format)为“CSV”。
专属集群”页面重置密码,重置密码后账号即可自动解锁。输错密码的次数上限默认为10次,可以在集群的“参数修改”页面通过参数failed_login_attempts进行设置,设置方法请参见修改GaussDB(DWS)集群GUC参数。 重置密码 登录GaussDB(DWS)管理控制台。 单击“集群 > 专属集群”。