检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
导出ORC数据到OBS 规划导出数据 创建外部服务器 创建外表 执行导出 父主题: 导出数据到OBS
关于OBS并行导入 对象存储服务OBS(Object Storage Service)是云上提供的一个基于对象的海量存储服务,为客户提供安全、高可靠、低成本的数据存储能力。OBS为用户提供了超大存储容量的能力,适合存放任意类型的文件。 数据仓库服务GaussDB(DWS)使用OB
关于OBS并行导出 概述 GaussDB(DWS)数据库支持通过OBS外表并行导出数据:通过OBS外表设置的导出模式、导出数据格式等信息来指定导出的数据文件,利用多DN并行的方式,将数据从GaussDB(DWS)数据库导出到外部,存放在OBS对象存储服务器上,从而提高整体导出性能。
USER_JOBS USER_JOBS视图为当前用户所属定时任务的详细信息。需要有系统管理员权限才可以访问此系统视图。 表1 USER_JOBS字段 名字 类型 描述 job int4 作业ID。 log_user name not null 创建者的UserName。 priv_user
GS_OBS_READ_TRAFFIC GS_OBS_READ_TRAFFIC视图,统计OBS读流量和平均读带宽,统计结果按10分钟聚集。该视图仅8.2.0及以上集群版本支持。 名称 类型 描述 nodename TEXT 集群节点。 hostname TEXT 主机节点。 traffic_mb
将集群B的域信息添加到集群A配置文件domain_realm中。 示例: [domain_realm] .cluster.a.com = CLUSTER.A.COM .cluster.b.com = CLUSTER.B.COM 将合并后的krb5.conf配置文件更新到各集群各个节点原路径下替换原krb5
PG_TS_CONFIG_MAP PG_TS_CONFIG_MAP系统表包含为每个文本搜索配置的解析器的每种输出符号类型,显示有哪些文本搜索字典可供查询以及以哪种顺序搜索。 表1 PG_TS_CONFIG_MAP字段 名字 类型 引用 描述 mapcfg oid PG_TS_CONFIG
拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见如何配置路由规则章节,配置安全组规则请参见如何配置安全组规则章节。 必须确保该云服务的实例与集群所属的企业项目必须一致,如果不同,需要修改工作空间的企业项目。
取值范围30~1200的整数。 资源管理(逻辑集群模式) 注意事项 在从物理集群转换为逻辑集群的过程中,原有的资源池配置将会被清除。转为逻辑集群后若如果需要配置资源池,请重新添加。 操作步骤 登录GaussDB(DWS) 管理控制台,在左侧导航栏中,选择“集群 > 专属集群”。
ROUNDROBIN表 GaussDB(DWS)支持建立roundrobin表,根据实际需要设置表1中的参数table.type进行配置。设置table.type=ROUND-ROBIN。 输入示例 1 2 3 4 5 CREATE TABLE charge_snapshot (
修改参数。也可以查看历史参数修改记录,详情请参见查看参数修改历史。单击“导出”按钮可导出集群相关参数配置。如需查看或设置其他数据库参数,您可以通过SQL命令的方式,详情请参见配置GUC参数。 前提条件 只有当集群无运行中的任务时,才能修改参数。 修改参数 登录GaussDB(DWS)管理控制台。
ussDB(DWS)支持用户自定义配置多种异常规则,系统会自动对满足异常规则的作业执行终止/降级操作,维持系统的稳定性。用户可以通过SQL语法配置符合集群资源情况以及业务情况的异常规则组合,关联到资源池即可对相应资源池中的作业生效。如果用户未配置自定义规则,系统支持默认异常规则来保证资源极限情况下系统的稳定性。
内存使用率。如果某节点的实例内存使用率超过90%(可配置),则上报节点实例内存使用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。 如果节点实例内存的平均使用率一直大于上报阈值,那么在24小时(可配置)后将再次发起告警。 告警属性 告警ID 告警归属 告警级别
如果需要显示“mean_tps”数值中小数点前的0,需要在behavior_compat_options参数中设置display_leading_zero(浮点数显示配置项)。 再执行查询视图语句“select * from pgxc_obs_io_scheduler_periodic_stats;” 显示结果如下:
PG_TS_CONFIG_MAP PG_TS_CONFIG_MAP系统表包含为每个文本搜索配置的解析器的每种输出符号类型,显示有哪些文本搜索字典可供查询以及以哪种顺序搜索。 表1 PG_TS_CONFIG_MAP字段 名字 类型 引用 描述 mapcfg oid PG_TS_CONFIG
flink框架区分connector参数,固定为dws。 - url 数据库连接地址。 - username 配置连接用户。 - password 配置密码。 - tableName 对应dws表。 - 表2 连接配置 参数 说明 默认值 connectionSize 初始dws-client时的并发数量。
创建外部服务器。 例如,执行以下命令创建外部服务器“obs_server”: 认证用的AK和SK硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。 1 2 3 4 5 6 7 8 CREATE SERVER obs_server FOREIGN
理? 检查原因 基本原因可能有以下几种: 集群状态是否正常。 连接命令是否正确,用户名、密码、IP地址或端口无误。 安装客户端的操作系统类型、版本是否正确。 安装客户端的操作是否正确。 如果是在公有云环境无法连接,还需要检查以下可能导致异常的原因: 弹性云服务器是否与集群在相同可用分区、虚拟私有云、子网和安全组。
数据库系统参数调优 为了保证数据库尽可能高性能地运行,建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory
数据库系统参数调优 为了保证数据库尽可能高性能地运行,建议依据资源情况和业务实际进行数据库系统GUC参数的设置。本章节旨在介绍一些常用参数以及推荐配置,关于参数的详细设置方法请参考设置GUC参数。 数据库内存相关参数 表1 数据库内存相关参数 GUC参数 描述 建议 max_process_memory