检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ORC表作为示例,完成上述准备工作。在MRS集群上创建Spark ORC表的大致流程和SQL语法,同Hive类似,在本文中不再展开描述。 数据文件 假设有数据文件product_info.txt,示例数据如下所示: 100,XHDK-A-1293-#fJ3,2017-09-01,A,2017
input folder. Hence stopping migration. 原因:迁移过程中输入的文件夹中不存在有效SQL文件。 解决方案:确保要迁移的SQL文件存在输入的文件夹中。 有关详情,请参见迁移流程。 Migration Application failed to start
data after last expected column" SQLSTATE: 22P04 错误原因:数据文件中的列的个数超过表中列的个数。 解决办法:检查数据文件列的个数与表定义是否一致。 GAUSS-00998: "%s" SQLSTATE: 42000 错误原因:语法错误。
即使用Hive/Spark组件保存。Hive/Spark的数据文件则保存在HDFS中。GaussDB(DWS)支持在相同网络中,配置一个GaussDB(DWS)集群连接到一个MRS集群,然后将数据从HDFS中的文件读取到GaussDB(DWS)。 确保MRS跟DWS网络互联互通,主要分以下几种场景:
文本搜索类型 GaussDB(DWS)提供了tsvector和tsquery两种数据类型用于支持全文检索。tsvector类型表示为文本搜索优化的文件格式,tsquery类型表示文本查询。 tsvector tsvector类型表示一个检索单元,通常是一个数据库表中的一行文本字段或者这些字段的组合。
文本搜索类型 GaussDB(DWS)提供了tsvector和tsquery两种数据类型用于支持全文检索。tsvector类型表示为文本搜索优化的文件格式,tsquery类型表示文本查询。 tsvector tsvector类型表示一个检索单元,通常是一个数据库表中的一行文本字段或者这些字段的组合。
Service),一款运行在Linux操作系统的命令行工具,通过和外表机制的配合,实现数据的高速导入导出。GDS工具包需要安装在数据源文件所在的服务器上,数据源文件所在的服务器称为数据服务器,也叫GDS服务器。 DSC DSC(Database Schema Convertor),是一款运
HDFS配置文件路径。GaussDB(DWS)会根据配置文件路径下的HDFS配置文件指定的连接配置方式,以及安全模式,来访问HDFS集群。非安全模式连接HDFS集群时,不支持数据传输加密。 如果没有指定address选项,默认采用hdfscfgpath指定的配置文件中指定的address。
集群性能分析 GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增
错误原因:Ispell dictionary仅支持default标志。 解决办法:查看Ispell dictionary的配置文件affix,将flag配置项的值设置为default。配置文件affix位于目录$GAUSSHOME/share/postgresql/tsearch_data/下。 GAUSS-03976:
foreign_table_name 需要分析的特定外表的表名(可能会带模式名),该表的数据存放于HDFS分布式文件系统中。 取值范围:已有的表名。 FOREIGN TABLES 分析所有当前用户权限下,数据位于HDFS分布式文件系统中的HDFS外表。 index_name 需要分析的特定索引表的表名(可能会带模式名)。
0的整数倍,即设置值以秒为最小单位。该参数所控制的性能日志文件以prf为扩展名,文件放置在$GAUSSLOG/gs_profile/<node_name> 目录下面,其中node_name是由postgres.conf文件中的pgxc_node_name的值,不建议外部使用该参数。
DWS_2000000027 DWS集群节点实例内存使用率超阈值 告警解释 GaussDB(DWS)每60秒采集集群各节点的实例内存使用率。如果某节点的实例内存使用率超过90%(可配置),则上报节点实例内存使用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。
集群性能分析 GaussDB(DWS)不同集群规格的CPU核数、内存大小和节点存储容量不同,处理业务能力和性能也就不同,用户在创建集群前需要结合实际业务量和具体使用场景来选择集群规格。 在使用集群过程中,当用户的业务量过大,则需要更多的资源(CPU、内存、网络带宽等)来支撑逐渐增
DWS_2000000028 DWS集群节点动态内存使用率超阈值 告警解释 GaussDB(DWS)每60秒采集集群各节点的动态内存使用率。如果某节点的动态内存使用率超过90%(可配置),则上报节点动态内存使用率超阈值告警;如果平均使用率低于85%(即上报阈值减去5%),则消除告警。
时请确保已了解对应参数对数据库的影响,否则可能会导致无法预料的结果。 注意事项 参数中如果取值范围为字符串,此字符串应遵循操作系统的路径和文件名命名规则。 取值范围最大值为INT_MAX的参数,此选项最大值跟所在的操作系统有关。 取值范围最大值为DBL_MAX的参数,此选项最大值跟所在的操作系统有关。
执行加密命令对源端/目标端数据库登录密码进行加密。 配置dbinfo.properties文件,包含源数据库和目标数据库的相关连接信息以及函数开关信息。 编辑check_input.xlsx文件,输入schema、源数据库表名和dws表名以及校验级别等参数。 执行DataCheck
缺省版本名,如果没有指定则为NULL。 installed_version text 当前安装的扩展版本,如果未安装则为NULL。 comment text 扩展控制文件的注释字符串。 父主题: 系统视图
standby's" SQLSTATE: XX000 错误原因:从备上存在Xlog日志段文件,但是其CRC与备机日志的CRC不一致。 解决办法:修复原主机,如果原主机无法修复,并且需要备机强制升主,删除从备Xlog文件后对备机进行failover。 父主题: GAUSS-04401 -- GAUSS-04500
GaussDB(DWS)集群运维 在监控面板(DMS)查看GaussDB(DWS)集群监控 在Cloud Eye查看GaussDB(DWS)集群监控 监控并诊断GaussDB(DWS)集群TopSQL 查看GaussDB(DWS)集群告警 查看并订阅GaussDB(DWS)集群事件