检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户可以在MRS上查看、清除告警。一般情况下,告警处理后,系统自动清除该条告警记录。当告警不具备自动清除功能且用户已确认该告警对系统无影响时,可手动清除告警。在MRS界面可查看最近十万条告警(包括未清除的、手动清除的和自动清除的告警)。如果已清除告警超过十万条达到十一万条,系统自动将最早的一万条已清除告警转存,转存路径为:
Sqoop常见问题 报错找不到QueryProvider类 使用hcatalog方式同步数据,报错getHiveClient方法不存在 连接postgresql或者gaussdb时报错 使用hive-table方式同步数据到obs上的hive表报错 使用hive-table方式同步数据到orc表或者parquet表失败
在左侧导航栏单击编辑器,然后选择“Hive”。 在“Database”右侧下拉列表选择一个Hive中的数据库,默认数据库为“default”。 系统将自动显示数据库中的所有表。可以输入表名关键字,系统会自动搜索包含此关键字的全部表。 单击指定的表名,可以显示表中所有的列。 在HiveQL语句编辑区输入HiveQL语句。
jdbc.sqlserver.SQLServerDriver mysql:com.mysql.jdbc.Driver postgresql:org.postgresql.Driver gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串
sqlserver.jdbc.SQLServerDriver mysql:com.mysql.jdbc.Driver postgresql:org.postgresql.Driver gaussdb200:com.huawei.gauss200.jdbc.Driver JDBC连接字符串
中,有不同的副本数。本特性可以手工设置HDFS目录的存储策略,或者根据HDSF文件最近访问时间和最近修改时间,自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件,以便充分利用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性
登录RDS管理控制台,购买RDS实例,具体操作请参考购买实例。 为了保证集群和MySQL或PostgreSQL数据库的网络访问,建议该实例与MRS集群的虚拟私有云和子网一致。 RDS实例的安全组入方向规则需要放通MySQL(默认为“3306”)和PostgreSQL(默认为“5432”)数据库端口。 例如,可通过在R
观察当前告警用户的实时连接数情况,确认当前用户的实时监控数据是否存在。 是,执行4。 否,说明当前用户已经断开所有连接,则手动清除告警,操作结束。 当告警用户断开所有连接之后,该用户的监控数据会消失,此时无法自动清除告警,需要手动清除。 确认该告警的用户是否为业务侧允许的合法用户。 是,执行7。 否,执行5。
表名; 默认元数据库冻结分区类型只支持int、string、varchar、date、timestamp类型。 外置元数据库只支持PostgreSQL数据库,且冻结分区类型只支持int、string、varchar、timestamp类型。 对冻结后的表进行Msck元数据修复时,
配置完成后,在CDL WebUI界面创建从Oracle(ogg)抓取数据到Hudi任务并启动即可收到心跳数据。 配置从Postgresql抓取数据到Hudi任务的心跳表 在需要同步的Postgresql数据库下执行以下命令创建一张心跳表,心跳表归属cdc_cdl Schema,表名为cdc_hear
费,服务将在到期后自动停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
把主节点/srv/BigData/dbdata_service/data的内容拷贝到备节点,保持文件权限和属组与主节点一样。 修改postgresql.conf配置信息,localhost修改成本节点IP,remotehost修改成对端节点IP。 登录Manager页面重启备DBServer节点。
阈值,则触发告警。 当发出告警的目录的子目录/文件数所占百分比低于阈值后,该告警将自动恢复。当监控开关关闭,所有目录对应的该告警都将自动恢复。当从监控列表中移除指定目录时,该目录对应的告警也会自动恢复。 HDFS目录的子文件/目录最大个数由参数“dfs.namenode.fs-limits
当part数量超过阈值part_num_threshold时,系统上报此告警。 当part数量低于阈值part_num_threshold时,告警自动消除。 告警属性 告警ID 告警级别 是否可自动清除 45437 次要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称 服务名 产生告警的服务名称
it/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表
to open a test connection to the given database. JDBC url = jdbc:postgresql://ip:port/sparkhivemeta, username = spark. Terminating connection
测到有SQL的执行时间大于等于慢SQL阈值时,系统产生此告警。 当系统检测到SQL执行时间小于慢SQL阈值时,告警自动清除。 告警属性 告警ID 告警级别 是否可自动清除 45443 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。
it/zookeeper/quorumpeer”(审计日志) 日志归档规则:ZooKeeper的日志启动了自动压缩归档功能,缺省情况下,当日志大小超过30MB的时候,会自动压缩。最多保留20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 ZooKeeper日志列表
MetaStore日志 查看如上错误的上下文,确定是本次执行SQL的报错,在报错信息里面发现如下内容: Caused by: org.postgresql.util.PSQLException: ERROR: value too long for type character varying(4000)
在进行数据同步操作时需要评估对源数据库和目标数据库性能的影响,同时建议您在业务低峰期执行数据同步。 当前ClickHouse支持和RDS服务下的MySQL、PostgreSQL实例进行对接,不支持对接SQL Server实例。 ClickHouse通过MySQL引擎对接RDS服务 MySQL引擎用于将远程