检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
解决阈值告警平滑次数偶现不生效,导致阈值告警频繁上报的问题。 解决GaussDB健康检查异常,导致实例重启问题(root补丁修复)。 解决GaussDB异常时,acs无自恢复能力的问题。 解决Agent重启会上报大量服务不可用告警的问题。 解决备OMS节点,主机重启后,knox进程无法自启动的问题。 解决DBServer频繁主备倒换的问题。
跨源IT/OT数据统一分析 IoTDB可以借助HetuEngine提供的数据跨源分析能力,使用HetuEngine作为统一数据查询入口,也可以将IT数据和OT数据进行联合分析,提供复杂的IT和OT数据统一分析能力。 图2 跨源IT/OT数据统一分析 使用场景如下: 统一SQL入口 为简化
aft协议,来确保数据的一致性。针对时序场景,对存储数据进行预计算和存储,提升分析场景的性能。针对时序数据特征,进行强有力的数据编码和压缩能力,同时其自身的副本机制也保证了数据的安全,并与Apache Hadoop和Flink等进行了深度集成,可以满足工业物联网领域的海量数据存储、高速数据读取和复杂数据分析需求。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从HDFS/OBS导出数据时,确保HDFS/OBS数据源的输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
在Manager界面创建用户并添加hadoop和hive用户组,主组加入hadoop。 操作步骤 下载并安装Hudi客户端,具体请参考安装客户端(3.x及之后版本)章节。 目前Hudi集成在Spark2x中,用户从Manager页面下载Spark2x客户端即可,例如客户端安装目录为:“/opt/client”。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
且元数据不随集群的删除而删除,也能够避免集群迁移时Ranger元数据的迁移。 停用集群组件Ranger鉴权 该操作仅在MRS 3.1.0及之后版本需要执行。 登录FusionInsight Manager页面,选择“集群 > 服务 > 服务名称”。 当前MRS 3.1.x集群支持Ranger鉴权的组件为:
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
JDBC接口访问。因此JDBCServer集群的处理能力取决于主Server的单点能力,可扩展性不够。 采用多主实例模式的HA方案,不仅可以规避主备切换服务中断的问题,实现服务不中断或少中断,还可以通过横向扩展集群来提高并发能力。 实现方案 多主实例模式的HA方案原理如下图所示。
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从FTP服务器导入数据时,确保FTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
磁盘类型。 约束限制: 不涉及 取值范围: SATA:普通IO磁盘类型。 SAS:高IO磁盘类型。 SSD:超高IO磁盘类型。 GPSSD:通用型SSD磁盘类型。 默认取值: 不涉及 size Integer 参数解释: 磁盘大小。单位为GB。 约束限制: 不涉及 取值范围: 不涉及
使用Loader从HDFS导出数据到ClickHouse 本章节适用于MRS 3.3.0及以后版本。 操作场景 该任务指导用户使用Loader将文件从HDFS导出到ClickHouse。 前提条件 在FusionInsight Manager创建一个角色,添加ClickHouse
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
产生告警的角色名称。 主机名 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 系统执行业务能力过低,无法正常响应客户请求,对Hive服务无影响,需要检查HiveServer日志排查SQL失败原因。 可能原因 HQL命令语法错误。 执行Hive
参数解释:节点上YARN可使用的物理内存总量。单位:M。 默认值: MRS 3.x之前版本: 8192 MRS 3.x及之后版本: 16384 参数入口: MRS 3.x之前版本:需要在MRS控制台上进行配置。 MRS 3.x及之后版本:需要在FusionInsight Manager系统进行配置。 参数配置组合
检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 使用Loader从SFTP服务器导入数据时,确保SFTP服务器输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。
tech/docs/en/engines/table-engines。 MergeTree系列引擎 MergeTree用于高负载任务的最通用和功能最强大的表引擎,其主要有以下关键特征: 基于分区键(partitioning key)的数据分区分块存储 数据索引排序(基于primary
ORC合并文件时从文件中读取ORC列压缩属性 Hiveserver堆内存监控限制 大数据量场景,Hive分批加载元数据,提升Hiveserver容错能力 Hive支持Redis缓存连接失败重试 支持OBSA客户端数据监控上报 支持OBS流控重试机制 pms性能优化 mrs-obs-provider的缓存过期优化
防御详情,如下图所示: 更多Spark SQL防御规则可参考MRS SQL防御规则。 Spark 客户端模式下,增加了query info能力,日志路径为“/opt/hadoopclient/Spark/spark/audit/query.log”,记录了每条SQL详细的运行信息