检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
日志调整方式如下: cd 客户端安装目录/Yarn/config vi log4j.properties 在文件中添加OBS日志级别配置(应用若使用自带的log4j.properties,添加同样配置即可) log4j.logger.org.apache.hadoop.fs.obs=WARN
Storm WebUI页面中events超链接地址无效 用户问题 Storm组件的Storm UI页面中events超链接地址无效。 问题现象 用户提交拓扑后无法查看拓扑数据处理日志,按钮events地址无效。 原因分析 MRS集群提交拓扑时默认不开启拓扑数据处理日志查看功能。 处理步骤
ALM-12015 设备分区文件系统只读(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区变为只读模式(如设备有坏扇区、文件系统存在故障等原因),则触发此告警。 系统如果检测到挂载服务目录的设备分区的只读模式消失(比如文件系统修复为读写模式、设备
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData
配置ClickHouse对接RDS MySQL数据库 ClickHouse面向OLAP场景提供高效的数据分析能力,支持通过MySQL等数据库引擎将远程数据库服务器中的表映射到ClickHouse集群中,后续可以在ClickHouse中进行数据分析。以下操作通过ClickHouse
退服和入服MRS角色实例 MRS集群支持将数据存储在不同Core节点,某个Core或Task节点出现问题时,可能导致整个集群状态显示为“异常”,用户可以在MRS指定角色实例退服,使退服的角色实例不再提供服务。 在排除故障后,可以将已退服的角色实例入服。 MRS集群支持退服、入服的角色实例包括:
版本概述 MRS集群版本类型 MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Pr
可选择的数据编码:通过支持高效的数据压缩和全局编码方案,可基于压缩/编码数据进行查询,在将结果返回给用户之前,才将编码转化为实际数据,这被称为“延迟物化”。 支持一种数据格式应用于多种用例场景:例如交互式OLAP-style查询,顺序访问(big scan),随机访问(narrow scan)。 CarbonData关键技术和优势
< PREV(DOWN.v), UP AS UP.v > PREV(UP.v) ) 在以下查询中,聚合函数AVG应用于A和C相关变量组成的SUBSET E的MEASURES子句中。 SELECT * FROM Ticker MATCH_RECOGNIZE
备份Manager数据(MRS 2.x及之前版本) 操作场景 为了确保元数据信息安全,或者用户在对元数据功能进行重大操作(如扩容缩容、安装补丁包、升级或迁移等)前后,需要对元数据进行备份,从而保证系统在出现异常或未达到预期结果时可以及时进行数据恢复,将对业务的影响降到最低。元数据
Spark,Hadoop等Yarn作业。配置在客户端core-site.xml中。 升级完默认配置变更为false,MRS集群上的Yarn应用进程首先从节点级缓存服务meta中获取临时AKSK,meta故障时也不直接访问ECS元数据接口,以免触发流控导致节点被加入黑名单。 如果希
二级索引表使用hive注册,并以json格式的值存储在HiveSERDEPROPERTIES中。由hive支持的SERDEPROPERTIES的最大字符数为4000个字符,无法更改。 父主题: 使用CarbonData(MRS 3.x及之后版本)
添加MRS子租户 根据业务对资源消耗以及隔离的规划与需求,用户可以通过MRS创建子租户,将当前租户的资源进一步分配以满足实际使用场景。 如果在添加租户时,租户资源类型选择“非叶子租户”,则支持添加子租户;如果选择“叶子租户”则不支持添加子租户。 前提条件 已参考添加MRS租户添加“非叶子租户”。
ustom合并通常在非高峰时段进行。 具体的命令操作,请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值 应用类型 描述 carbon.enable.auto.load.merge false Minor 数据加载时启用合并。 “true”:数据加载时自动触发segment合并。
ustom合并通常在非高峰时段进行。 具体的命令操作,请参考ALTER TABLE COMPACTION。 表1 合并参数 参数 默认值 应用类型 描述 carbon.enable.auto.load.merge false Minor 数据加载时启用合并。 “true”:数据加载时自动触发segment合并。
LoadIncrementalHFiles /user/hbase/output_t1 t1 以上为迁移用户数据的过程,旧集群的索引数据迁移只需按照前三步操作,并更改相应表名为索引表名(如,t1_idx)。 迁移索引数据时无需执行4。 向新集群表中导入索引数据。 在新集群的用户表中添加与之前版本用户表相
ALM-12014 设备分区丢失(2.x及以前版本) 告警解释 系统周期性进行扫描,如果检测到挂载服务目录的设备分区丢失(如由于设备拔出、设备离线、删除分区等原因)时,产生此告警。 告警属性 告警ID 告警级别 可自动清除 12014 严重 是:MRS 1.9.3.10及之后补丁版本
cfg文件中的密码信息,否则会存在密码泄露的风险。 Flume客户端Cgroup使用指导 该操作指导用户加入、退出Cgroup,查询Cgroup状态以及更改Cgroup cpu阈值。 加入Cgroup 执行以下命令,加入Cgroup,假设Flume客户端安装路径为“/opt/FlumeClient”,Cgroup
Hive服务进程非堆内存使用超出阈值 ALM-16009 Map数超过阈值 ALM-16045 Hive数据仓库被删除 ALM-16046 Hive数据仓库权限被修改 ALM-16047 HiveServer已从Zookeeper注销 ALM-16048 Tez或者Spark库路径不存在 ALM-16051
查看HetuEngine实例监控页面 在HetuEngine的WebUI界面,可以查看指定业务的详细信息,包括每个SQL的执行情况。 查看HetuEngine实例监控步骤 使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群