检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
例如连接器类型选择“Apache HBase”。 (可选)HBase迁移建议使用高权限用户,单击“显示高级属性”,新增迁移所需用户“hadoop.user.name = 用户名(如omm用户)”。 图2 到迁移源端集群的连接 在“连接管理”页签,单击“新建连接”。 参考CDM服
在处理数据加载时,为每个executor程序实例配置的内存不足,可能会产生更多的Java GC(垃圾收集)。当GC发生时,会发现查询性能下降。 定位思路 在Spark UI上,会发现某些executors的GC时间明显比其他executors高,或者所有的executors都表现出高GC时间。 处理步骤 登录Manager页面,选择“集群
运行HiBench6的sparkbench任务,如Wordcount,任务执行失败。 “bench.log”中显示Yarn任务执行失败。 登录Yarn WebUI,查看对应application的失败信息,显示如下: Exception in thread "main" org.apache
原因分析 出错的集群有两个HiveServer实例,首先查看其中一个HiveServer日志发现里面的报错与客户端中的错误一样均是Error:Invalid OperationHandler,查看另一个HiveServer发现在出错的时间段此实例有如下类似START_UP的打印,说明那
ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 无。 可能原因 有用户手动终止了正在运行的YARN任务。 处理步骤 排查YARN日志和审计日志,查看终止任务操作的下发者,确认终止任务的原因。 参考信息 无。 父主题:
如,Region位置、起始RowKey及结束RowKey等信息。 元数据表和用户表的映射关系如图 元数据表和用户表的映射关系所示。 图4 元数据表和用户表的映射关系 数据操作流程 HBase数据操作流程如图 数据操作流程所示。 图5 数据操作流程 对HBase进行增、删、改、查数据操作时,HBase
ALM-18013 上个周期运行失败的Yarn任务数超过阈值(2.x及以前版本) 告警解释 上个10min的周期内,运行失败的YARN任务数超过阈值。该告警每10min检测一次,如果上个10min周期内,发生YARN任务运行失败的数量大于设定的阈值时候,会发生该告警。如果在下个1
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
@volatile private var endTime: Long = 0L @volatile private var numRecs: Long = 0L override def onQueryStarted(event: StreamingQueryListener
MRS Fastjson漏洞修复指导 简介 影响范围 修复Manager Web 修复Manager Controller 修复Manager nodeagent 修复Kafka 修复Flink 父主题: 漏洞公告
使用Spark2x(MRS 3.x及之后版本) Spark用户权限管理 Spark客户端使用实践 配置Spark读取HBase表数据 配置Spark任务不获取HBase Token信息 Spark Core企业级能力增强 Spark SQL企业级能力增强 Spark Streaming企业级能力增强
CarbonData数据分析 新建CarbonData Table 删除CarbonData Table 修改CarbonData Table 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题: 使用CarbonData(MRS
ClickHouse集群规划 ClickHouse集群业务规划 ClickHouse数据分布设计 ClickHouse容量规划设计 ClickHouse依赖服务设计 父主题: ClickHouse应用开发规范
ClickHouse宽表设计 ClickHouse宽表设计原则 ClickHouse表字段设计 ClickHouse本地表设计 ClickHouse分布式表设计 ClickHouse分区设计 ClickHouse索引设计 父主题: ClickHouse应用开发规范
ClickHouse物化视图设计 ClickHouse物化视图概述 ClickHouse普通物化视图设计 ClickHouse Projection设计 父主题: ClickHouse应用开发规范
ClickHouse数据库调优 ClickHouse调优思路 ClickHouse系统调优 ClickHouse SQL调优 ClickHouse参数调优实践 父主题: ClickHouse应用开发规范
Mapreduce应用开发规范 Mapreduce应用开发规则 Mapreduce应用开发建议
Flink应用开发规范 Flink开发规范概述 FlinkSQL Connector开发规范 Flink on Hudi开发规范 Flink任务开发规范 Flink SQL逻辑开发规范 Flink性能调优开发规范 Flink开发样例
Hudi应用开发规范 Hudi开发规范概述 Hudi数据表设计规范 Hudi数据表管理操作规范 Spark on Hudi开发规范 Bucket调优示例