支持分发、聚合、选择等工作流程模式。 与Hadoop生态系统各组件紧密结合。 流程变量支持参数化。 支持流程定时触发。 自带一个Web Console,提供了流程查看、流程监控、日志查看等功能。 Oozie应用开发常见概念 流程定义文件 描述业务逻辑的XML文件,包括“workflow.xml”、“coordinator
Hive > 配置 >全部配置 > MetaStore(角色) > 服务初始化”查看,“hive.metastore.client.socket.timeout”对应的值即为超时时间时长,在“描述”列可查看默认值。 处理步骤 如果是内部表可以先通过alter table ${TableName}
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
> 待操作集群的名称 > 服务 > Hive > 资源”,查看“HQL的Map数”图表,找出Map数过大的HQL语句(Map数>=5000)。 找到对应的HQL语句,优化在监控上显示map数过大的HQL语句,再尝试执行。 查看本告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。
Tserver进程内存占用率超过阈值”告警,查看告警来源。 在“运维 > 告警 > 阈值设置 > Kudu”,找到该告警的阈值,再对比集群Kudu实例的内存监控项,看是否超过阈值,处理内存使用率过高的问题,或修改阈值。 在“运维 > 告警”页签,查看该告警是否恢复。 是,处理完毕。 否,执行4。
实例”,在Presto实例列表中,查看所有Coordinator或Worker“运行状态”是否都呈现“未知”状态。 是,执行2。 否,执行4。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-45325 Presto服务不可用”告警是否清除。
调度器类型可登录Manager,在Yarn服务“全部配置”页面搜索“yarn.resourcemanager.scheduler.class”参数进行查询。 表3 子租户参数一览(Superior调度器) 参数名 示例 描述 集群 MRS Cluster 显示上级父租户所在集群。 父租户资源
配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题: ClickHouse开发指南(普通模式)
Tez常见问题 TezUI无法展示Tez任务执行细节 进入Tez WebUI界面显示异常 TezUI界面无法查看Yarn日志 TezUI HiveQueries界面表格数据为空 父主题: 使用Tez
在Linux中调测HBase应用 安装客户端时编译并运行HBase应用 未安装客户端时编译并运行HBase应用 查看HBase应用调测结果 父主题: 调测HBase应用
CarbonData故障处理 当在Filter中使用Big Double类型数值时,过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题: 使用CarbonData(MRS 3.x及之后版本)
API V2 集群管理接口 作业管理接口 弹性伸缩接口 集群HDFS文件接口 SQL接口 委托管理 数据连接管理 版本元数据查询 IAM同步管理接口 标签管理接口
HBase Rest接口调用样例程序 使用REST接口查询HBase集群信息 使用REST接口获取所有HBase表 使用REST接口操作Namespace 使用REST接口操作HBase表 父主题: 开发HBase应用
访问Impala WebUI界面 使用Impala操作Kudu表 Impala对接外部LDAP Impala启用并配置动态资源池 使用Impala查询管理界面 Impala常见配置参数 Impala常见问题
实例”,在Presto实例列表中,查看所有Coordinator或Worker实例状态是否都呈现未知状态。 是,执行2。 否,执行1。 在Presto实例列表上方,单击“更多 > 重启服务”,重启Coordinator/Worker进程。 在告警列表中,查看“ALM-44000 Presto服务不可用”告警是否清除。
登录MapReduce服务管理控制台。 选择“现有集群”,单击集群名称,进入集群概览页面,在运维管理区域,查看集群是否绑定委托。 是,执行4。 否,执行3。 单击“选择委托”,重新绑定委托,等待几分钟后查看告警是否恢复。 是,操作结束。 否,执行4。 收集故障信息。 在FusionInsight
又有Hive的临时表与Hive的持久化表,因此在Spark中允许三个层次的同名数据表。 查询的时候,Spark SQL优先查看是否有Spark的临时表,再查找当前DB的Hive临时表,最后查找当前DB的Hive持久化表。 图1 Spark表管理层次 当Session退出时,用户操
使用Hue Hue界面中查看到未知Job在运行 使用IE浏览器在Hue中执行HQL失败 Hue WebUI界面访问失败 Hue界面无法加载HBase表 Hue中的输入框输入中文会出现混乱 Hue上执行Impala SQL查询中文报错
配置ClickHouse连接属性 建立ClickHouse连接 创建ClickHouse数据库 创建ClickHouse表 插入ClickHouse数据 查询ClickHouse数据 删除ClickHouse表 父主题: ClickHouse开发指南(普通模式)
调整HetuEngine INSERT写入优化 调整HetuEngine元数据缓存 调整HetuEngine动态过滤 开启HetuEngine自适应查询执行 调整Hive元数据超时 调整Hudi数据源性能 父主题: 使用HetuEngine
您即将访问非华为云网站,请注意账号财产安全