检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
具体界面显示以实际为准。 Kerberos认证 开启 委托 勾选“高级配置”后的“现在配置”,“委托”选择“现有委托”,并选择创建对接ECS/BMS云服务委托创建的委托。 例如,配置如下图所示,不同版本集群可能存在差异,具体界面显示以实际为准。 等待集群创建完成后,在“现有集群
WordCounter bolt = new WordCounter(); //HbaseMapper,用于解析tuple内容 SimpleHBaseMapper mapper = new SimpleHBaseMapper()
mapreduce.TableIndexer -Dtablename.to.index=hbase_sample_table -Dindexspecs.to.add='IDX1=>info:[name->String]' -Dindexnames.to.build='IDX1' 然后用户
具体界面显示以实际为准。 Kerberos认证 开启 委托 勾选“高级配置”后的“现在配置”,“委托”选择“现有委托”,并选择创建对接ECS/BMS云服务委托创建的委托。 例如,配置如下图所示,不同版本集群可能存在差异,具体界面显示以实际为准。 等待集群创建完成后,在“现有集群
批量导出Loader作业 操作场景 Loader支持批量导出已有作业。 本章节适用于MRS 3.x及后续版本。 前提条件 当前用户具备待导出作业的编辑“Edit”权限或作业所在分组的编辑“Jobs Edit”权限。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight
Manager关键特性 Manager关键特性:统一监控告警 Manager提供可视化、便捷的监控告警功能。用户可以快速获取集群关键性能指标,并评测集群健康状态,同时提供性能指标的定制化显示功能及指标转换告警方法。Manager可监控所有组件的运行情况,并在故障时实时上报告警。通
Ranger基本原理 Apache Ranger提供一个集中式安全管理框架,提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限
Spark故障排除 访问Spark应用获取的restful接口信息有误 为什么从Yarn Web UI页面无法跳转到Spark Web UI界面 HistoryServer缓存的应用被回收,导致此类应用页面访问时出错 加载空的part文件时,app无法显示在JobHistory的页面上
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后,用户可以通过Flink的WebUI,在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。 对系统的影响 第一次访问Manager和Flink
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业,提交作业之前,首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前,需要提前配置好Oozie客户端,并上传样例配置文件和jar至HDFS指定目录,具体操作请参考Oozie客户端配置说明章节。
SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> 2020-01-19 16:04:53,558 | INFO | main | env:HBASE_THRIFT_OPTS= | org.apache.hadoop.hbase
hadoop.yarn.client.ConfiguredRMFailoverProxyProvider - Failing over to 53 12136 [main] INFO org.apache.hadoop.mapreduce.lib.input.FileInputFormat
源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。 表4 参数描述 参数 参数值示例 描述 security.ssl.rest.enabled true
36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理: 抢占任务可精简队列中的job运行并提高资源利用率,由ResourceManager的capacity scheduler实现,其简易流程如下: 假设存在两个队列A和B。其中队列A的capacity为25%,队列B的capacity为75%。
访问FlinkServer WebUI界面 操作场景 MRS集群安装Flink组件后,用户可以通过Flink的WebUI,在图形化界面进行集群连接、数据连接、流表管理和作业管理等。 该任务指导用户在MRS集群中访问Flink WebUI。第一次访问Manager和Flink We
Doris采用MySQL协议,高度兼容MySQL语法,支持标准SQL,用户可以通过各类客户端工具来访问Doris,并支持与BI工具无缝对接。 FE 主要负责用户请求的接入、查询解析规划、元数据的管理、节点管理相关工作。 BE 主要负责存储数据、执行查询计划、副本负载均衡。 Leader Leader为Follower组中选举出来的一种角色。
getExecutionEnvironment(); // 设置并发度 env.setParallelism(1); // 解析运行参数 ParameterTool paraTool = ParameterTool.fromArgs(args);
UDF,大于5个入参的Hive UDF将无法被注册。 如果Hive UDF入参为null,系统调用Hive UDF将直接返回null,不会解析null作为入参的Hive UDF逻辑,这可能导致处理null值的Hive UDF执行结果与Hive执行结果不一致。 需要在maven工程中添加hive-exec-3