检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
动重启服务不断服。 MRS 2.1.0.8补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
结果在flink的“taskmanager.out”文件中,用户可以通过Flink的WebUI查看“task manager”标签下的out按钮查看。 使用Flink Web页面查看Flink应用程序运行情况 Flink Web页面主要包括了Overview、Running Jobs、Completed
token。操作步骤如下: 登录FusionInsight Manager界面,单击右上角任务中心图标,确认任务管理中心无执行中的任务。 使用PuTTY工具,以omm用户登录主管理节点。 执行以下命令重启controller。 sh ${BIGDATA_HOME}/om-serv
当“/hbase/corrupt”目录不存在或不包含WAL文件时,告警消除。 该告警仅适用于MRS 3.3.0及之后版本。 “hdfs://hacluster”为HBase使用的文件系统名,“/hbase”为HBase在文件系统上的根目录,可登录FusionInsight Manager,选择“集群 > 服务 >
Oozie基本原理 Oozie简介 Oozie是一个基于工作流引擎的开源框架,它能够提供对Hadoop作业的任务调度与协调。 Oozie结构 Oozie引擎是一个Web App应用,默认集成到Tomcat中,采用pg数据库。 基于Ext提供WEB Console,该Console
//线程提交任务之前: UserGroupInformation.getLoginUser().reloginFromKeytab(); 多个脚本同时使用kinit命令认证同一个用户的场景下,需要在各个脚本中执行kinit命令之前,先执行export KRB5CCNAME=keytab_pa
日志共享:用户可以在MRS页面发起日志共享,选择日志范围共享给运维人员,以便运维人员在不接触集群的情况下帮助定位问题。 运维授权:MRS服务提供运维授权功能,用户在使用MRS集群过程中,发生问题可以在MRS页面发起运维授权,由运维人员帮助用户快速定位问题,用户可以随时收回该授权。 健康检查 MRS为用户提
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
Coordinator进程GC时间过长,会影响Coordinator进程运行的性能,甚至造成Coordinator进程不可用。 可能原因 该节点Coordinator进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 >
对系统的影响 Worker进程GC时间过长,会影响Worker进程运行的性能,甚至造成Worker进程不可用。 可能原因 该节点Worker进程堆内存使用率过大,或配置的堆内存不合理,导致进程GC频繁。 处理步骤 检查GC时间。 在FusionInsight Manager首页,单击“运维 >
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
自定义排序器 编写自定义排序类继承BulkInsertPartitioner,在写入Hudi时加入配置: .option(BULKINSERT_USER_DEFINED_PARTITIONER_CLASS, <自定义排序类的包名加类名>) 自定义分区排序器样例: public class
直接重启 重启期间无法访问Kudu表,影响作业。 直接重启耗时约1分钟。 滚动重启 不支持滚动重启。 - Impala 直接重启 重启期间无法使用Impala查询表,影响作业执行。 直接重启耗时约3~5分钟。 滚动重启 单个Impalad节点重启时,运行在该节点上的任务会失败,其它节点的任务不受影响。
提升数据安全性。 业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。在文件系统数据加密基础上,Hive服务支持列加密(参见使用Hive列加密功能),可以在创建表时指定加密算法实现对敏感数据的加密存储。HBase支持加密HFile和WAL内容,用户可以配置AES和S
【Spark WebUI】访问JobHistory中某个应用的原生页面时页面显示错误 用户问题 提交一个Spark应用,包含单个Job百万个Task。应用结束后,在JobHistory中访问该应用的WebUI页面,浏览器会等待较长时间才跳转到应用WebUI页面,若10分钟内无法跳转,则页面会显示Proxy
ALM-12001 审计日志转储失败(2.x及以前版本) 告警解释 根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务
Loader基本原理 Loader是在开源Sqoop组件的基础上进行了一些扩展,实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”,同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中,或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
/opt/client/Hive/Beeline/lib/derby-10.10.2.0.jar derby-10.10.2.0.jar.bak命令。 命令中使用的jar包请根据集群中对应路径下的实际版本修改。 提交MapReduce任务,执行如下命令,运行样例工程。运行样例工程前需要根据实际环境修改认证信息。
Spark、Manager(Tomcat)、Tez、Impala、Ranger、Presto、Oozie、Storm、Loader等组件有使用Apache Log4j2。在默认情况下集群不会对外网开放,如您通过绑定EIP等方式开放了公网访问权限,请确认输入源是否可信,同时建议您根据漏洞规避方案进行加固。