检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ALM-45643 RocksDB的MemTable大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)
ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.dur
FlinkYarnSessionCli$1.call(FlinkYarnSessionCli.java:511) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject
log tomcat的运行日志 host-manager. <yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log. <yyyy-mm-dd >.txt tomcat的运行日志 manager <yyyy-mm-dd >.log tomcat的运行日志
output, check the application tracking page:https://bigdata-55:8090/cluster/app/application_1449841777199_0003 Then click on links to logs of
单击“Add”,完成策略添加,依据如上Policy,testuser用户组中的testuser用户拥有对HBase中“default”namespace下的“test1”表中“cf1:name”列有Create和select的权限,而对于其他列则没有任何的访问权限。 参见快速使用HB
通过数据应用访问Alluxio 访问Alluxio文件系统的端口号是19998,即地址为alluxio://<alluxio的master节点ip>:19998/<PATH>,本节将通过示例介绍如何通过数据应用(Spark、Hive、Hadoop MapReduce和Presto)访问Alluxio。
log tomcat的运行日志 host-manager. <yyyy-mm-dd >.log tomcat的运行日志 localhost_access_log. <yyyy-mm-dd >.txt tomcat的运行日志 manager <yyyy-mm-dd >.log tomcat的运行日志
3个节点,每个executor4个CPU核,20GB。Driver内存5GB,3个Executor。 原始CSV文件大小的最大值 200GB 17个cluster节点,每个executor 150GB,25个CPU核。Driver内存10 GB,17个Executor。 每个文件夹的CSV文件数
ALM-13000 ZooKeeper服务不可用 告警解释 系统每60秒周期性检测ZooKeeper服务状态,当检测到ZooKeeper服务不可用时产生该告警。 ZooKeeper服务恢复时,告警清除。 告警属性 告警ID 告警级别 是否自动清除 13000 紧急 是 告警参数 参数名称
log.zip”,最多保留最近的20个压缩文件。 表1 Ranger日志列表 日志类型 日志文件名 描述 RangerAdmin运行日志 access_log.<DATE>.log Tomcat访问日志。 catalina.out Tomcat服务运行日志。 gc-worker.log
output, check the application tracking page:https://bigdata-55:8090/cluster/app/application_1449841777199_0003 Then click on links to logs of
CServer包含一个长时运行的Spark任务,在beeline中执行的语句都会交给该任务执行。 开启Kerberos认证的安全集群启动示例: cd $SPARK_HOME/bin ./beeline -u 'jdbc:hive2://ha-cluster/default;user
对于没有配置在OBS权限控制的用户,且没有配置AK、SK时,将以MRS_ECS_DEFAULT_AGENCY中的OBS OperateAccess的权限访问OBS。对于组件内置用户不建议绑定在委托中。 如需对组件内置用户在以下场景提交作业时配置委托,要求如下: 如需对spark-
集群安装了Spark及Hive服务。 执行数据导入的用户需要同时具有Spark(对应源表的SELECT权限)、HBase权限(对应HBase NameSpace的RWXA权限)和HDFS权限(对应HFile输出目录的读写权限)。 如果集群已启用Kerberos认证(安全模式),需修改Spar
规则,可单击按钮删除。 Exclude from Allow Conditions:配置策略例外条件。 Deny All Other Accesses 是否拒绝其它所有访问。 True:拒绝其它所有访问 False:设置为False,可配置Deny Conditions。 Deny
操作步骤 在IDEA界面左下方单击“Terminal”进入终端,执行命令mvn clean install进行编译。 当输出“BUILD SUCCESS”,表示编译成功,如下图所示。编译成功后将会在样例工程的target下生成“hcatalog-example-*.jar”包。 以上J
需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为obs。
需要在集群管理页面Manager里面设置指定的参数到“core-site.xml”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。 fs.obs.access.key=AK; fs.obs.secret.key=SK; fs.obs.endpoint=endpoint; 新建表的存储类型为OBS。
流式集群包含的组件有:Kafka,KafkaManager,Storm,Flume 获取集群ID 在调用作业相关接口的时候,部分URL中需要填入集群ID(cluster_id),所以需要先在管理控制台上获取到集群ID。集群ID获取步骤如下: 登录MRS管理控制台。 选择“现有集群”,单击待操作集群的集群名称,进入集群详情页面。