检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
看能否ping通其他ZooKeeper实例所在节点的主机名。 是,执行15。 否,执行12。 修改“/etc/hosts”中的IP信息,添加主机名与IP地址的对应关系。 再次执行ping命令,查看能否在该ZooKeeper实例节点ping通其他ZooKeeper实例节点的主机名。
认将拒绝访问。但是对于HDFS和Yarn,系统会将决策下放给组件自身的访问控制层继续进行判断。 例如要将一个文件夹FileA的读写权限授权给用户组groupA,但是该用户组内某个用户UserA除外,这时可以增加一个允许条件及一个例外条件即可实现。 父主题: 集群用户权限概述
ALM-43019 IndexServer2x进程堆内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程堆内存使用状态,当检测到IndexServer2x进程堆内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
ALM-43021 IndexServer2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测IndexServer2x进程直接内存使用状态,当检测到IndexServer2x进程直接内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后
ALM-43008 JobHistory2x进程直接内存使用超出阈值 告警解释 系统每30秒周期性检测JobHistory2x进程直接内存使用状态,当检测到JobHistory2x进程直接内存使用率超出阈值(最大内存的95%)时产生该告警。 MRS 3.3.0-LTS及之后的版本
删除待移出的Partition所在的行(行结构为“Topic名称 Partition标识 Offset”,删除前先将该行数据保存,后续此内容还要添加到目的目录下的同名文件中)。 修改目的数据目录下(例如:“${BIGDATA_DATA_HOME}/kafka/data2/kafka-l
SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase,使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中需要安装补丁的集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 请确保集群允许root登录,并且所有节点的root密码一致。
调测HetuEngine Python3应用 本章节适用于MRS 3.3.0及以后版本。 操作场景 在python3程序代码完成开发后,可以在Windows环境或者上传到Linux环境进行调测,和集群业务平面网络互通时,可以直接在本地进行调测。 操作步骤 参考导入并配置HetuEngine
Hive与其他组件的关系 Hive与HDFS组件的关系 Hive是Apache的Hadoop项目的子项目,Hive利用HDFS作为其文件存储系统。Hive通过解析和计算处理结构化的数据,Hadoop HDFS则为Hive提供了高可靠性的底层存储支持。Hive数据库中的所有数据文件都可以存储在Hadoop
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
Spark Structured Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例
进行全局的统筹,合理地设置机架。 机架分配策略 物理机架:主机所在的真实的机架。 逻辑机架:在FusionInsight Manager中给主机设置的机架名称。 策略 1:每个逻辑机架包含的主机个数基本一致。 策略 2:主机所设置的逻辑机架要尽量符合其所在的物理机架。 策略 3:
BulkDelete接口使用 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去使用HBase,将要删除的数据的rowKey构造成rdd,然后通过HBaseContext的bulkDelete接口对HBase表上这些rowKey对应的数据进行删除。 数据规划
segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1: update carbonTable1 d set (d.column3
segments属性,则UPDATE操作失败。要解决该问题,在查询前执行以下语句。 语法: SET carbon.input.segments. <database_name>. <table_name>=*; 示例 示例1: update carbonTable1 d set (d.column3
e=512M GC_OPTS参数中-XX:MaxDirectMemorySize默认没有配置,如需配置,用户可在GC_OPTS参数中自定义添加。 具体的配置方法如下: 用户可登录FusionInsight Manager,单击“集群 > 待操作集群的名称 > 服务 > Yarn >
Manager,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。
Kafka依赖包路径为“$SPARK_HOME/jars/streamingClient010”。所以在运行应用程序时,需要在spark-submit命令中添加配置项,指定Spark Streaming Kafka的依赖包路径,如--jars $(files=($SPARK_HOME/jars/streamingClient010/*
已登录FusionInsight Manager,具体请参见访问集群Manager。 操作步骤 选择“系统 > 权限 > 角色”。 单击“添加角色”,然后“角色名称”和“描述”输入角色名字与描述。 设置角色“权限”请参见表1。 设置角色的权限时,不能同时选择跨资源权限,如果需要设置多个资源的相关权限,请依次逐一设置。