检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在集群创建完成后,此时Ranger不会对用户访问Hive和HBase组件的权限进行控制。 使用Ranger管理各组件权限时,如管理hive表权限,在管理控制台或者客户端提交hive作业(操作hive数据表),可能会提示当前用户没有权限,需要在Ranger中给提交作业的用户配置具体数据
html。 Producer重要接口 表1 Producer重要参数 参数 描述 备注 bootstrap.servers Broker地址列表。 生产者通过此参数值,创建与Broker之间的连接。 sasl.kerberos.service.name 服务名。 Kafka集群
map-reduce action的名称 resourceManager MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名
map-reduce action的名称 resourceManager MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名
Summary一栏,可查看当前集群已存在的消费组,单击消费组名称,可查看该消费组所消费过的Topic,消费过的Topic有两种状态:“pending”和“running”,分别表示“曾经消费过但现在未消费”和“现在正在消费”,在弹框右上角,可以输入Topic名来进行过滤。 单击Topic名称,进入Consumer
配置 > 全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 安全模式下,登录IoTDBServer所在节点的用户名和密码由FusionInsight Manager统一控制,参考准备MRS应用开发用户,确保该用户具有操作IoTDB服务的角色权限。 本端域可以在Manager界面,选择“系统
Impalad实例ID 访问StateStore WebUI,具体参考访问StateStore WebUI。 修改StateStore WebUI的URL地址中的“StateStore/xx”为“Impalad/xx”并访问修改后的URL,其中xx为3中获取的ID,如下所示: https://10
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43006”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JobHistory(对应上报告警实例IP地址) > 定制 > JobHistory进程的堆内存统计”。单击“确定”,查看堆内存使用情况。
登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43010”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark > 实例 > JDBCServer(对应上报告警实例IP地址) > 定制 >JDBCServer进程的堆内存统计”。单击“确定”,查看堆内存使用情况。
使用Storm Storm WebUI页面中events超链接地址无效 提交Storm拓扑失败排查思路 提交Storm拓扑失败,提示Failed to check principle for keytab 提交Storm拓扑后Worker日志为空 提交Storm拓扑后Worker运行异常,日志提示Failed
Summary一栏,可查看当前集群已存在的消费组,单击消费组名称,可查看该消费组所消费过的Topic,消费过的Topic有两种状态:“pending”和“running”,分别表示“曾经消费过但现在未消费”和“现在正在消费”,在弹框右上角,可以输入Topic名来进行过滤。 单击Topic名称,进入Consumer
emote,如图1所示。 图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For
eManager运行计算时,或者预留升级时使用。 因为预留了10%的磁盘,当磁盘使用率达到90%的时候,HDFS的DataNode即会认为没有可用磁盘空间。 解决办法 扩容,在HDFS DataNode磁盘到80%,即需要及时扩容,请参考扩容集群。扩容完成后需进行数据均衡,请参考配置HDFS
map-reduce action的名称 resourceManager MapReduce ResourceManager地址 name-node HDFS NameNode地址 queueName 任务处理时使用的MapReduce队列名 mapred.mapper.class Mapper类名
待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在精细化监控“资源使用(按二级Znode)”中单击“按Znode数量”,查看监控中是否有顶级Znode被写入较多数据。 是,执行2。 否,执行4。 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,打开告警“ALM-13008
sh”脚本修改默认用户root的默认密码: sh alter-cli-password.sh IoTDBServer实例节点IP RPC端口 IoTDBServer实例节点IP地址可在Manager界面,选择“集群 > 服务 > IoTDB > 实例”查看。 IoTDBServer RPC端口可在参数“IOTDB_S
如何查询MRS节点的启动时间? 在MRS服务管理控制台中单击集群名称,进入集群详情页面。 在集群节点管理页面中,查看具体节点IP地址信息。 登录当前节点,执行如下命令查询节点启动时间。 date -d "$(awk -F. '{print $1}' /proc/uptime) second
Invalid config event received: {version=100000000, server.48=ZooKeeper节点IP地址:ZooKeeper端口号:ZooKeeper端口号:participant...} 查看样例代码中的HQL所查询出的结果。 Windows环境运行成功结果会有如下信息:
Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata
Streaming状态操作样例程序(Scala) 功能介绍 在Spark结构流应用中,跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp;同时输出本批次被更新状态的session。 代码样例 下面代码片段仅为演示,具体代码参见:com.huawei.bigdata