检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
= null) { try { //关闭hbase连接.
--connect 连接关系型数据库的url --connection-manager 指定连接管理类 --driver jdbc 连接驱动包 --help 帮助信息 --password 连接数据库密码 --username 连接数据库的用户名 --verbose 在控制台打印详细信息
FlinkServer对接HBase时需要配置HBASE_CONF_DIR参数 以客户端安装用户登录安装客户端的节点,复制HBase的“/opt/client/HBase/hbase/conf/”目录下的所有配置文件至部署FlinkServer的所有节点的一个空目录,如“/tmp/
检查Manager是否有正在运行的任务 登录FusionInsight Manager界面,查看右上角任务。 查看当前集群是否存在正在运行的任务。 是,等待任务运行结束。 否,检查结束。
登录Spark WebUI查看应用程序运行情况。 通过Spark日志获取应用程序运行情况。 操作步骤 查看Spark应用运行结果数据。 结果数据存储路径和格式已经由Spark应用程序指定,可通过指定文件获取。 查看Spark应用程序运行情况。 Spark主要有两个Web页面。
在本示例场景中,登录Manager查看集群其它服务状态,发现HBase服务被停止。当HBase已安装且状态不正常时,Hive、Spark和Loader服务将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务,手动重启HBase服务后,Hive服务运行状态恢复正常。
配置参数 登录FusionInsight Manager系统,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索以下参数。
滚动重启 HiveServer滚动重启时,若仍有客户端连接到滚动重启的HiveServer上,客户端正在运行的任务将失败。 HiveServer滚动重启时,将等待客户端连接断开,最长等待30分钟。
回滚补丁 卸载补丁 登录华为云管理控制台界面,在“现有集群”列表中单击需要卸载补丁的集群名称,单击“补丁管理”页签,找到需要卸载的补丁,单击“卸载”,等待补丁卸载成功后,需要按照该章节顺序依次执行相关操作。
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 恢复租户数据 进入租户管理页面。 通过MRS管理控制台操作:在MRS管理控制台单击待操作的集群,在集群详情页,单击“租户管理”。
添加密码策略 登录FusionInsight Manager。 选择“系统 > 权限 > 安全策略 > 密码策略”。 单击“新增密码策略”,根据界面提示,修改密码策略。 具体参数参见表1。
登录Manager页面。 使用admin账号登录Manager,具体请参考访问MRS集群Manager。 初始化IAM同步用户密码,具体请参考初始化MRS集群用户密码。
可选择“按Znode数量”或“按容量”观察 连接数(按客户端IP) ZooKeeper客户端连接资源状况。 父主题: 查看MRS集群监控指标
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 查看主机监控图表信息 通过MRS管理控制台查看: 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台查看组件状态 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
登录MRS集群详情页面,选择“组件管理”。 选择“Storm > Supervisor”,进入Storm服务管理页面。 查看“角色”中是否存在状态为故障或者是正在恢复的Supervisor实例。 是,执行1.d。 否,执行2.a或者3.a。
开发思路 使用Linux客户端创建一个Topic。可参考Kafka Shell命令介绍。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。
安全认证有两种方式: 命令行认证: 提交Oozie应用程序运行前,在Oozie客户端执行如下命令获得认证。
在视图中,Hive可以通过获取当前客户端提交任务的用户的内置函数“current_user()”来进行过滤,这样被授权的用户,在访问视图时,即可被限定访问对应的数据。
开发思路 使用Linux客户端创建一个Topic。 开发一个Producer向该Topic生产数据。 开发一个Consumer消费该Topic的数据。 父主题: 开发Kafka应用