检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
问题1:确认MapReduce服务是否正常,如果异常,尝试重启服务。如果还是不能恢复,需要查看后台JobhistoryServer日志。 问题2:依次排查可能的情况: 查看Spark的JobHistory是否运行正常; 通过查看yarn的app详情页面,确认日志文件是否过大,如果日志汇聚失败,页面的“Log
没有配置ntp外部服务器时只会有一条om路由信息“om_rt”。 本章节仅适用于MRS 3.x及以后版本。 如果FusionInsight Manager创建的路由信息与企业网络规划配置的路由信息发生冲突时,集群管理员可以使用“autoroute.sh”工具禁用或启用Manager创建的路由信息。
Manager页面,请参考添加安全组规则。如需对安全组规则进行查看,修改和删除操作,请单击“管理安全组规则”。 自动获取的访问公网IP与用户本机IP不一致,属于正常现象,无需处理。 9022端口为knox的端口,需要开启访问knox的9022端口权限,才能访问MRS Manager服务。
建立Hive表分区提升查询效率 操作场景 Hive在做Select查询时,一般会扫描整个表内容,会消耗较多时间去扫描不关注的数据。此时,可根据业务需求及其查询维度,建立合理的表分区,从而提高查询效率。 操作步骤 MRS 3.x之前版本: 登录MRS控制台,在左侧导航栏选择“现有集群”,单击集群名称。选择“节点管理
scala的29行设置断点。 图3 设置断点 启动调试。 在IDEA菜单栏中选择“Run > Debug 'Unnamed'”开启调试窗口,接着开始SparkPi的调试,比如单步调试、查看调用栈、跟踪变量值等,如图5所示。 图4 调试 父主题: Spark应用开发常见问题
通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型,单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3
需要启用Ranger鉴权的服务名称”。 在服务“概览”页面右上角单击“更多”,选择“启用Ranger鉴权”。在弹出的对话框中输入密码,单击“确定”,操作成功后单击“完成”。 如果“启用Ranger鉴权”是灰色,表示已开启Ranger鉴权,如图1所示。 已启用Ranger授权的组件(
查看与配置MRS告警事件 查看MRS集群事件 查看MRS集群告警 配置MRS集群告警阈值 配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知
参数说明(1) 参数 描述 默认值 spark.sql.authorization.enabled 是否开启datasource语句的权限认证功能。建议将此参数修改为true,开启权限认证功能。 true “hive-site.xml”配置文件 表2 参数说明(2) 参数 描述 默认值
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
window算子每隔1秒钟统计一次最近4秒钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。 每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 父主题: Flink开启Checkpoint样例程序
window算子每隔1秒钟统计一次最近4秒钟内数据数量。 每隔1秒钟将统计结果打印到终端。具体查看方式请参考查看Flink应用调测结果。 每隔6秒钟触发一次checkpoint,然后将checkpoint的结果保存到HDFS中。 父主题: Flink开启Checkpoint样例程序
客户配置了DNS服务,由于客户端连接到HBase先通过DNS来解析服务器端,所以导致响应慢。 处理步骤 以root用户登录Master节点。 执行vi /etc/resolv.conf,打开resolv.conf文件,注释掉DNS服务器地址。 例如,#1.1.1.1。 父主题: 使用HBase
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
执行ping 备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。 修复网络故障,查看告警列表中,该告警是否已清除。 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight
参数取值范围为0~1,表示可用于ClickHouse的服务器的总物理RAM量的比例。如服务器物理内存为10G,该值设置为0.9,则ClickHouse服务在当前服务器上可用内存为10G* 0.9 = 9G,如果参数设置为0,则表示不限制,那么ClickHouse服务可以使用服务器的所有物理内存。该参数最多有效位为小数点后两位。
查看MRS集群运行状态 MRS支持创建多个集群,集群购买数量受弹性云服务器数量限制。用户可以通过管理控制台查看所有MRS集群运行状态。 查看MRS集群运行状态 登录MRS管理控制台。 选择“现有集群”,进入集群列表页面。 集群列表默认按创建时间顺序排列,集群列表参数说明如表1所示。
protection 设置HBase通道是否加密,包含HBase客户端访问HBase服务端的RPC(remote procedure call)通道,HMaster和RegionServer间的RPC通道。设置为“privacy”表示通道加密,认证、完整性和隐私性功能都全部开启,设置为“integr
单击待更换磁盘的“节点名称”进入弹性云服务器管理控制台,单击“关机”。 联系华为云支持人员在后台更换磁盘。 在弹性云服务器管理控制台,单击“开机”,将已更换磁盘的节点开机。 初始化Linux数据盘。 具体步骤可参见初始化数据盘对新磁盘进行初始化操作。 执行lsblk命令,查看新增磁盘分区信息。
Oozie在ZooKeeper的路径 oozie.zookeeper.secure 安全集群:true 普通集群:无需配置该参数 ZooKeeper是否启用kerberos 在Oozie的“概览”界面,选择右上角“更多 > 重启服务”,重启Oozie集群。 父主题: 使用Oozie