检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理无法直接通过URL访问Flink Web 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过修改客户端的配置文件“conf/flink-conf
Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
Job Pipeline样例程序(Java) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipelineNettySink。
通过管理控制台查看集群事件 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 选择“告警管理 > 事件”查看事件信息。 单击“全部导出”。在弹框内选择保存类型,单击“确定”可导出事件。 通过Manager查看集群事件 MRS 3
添加网络ACL规则,其中“策略”选择“允许”,“源地址”填入4中获取的“虚拟私有云”对应的“IPv4网段”,其他值保持默认即可。 单击“确定”完成网络ACL规则添加。 如果您不想放开VPC对应的全部IPv4网段的规则,请继续参考9~13添加切换前后两个子网对应的IPv4网段地址。若已完成VPC对应IPv4网段的规则添加,则无需执行操作。
Job Pipeline样例程序(Scala) 下面列出的主要逻辑代码作为演示。 完整代码请参阅: com.huawei.bigdata.flink.examples.UserSource。 com.huawei.bigdata.flink.examples.TestPipeline_NettySink。
> Ranger > 实例”中查看主RangerAdmin实例所在节点IP。 北京一区域下载地址:https://mrs-patch-cn-north-1.obs.cn-north-1.myhuaweicloud.com/MRS_Common_Script/MRS_1.9_Patc
结束所有FE进程,同时结束所有业务访问,保证在元数据恢复期间不受外部访问出现不可预期的问题。 查找FE所有实例节点上元数据,找到最新的一个节点FE,作为恢复的Master。 进入FE后台节点,查看配置文件“${BIGDATA_HOME}/FusionInsight_Doris_x.x.x/x_x_FE/etc/fe
Flink Job Pipeline样例程序(Java) 发布Job自定义Source算子产生数据 下面代码片段仅为演示,完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource:
表1 审计日志转储参数 参数 示例 参数说明 SFTP IP 模式 IPv4 目标IP的IP地址模式,可选择“IPv4”或者“IPv6”。 SFTP IP 192.168.xxx.xxx 指定审计日志转储后存放的SFTP服务器,建议使用基于SSH v2的SFTP服务,否则存在安全风险。
配置具备表select权限的用户可查看表结构 操作场景 使用Hive建表时,其他用户被授予select权限后,支持通过show create table查看表结构。 操作步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > Hive > 配置 > 全部配置”。
单击“确定”。 如果连接配置,例如IP地址、端口、访问用户等信息不正确,将导致验证连接失败无法保存。 用户可以直接单击“测试”立即检测连接是否可用。 查看连接 在Loader页面,单击“新建作业”。 单击“连接”后的下拉列表框,可以查看已创建的连接。 编辑连接 在Loader页面,单击“新建作业”。
FusionInsight代理的URL地址类似于:https://<oms ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLogs”,然后单击需要查看的其中一个Executor的“logs”,此时会报如图1所示的错误。
查看Kafka Topic信息 操作场景 用户可以在Manager或KafkaUI上查看Kafka已创建的主题信息。 在Manager查看Kafka Topic信息 登录FusionInsight Manager,具体请参见访问集群Manager。然后选择“集群 > 服务 > Kafka”。
Manager平台,无法进行正常运维操作。 floatip进程持续重启,可能引起无法访问服务原生UI界面。 可能原因 浮动IP地址异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机地址及资源名称。 以roo
Flink Job Pipeline样例程序(Scala) 发送消息 下面代码片段仅为演示,完整代码参见FlinkPipelineScalaExample样例工程下的com.huawei.bigdata.flink.examples.Information: package com
MRS集群如何访问ZooKeeper? 问题现象 在MRS的Master节点使用zkcli.sh访问ZooKeeper存在报错。 原因分析 用户使用的命令有误,造成报错的发生。 处理步骤 获取ZooKeeper的IP地址及端口信息,具体请参考如何获取ZooKeeper地址?。 以root用户登录Master节点。
Hadoop压力测试工具如何获取? 问: Hadoop压力测试工具如何获取? 答: Hadoop压力测试工具社区获取地址:https://github.com/Intel-bigdata/HiBench。 父主题: 性能优化类
ster节点的IP并注释掉其他server的地址。 server master1_ip prefer server master2_ip 图1 增加Master节点的IP 执行service ntpd stop命令关闭NTP服务。 执行/usr/sbin/ntpdate 主Master节点的IP地址
如何在MRS集群中手动添加组件? 问:如何在已创建好的MRS集群中手动添加服务? 答: 已经创建的MRS 3.1.0及之前版本集群不支持安装新的组件。如果需要使用当前集群未安装的组件,则需要重新创建一个集群,并且选择所需要的组件。 MRS 3.1.2-LTS.3及之后版本的自定义