检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Spark应用开发简介 Spark简介 Spark是分布式批处理框架,提供分析挖掘与迭代式内存计算能力,支持多种语言(Scala/Java/Python)的应用开发。 适用以下场景: 数据处理(Data Processing):可以用来快速处理数据,兼具容错性和可扩展性。 迭代计算
管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 执行ping 备Manager心跳IP地址命令检查备Manager服务器是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。
获取MRS应用开发样例工程 MRS样例工程构建流程 MRS样例工程构建流程包括三个主要步骤: 下载样例工程的Maven工程源码和配置文件,请参见获取MRS样例工程。 配置华为镜像站中SDK的Maven镜像仓库,请参见配置华为开源镜像仓。 根据用户自身需求,构建完整的Maven工程并进行编译开发
表1 参数说明 配置参数 说明 hbase.replication.allowedIPs 仅允许指定IP地址的复制请求,支持逗号分隔型regex模式。
是,浮动IP已被使用,请重新配置其他IP地址。 否,执行7。 检查是否一次性查询了大量的数据。 是,优化Hue查询,避免一次性查询大量数据。 否,执行8。 联系运维人员。 父主题: 访问MRS组件Web UI界面常见异常问题
单击“实例”,查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。 根据业务情况,准备好客户端,参考使用MRS客户端章节,登录安装客户端的节点。
参数值格式为:对端系统内要配置互信集群的Kerberos服务部署的节点IP地址:端口。 如果是双平面组网,需填写业务平面IP地址。 采用IPv6地址时,IP地址应写在中括号“[]”中。
源集群的Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。
安全组中需要放开的IP地址为用户访问MRS集群的公网IP地址,如果当前网络为内部局域网环境,请务必确认安全组中配置的IP地址是否为公网出口IP。 单击MRS集群“概览”页面的“添加安全组规则”检查配置的IP是否变更,如果变更则修改后重新访问Manager。
ALM-45001 HetuEngine计算实例故障 此告警仅适用于MRS 3.2.0及之后版本。 告警解释 系统每60秒周期性检测HetuEngine计算实例状态,当检测到HetuEngine服务存在故障计算实例时产生该告警。 HetuEngine故障计算实例全部恢复时,告警清除
在Windows通过已配置的Broker节点EIP地址和端口连接到Kafka集群并调试代码。 运行样例代码前,修改样例代码中Kafka的连接串为hostname1:9092, hostname2:9092, hostname3:9092;修改代码中的域名。
打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的备Manager IP地址。 登录主管理节点。 执行以下命令检查备Manager服务器是否可达。 ping 备Manager IP地址 是,执行2。 否,执行1.c。
advertised.broker.id.ip.map Kafka对外发布的IP地址,默认值为空。 格式为:Broker ID:IP。多个Broker可为同一IP地址。配置多个映射时,使用英文半角逗号分隔。
Doris FE实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE实例的IP地址。 用户也可以使用MySQL连接软件或者Doris WebUI界面连接数据库。
选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。
选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。
选择“集群 > 待操作集群的名称 > 服务 > meta > 实例 > meta(对应上报告警实例IP地址)”。
Doris FE或DBalancer实例IP地址可通过登录MRS集群的Manager界面,单击“集群 > 服务 > Doris > 实例”,查看任一FE或DBalancer实例的业务IP地址。 用户也可以使用MySQL连接软件或者在Doris WebUI界面连接数据库。
根据表2所示的说明填写上传参数: 表2 上传配置参数 参数名称 参数说明 FTP IP地址模式 必选参数,指定服务器IP地址模式,可选择“IPV4”或“IPV6”。 FTP IP地址 必选参数,指定监控指标数据对接后存放监控文件的FTP服务器。
1:7051,KuduMaster业务IP地址2:7051,KuduMaster业务IP地址3:7051”。