检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Web页面无法直接连接? 问题 无法通过“http://JobManager IP:JobManager的端口”访问Web页面。 回答 由于浏览器所在的计算机IP地址未加到Web访问白名单导致。用户可以通过以下步骤来解决问题。 查看客户端的配置文件“conf/flink-conf.yaml”。 确认配置项“jobmanager
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该
检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该
指定是否打开监控指标数据对接功能。 是 FTP IP地址 指定监控指标数据对接后存放监控文件的FTP服务器。 是 FTP端口 指定连接FTP服务器的端口。 是 FTP用户名 指定登录FTP服务器的用户名。 是 FTP密码 指定登录FTP服务器的密码。 是 保存路径 指定监控文件在FTP服务器保存的路径。 是 转储时间间隔(秒)
通过公网IP连接使用HDFS客户端报错 问题现象 通过公网IP连接主机,不能使用HDFS客户端,运行hdfs命令后提示“-bash: hdfs: command not found”。 原因分析 用户登录Master节点执行命令之前,未设置环境变量。 处理步骤 以root用户登录任意一个Master节点。
准备Eclipse与JDK 选择Windows开发环境下,安装Eclipse,安装JDK。 开发环境安装Eclipse程序,安装要求Eclipse使用4.2或以上版本。 开发环境安装JDK程序,安装要求JDK使用1.8版本。 若使用IBM JDK,请确保Eclipse中的JDK配置为IBM
如果创建MRS集群时暂未绑定弹性公网IP,在“弹性公网IP”下拉框中选择可用的弹性公网IP。如果用户创建集群时已经绑定弹性公网IP,直接执行3.b。 如果没有弹性公网IP,可先单击“管理弹性公网IP”创建弹性公网IP,然后在弹性公网IP下拉框中选择创建的弹性公网IP。 如果在使用完后需要解绑或释放弹
@bdpsit3ap03 ~]# MRS集群中的用户管理由LDAP服务管理提供,又依赖于操作系统的sssd或nscd服务,用户的建立到同步到sssd服务需要一定时间,如果此时用户没有生效,或者sssd版本存在bug的情况下,某些情况下在ZooKeeper节点会出现用户无效的情况,导致创建Topic异常。
根据本地历史数据备份策略,集群的审计日志需要转储到第三方服务器上。系统每天凌晨3点开始周期性检测转储服务器,如果转储服务器满足配置条件,审计日志可以成功转储。审计日志转储失败,系统产生此告警。如果第三方服务器的转储目录磁盘空间不足,或者用户修改了转储服务器的用户名、密码或转储目录,将会导致审计日志转储失败。
配额是用户账号在对应环境配置的可用资源额度,限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务
onse(HRegionServer.java:1386) 原因分析 /etc/hosts中同一个IP地址配置了多个主机名映射关系。 解决办法 修改/etc/host中IP与主机名的映射关系,配置正确。 重新启动HBase组件。 父主题: 使用HBase
单击“管理安全组规则”,检查安全组规则配置。 检查入口方向Any协议的源地址是否为0.0.0.0/0。 如果是,修改入口方向Any协议的远端为指定IP地址。如果不是,则无需修改。 修改成功后,重启集群。 建议与总结 关闭入口方向的Any协议,或者指定入口方向的Any协议远端为指定IP。 父主题: 使用Yarn
JDK,请确保Eclipse中的JDK配置为IBM JDK。 若使用Oracle JDK,请确保Eclipse中的JDK配置为Oracle JDK。 不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 父主题: 准备Storm应用开发环境
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用
Flink Job Pipeline样例程序 Flink Job Pipeline样例程序开发思路 Flink Job Pipeline样例程序(Java) Flink Job Pipeline样例程序(Scala) 父主题: 开发Flink应用
问题2:连接Kafka无法使用Spark的认证信息,需要将相关的认证使用JVM的参数设置进去。 问题3:Spark默认使用当前客户端的认证信息提交任务,也可以使用代码login的方式。但是这两种认证方式都无法更新任务使用的Token,当提交的时候生成的Token信息过期以后就无法再使用
Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java.lang
Spark能对接很多的第三方工具,因此在使用过程中经常会依赖一堆的三方包。而有一些包MRS已经自带,这样就有可能造成代码使用的jar包版本和集群自带的jar包版本不一致,在使用过程中就有可能出现jar包冲突的情况。 常见的jar包冲突报错有: 1、报错类找不到:java.lang