检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
/system/balancer.id操作失败后,客户端发生RecoveryInProgressException异常: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.protocol.RecoveryInProgressException):
a FilterList object in which filters have "and" // relationship with each other. FilterList list = new FilterList(Operator.MUST_PASS_ALL);
调整IntelliJ IDEA客户端机器时间,和Storm集群时间差不超过5分钟。 确保本地的hosts文件中配置了远程集群所有主机的主机名和业务IP映射关系。 操作步骤 修改WordCountTopology.java类,使用remoteSubmit方式提交应用程序。并替换Jar文件地址。
使用uname -r或rpm -qa |grep kernel命令,查询并记录当前节点内核版本。 执行yum update -y --skip-broken --setopt=protected_multilib=false命令更新补丁。 完成更新后查询内核版本,并执行rpm -e
Manager的“集群 > 待操作集群的名称 > 集群属性”中查看。 在脚本运行过程中,需输入yes及管理员密码。 Running the script will restart Controller and restart ResourceManager. Are you sure you
其他Executor上重试,由于重试时间都是在1分钟内完成,所以task在其他Executor上也运行失败,导致运行失败的Executor加入到黑名单,没有可用的Executor,应用退出。 修改方案: 在Spark使用场景下,需设置“dfs.namenode.delegation
found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作:
Manager的Stdout日志。 当执行结果输出到文件或者其他由Flink应用程序指定途径,您可以通过指定文件或其他途径获取到运行结果数据。以下用Checkpoint、Pipeline和配置表与流JOIN为例: 查看Checkpoint结果和文件 结果在flink的“taskmanager.out”文件中,用户
yarn.archive=hdfs://hacluster/user/spark2x/jars/xxx/spark-archive-2x.zip --conf spark.eventLog.enabled=true --conf spark.eventLog.dir=hdfs://
件夹必须是已存在的,否则会授权失败。 OBS默认开启权限的递归(且不支持修改),无任何权限的子目录会默认继承父目录所有的权限。 Description 策略描述信息。 Audit Logging 是否审计此策略。 Allow Conditions 策略允许条件,配置本策略内允许的权限。
址。 以root用户登录主DBService服务器,用户密码为安装前用户自定义,请咨询系统管理员。 执行ping 备DBService心跳IP地址命令检查备DBService服务器是否可达。 是,执行6。 否,执行4。 联系网络管理员查看是否为网络故障。 是,执行5。 否,执行6。
Manager首页,选择“运维 > 告警 > 告警 > ALM-45428 ClickHouse磁盘IO异常告警”,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 使用PuTTY工具,以root用户登录故障所在节点。 执行命令df -h查看挂载目录,找到故障告警目录挂载的磁盘。 执行命令smartctl
系统环境异常。 处理步骤 扩展pid_max值。 打开MRS集群详情页面,在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。 登录告警节点。 执行命令cat /proc/sys/kernel/pid_max,查看系统当前运行的PID最大值“pid_max”。
Manager页面,选择“运维 > 告警 > 告警”,等待约10分钟后,在告警列表中查看该告警是否自动清除。 是,处理完毕。 否,查看该告警详细信息,记录上报告警的主机IP地址。执行2。 以root用户登录产生告警的主机,执行su - omm,切换到omm用户。 执行如下命令查看进程状态是否处于异常状态。 ps
在FusionInsight Manager页面告警列表中,单击此告警所在行的,查看该告警的主机名。在“主机”页面,根据对应的主机名,查看主机IP。 登录ClickHouse服务异常的实例主机节点,进入当前ClickHouse实例配置目录,执行如下命令: cd ${BIGDATA_H
WebUI。 前提条件 启用Kerberos认证时,MRS集群管理员已分配用户使用Hive的权限。例如创建一个“人机”用户“hueuser”,并加入“hive”、“hadoop”、“supergroup”组和“manager_view”角色,主组为“hive”。 该用户用于登录Hue WebUI。
found异常。 回答 当前版本的Spark内核直接依赖于Kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作:
found异常。 回答 当前版本的Spark内核直接依赖于kafka相关的jar包(结构流使用),因此提交结构流任务时,需要把Kafka相关jar包加入到结构流任务driver端的库目录下,确保driver能够正常加载kafka包。 解决方案 提交yarn-client模式的结构流任务时需要额外如下操作:
如安装路径如:/opt/client。 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。 操作步骤 构建Jar包。 在IntelliJ IDEA中,在生成Jar包之前配置工程的Artifacts信息。
图1 选择Remote 选择对应要调试的源码模块路径,并配置远端调试参数Host和Port,如图2所示。 其中Host为Spark运行机器IP地址,Port为调试的端口号(确保该端口在运行机器上没被占用)。 图2 配置参数 当改变Port端口号时,For JDK1.4.x对应的调