检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
向动态分区表中插入数据时,在重试的task中出现"Failed to CREATE_FILE"异常 使用Hash shuffle出现任务失败 访问Spark应用的聚合日志页面报“DNS查找失败”错误 由于Timeout waiting for task异常导致Shuffle FetchFailed
主机上业务无法发起对外建立连接,业务中断。 可能原因 临时端口不满足当前业务需求。 系统环境异常。 处理步骤 扩大临时端口范围。 登录MRS集群详情页面,选择“告警管理”。 在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机IP地址。 使用PuTTY工具,以omm用户登录告警所在主机。
MRS支持基于WebUI的统一的用户登录能力,Manager自带用户认证环节,用户只有通过Manager认证才能正常访问集群。 MRS支持数据存储加密,所有用户账号密码加密存储,数据通道加密传输,服务模块跨信任区的数据访问支持双向证书认证等能力。 MRS大数据集群提供了完整的企业级大数据多租户解决方案。多租户
ducer和consumer,以及Flink Stream SQL Join使用主要逻辑代码作为演示。 每秒钟往Kafka中生产一条用户信息,用户信息有姓名、年龄、性别组成。 下面代码片段仅为演示,完整代码参见FlinkStreamSqlJoinExample样例工程下的com.huawei
servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafka安全模式端口),那么修改该端口为9092(Kafka普通模式端口)。 检查网络是否正常,确保当前机器能够正常访问Kafka集群。
[[CREATE] on Object [type=DATABASE, name=xxx]] 可能原因 CDL业务运行用户无权限在其他用户创建的数据库中创建表。 处理步骤 登录FusionInsight Manager,选择“系统 > 角色 > 添加角色”,填写角色名称,在“配置资源权限”表格中选择“待操作的集群名称
在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志 > 下载”。 在“服务”中勾选操作集群的“IoTDB”,单击“确定”。 在“主机”勾选1查看到的主机,单击“确定”。
打开FusionInsight Manager页面,在实时告警列表中,单击此告警所在行的,获取告警所在主机IP地址。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令cat /proc/sys/kernel/pid_max,查看系统当前运行的PID最大值pid_max。
式下是9092。 使用KafkaUI查看当前消费情况(MRS 3.1.2及之后版本) 进入KafkaUI界面。 使用具有KafkaUI页面访问权限的用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka”。 如需在页面上进行相关操作,例如创建To
Manager MRS Manager支持滚动安装补丁时不重启服务 MRS大数据组件 解决obs委托的5min内140次的访问限制问题 Kafka支持开源方式访问 解决SPARK-27637开源问题 优化hive滚动重启 obs包升级 补丁兼容关系 MRS 1.9.0.5补丁包中包含MRS
保Topic未使用,确保删除的准确性。 使用已具有KafkaUI页面访问权限的用户登录Manager。 选择“集群 > 服务 > Kafka”。在“KafkaManager WebUI”右侧,单击URL链接,访问KafkaUI的页面。 单击“Topics”,进入Topic管理页面。
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 Guardian TokenServer实例RPC处理平均时间超过阈值可能导致业务访问OBS变慢,严重时会导致无法正常访问OBS。 可能原因 告警阈值配置不合理。 Guardian TokenServer实例设置的内存太小,频繁Full GC造成JVM卡顿。
置文件中,“high-availability.zookeeper.client.acl”默认为“creator”,仅创建者有权限访问,新用户无法访问ZooKeeper上的目录导致yarn-session.sh执行失败。 解决方法如下: 修改客户端配置文件“conf/flink-conf
x及后续版本支持Ranger,如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加Hive的Ranger访问权限策略。 前提条件 完成Hive客户端的安装。例如安装目录为“/opt/client”。 获取一个拥有管理员权限的用户,例如“admin”。
在运行的任务将失败。 HiveServer滚动重启时,将等待客户端连接断开,最长等待30分钟。 Mapreduce 直接重启 重启期间无法访问作业历史页面查看历史任务信息,不影响作业运行。 直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 Yarn
authentication.principal 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户名。 authentication.keytab 安全模式中使用keytab认证,配置访问Loader服务的“机机”用户keytab文件目录,需包含绝对路径。 zookeeper
集群的计费模式,MRS只支持“包年/包月”模式。 包年/包月 区域 待创建资源所在的区域信息,不同区域的资源之间内网不互通,请选择靠近您的区域,可以降低网络延时、提高访问速度。 - 集群名称 MRS集群名称,可以设置为系统默认名称,但为了区分和记忆,建议带上项目拼音缩写或者日期信息等。 集群创建成功后,您也可以在集群列表中手动修改集群名称。
在需要对主实例进行维护不能提供服务,或者其他维护需要时,可以手动触发实例主备倒换。 执行角色实例主备倒换 登录Manager,详情请参考访问MRS集群Manager。 选择“集群 > 服务”。 MRS 2.x及之前版本,请单击“服务管理”。不同版本参数略有差别,请以环境实际显示为准。
setParallelism(2) //设置Zookeeper为注册服务器 val zkRegisterServerHandler = new ZookeeperRegisterServerHandler //添加用户自定义算子产生数据 env.addSource(new
TH_LIMIT阈值; ClickHouse存在业务大的变更或者迁移、导数据的动作。 处理步骤 选择“集群 > ClickHouse > 实例 > 全部配置”,搜索“ZNODE_GROWTH_LIMIT”,调高ZNODE_GROWTH_LIMIT阈值(默认为100000,以500