检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
console,调整为DEBUG。 export HADOOP_ROOT_LOGGER=ERROR,console,调整为ERROR。 永久调整 在HDFS客户端环境变量配置文件“/opt/client/HDFS/component_env”(其中“/opt/client”需要改为实际客户端路径)增加“export
N,缓存中将会找不到HDFS_DELEGATION_TOKEN。 为了能够在随后的工作中再次使用同一个Token,为MapReduce任务配置参数。当参数为false时,用户能够再次使用同一个Token。 jobConf.setBoolean("mapreduce.job.complete
Spark同时访问两个HBase样例程序 Spark同步HBase数据到CarbonData样例程序 使用Spark执行Hudi样例程序 Hudi自定义配置项样例程序 父主题: Spark2x开发指南(安全模式)
可能原因 浮动IP地址异常。 数据库异常。 处理步骤 检查主管理节点的浮动IP地址状态。 打开MRS集群详情页面,在告警管理页签的告警列表中,单击此告警所在行,在告警详情中,查看该告警的主机地址及资源名称。 登录主管理节点。执行以下命令切换用户: sudo su - root su
WebUI后,在界面左侧导航栏单击 ,选择“Workflow”后报错: 建议使用新建的具有对于组件管理权限的用户访问,此时可以参考创建用户章节,创建一个业务用户,例如创建一个具有HDFS管理权限的用户登录并访问HDFS WebUI界面。 父主题: 访问MRS组件Web UI界面常见异常问题
页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。 Spark UI 进入组件管理页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。
查询请求,然后将执行结果取回并展示。 HSBroker HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。 HSConsole 对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。 HSFabric 提供跨域(DC)高性能安全数据传输。
found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。 规避手段: 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred.
行hostname为eth0节点为同一RegionServer上报的信息,登录相应节点,查看/etc/hosts文件,发现,对应同一ip,配置两个hostname。如下: 解决办法 登录RegionServer所在节点,修改/etc/hosts文件,同一ip只能对应同一hostname。
Spark等,后续会支持更多组件。 Ranger为各组件提供了基于PBAC(Policy-Based Access Control)的权限管理插件,用于替换组件自身原来的鉴权插件。Ranger插件都是由组件侧自身的鉴权接口扩展而来,用户在Ranger WebUI上对指定servi
在Ranger WebUI界面取消用户admintest的所有权限: 使用admintest用户登录CDL WebUI界面后,该用户可以在“作业管理界面”操作自己创建的任务: 可能原因 用户未删除Ranger策略上的“{OWNER}”权限。 处理步骤 使用admin用户登录FusionInsight
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
选择“组件管理 > Kafka > Broker”,进入Kafka实例页面。 查看“角色”中所有实例是否正常。 是,执行3.d。 否,执行3.c。 勾选Broker所有实例,选择“更多 > 重启实例”,查看是否重启成功。 是,执行3.d。 否,执行4。 选择“组件管理 > Kafka”,查看健康状态是否为“良好”。
Kafka数据消费概述 Kafka用户权限管理 Kafka客户端使用实践 快速使用Kafka生产消费数据 创建Kafka Topic 在Kafka Topic中接入消息 管理Kafka Topic Kafka企业级能力增强 Kafka性能调优 Kafka运维管理 Kafka常见问题
否,执行6。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Loader > 配置”,选择“全部配置”,在搜索栏里搜索“LOADER_GC_OPTS”参数。将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 出现此
如果用户密码输入错误,请检查并输入正确密码。 MRS集群默认管理用户为admin,密码为创建集群时用户设置。 或参考如何重置或修改Manager(admin)密码?章节重置用户密码。 集群的用户密码过期或遗忘后,也可使用管理员登录Manager初始化该用户的密码。 登录FusionInsight
Kudu的应用程序支持多种语言进行开发,一般使用Java为主,推荐使用Eclipse或者IntelliJ IDEA工具,请根据指导完成开发环境配置。 准备本地应用开发环境 根据场景开发工程 提供样例工程,帮助用户快速了解Kudu各部件的编程接口。 开发Kudu应用 查看程序运行结果
found”。该问题原因是操作系统的GLIBCXX版本较低,导致该特性依赖的libnativetask.so.1.0.0库无法加载,进而导致任务失败。 规避手段: 设置配置项mapreduce.job.map.output.collector.class的值为org.apache.hadoop.mapred.
重启实例”。查看JournalNode能否成功启动。 是,执行1.f。 否,执行5。 等待5分钟后,在“告警管理”页签,查看该告警是否恢复。 是,处理完毕。 否,执行2.a。 检查DataNode实例状态。 在MRS集群详情页面,单击“组件管理”。 单击“HDFS”。 在“操作状态和健康状态”中,查看所有DataN