检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
历史API V1.1 作业管理接口(废弃)
使用Kafka 运行Kafka客户端获取Topic时报错 安全集群中使用Python3.x对接Kafka Flume正常连接Kafka后发送消息失败 Producer发送数据失败,报错“NullPointerException” Producer发送数据失败,报错“TOPIC_A
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2
管理MRS集群节点 管理MRS集群客户端 管理MRS集群作业 管理MRS集群租户 管理MRS集群用户 管理MRS集群元数据 管理MRS集群静态服务资源 管理MRS集群SQL防御规则
准备工作 配置MRS云服务授权 创建IAM用户并授权使用MRS 创建MRS IAM自定义权限策略
生态组件对接 使用DBeaver访问Phoenix 使用DBeaver访问MRS HetuEngine 使用FineBI访问MRS HetuEngine 使用Tableau访问MRS HetuEngine 使用永洪BI访问MRS HetuEngine Hive对接外置自建关系型数据库
MRS集群管理 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩
安装补丁 安装补丁 将从OBS路径中下载的补丁(MRS_3.1.0_TROS_Tools_patch_20240430.tar.gz)工具放至主OMS节点的“/home/omm”目录下。 执行如下命令下载补丁,如果已存在,可跳过此步骤。 wget ${补丁下载地址} 补丁下载地址请参考补丁下载地址。
ALM-38000 Kafka服务不可用(2.x及以前版本) 告警解释 系统按照30秒的周期检测Kafka服务是否可用,当Kafka服务不可用,系统产生此告警。 当Kafka服务恢复正常,告警自动清除。 告警属性 告警ID 告警级别 可自动清除 38000 致命 是 告警参数 参数名称
e自身的进程故障引起。 ZooKeeper服务异常。 HDFS服务异常。 Yarn服务异常。 DBService服务异常。 Hive服务进程故障,如果告警由Hive进程故障引发,告警上报时间可能会延迟5分钟左右。 Hive服务和基础服务间的网络通信中断。 处理步骤 检查HiveS
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
Yarn服务故障。 对应的Hive服务故障。 处理步骤 检查Spark依赖的服务是否有服务不可用告警。 登录MRS集群详情页面,选择“告警管理”。 在告警列表中,查看是否存在以下告警: ALM-25500 KrbServer服务不可用 ALM-25000 LdapServer服务不可用
e客户端执行set session materialized_view_rewrite_enabled=true System级别: 使用用于访问HetuEngine WebUI界面的用户登录FusionInsight Manager。 选择“集群 > 服务 > HetuEngi
应用程序通常只需要分别继承Mapper类和Reducer类,并重写其map和reduce方法来实现业务逻辑,它们组成作业的核心。 MapReduce WebUI界面 用于监控正在运行的或者历史的MapReduce作业在MapReduce框架各个阶段的细节,以及提供日志显示,帮助用户更细粒度地去开发、配置和调优作业。
ALM-13000 ZooKeeper服务不可用(2.x及以前版本) 告警解释 系统每30秒周期性检测ZooKeeper服务状态,当检测到ZooKeeper服务不可用时产生该告警。 ZooKeeper服务恢复时,告警清除。 告警属性 告警ID 告警级别 可自动清除 13000 致命
产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 当Flume服务不可用时,Flume不能正常工作,数据传输业务中断。 可能原因 HDFS服务不可用。 LdapServer服务不可用。 处理步骤 检查HDFS的服务状态。
如何判断某个服务是否使用了Ranger鉴权 问题 如何判断某个支持使用Ranger鉴权的服务当前是否启用了Ranger鉴权? 回答 登录FusionInsight Manager,选择“集群 > 服务 > 服务名称”,在服务详情页上继续单击“更多”,查看“启用Ranger鉴权”是否为可单击?
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
y的brief信息。 使用Spark JobHistory2x页面访问:https://IP:port/api/v1/<appid>/jobs/。 job信息中“numActiveTasks”的值是根据eventlog文件中SparkListenerTaskStart和Spark
hdfs://cluster1/foo/b update和overwrite选项的用法。 -update用于被拷贝的文件在目标位置中不存在,或者更新目标位置中被拷贝文件的内容; -overwrite用于覆盖在目标位置中已经存在的文件。 不加选项和加两个选项中任一个选项的区别,示例如下: 假设,源位置的文件结构如下: