检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ser.principal=spark2x/hadoop.<系统域名>@<系统域名>;saslQop=auth-conf;auth=KERBEROS;principal=spark2x/hadoop.<系统域名>@<系统域名>;" 说明: 其中“<zkNode1_IP>:<zkNode1_Port>
“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ > user”,勾选“hive”的“执行”,单击“确定”保存。 编辑角色,在“配置资源权限”的表格中选择“待操作集群的名称 > HDFS > 文件系统 > hdfs://hacluster/ >user
Storm样例程序开发思路 通过典型场景,可以快速学习和掌握Storm拓扑的构造和Spout/Bolt开发过程。 场景说明 一个动态单词统计系统,数据源为持续生产随机文本的逻辑单元,业务处理流程如下: 数据源持续不断地发送随机文本给文本拆分逻辑,如“apple orange apple”。
本小节介绍了如何使用HQL向已有的表employees_info中加载数据。从本节中可以掌握如何从本地文件系统、MRS集群中加载数据。以关键字LOCAL区分数据源是否来自本地。 样例代码 -- 从本地文件系统/opt/hive_examples_data/目录下将employee_info.txt加载进employees_info表中
独立模块,它作为对HBase与HDFS接口的封装,应用在MRS的上层应用,为上层应用提供文件的存储、读取、删除等功能。 在Hadoop生态系统中,无论是HDFS,还是HBase,在面对海量文件存储的时候,在某些场景下,都会存在一些很难解决的问题: 如果把海量小文件直接保存在HDF
Storm客户端安装程序目录中包含了Storm开发样例工程,将工程导入到Eclipse开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过MRS Manager页面右上角查看。 操作步骤 在Storm示例工程根目录,执行mvn install编译 在Storm示例工程根目录,执行mvn
操作步骤 下载Storm客户端程序。 登录MRS Manager系统。 选择“服务管理 > Storm > 下载客户端 > 完整客户端”,下载客户端程序到“远端主机”,即目标ECS。 登录到客户端下载的目标ECS。 在Linux系统中,使用如下命令解压客户端压缩包。 tar -xvf MRS_Storm_Client
获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程
获取ClickHouse开发样例工程,将工程导入到IntelliJ IDEA开始样例学习。 前提条件 确保本地PC的时间与集群的时间差要小于5分钟,若无法确定,请联系系统管理员。集群的时间可通过FusionInsight Manager页面右下角查看。 操作场景 ClickHouse针对多个场景提供样例工程
HBase数据恢复任务报错回滚失败 问题 HBase恢复任务执行失败后系统自动回滚数据,若页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。
如果执行的Workflow需要传递参数,可单击“+添加参数”设置参数,然后单击右上角的保存作业。 因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。比如在中国,此处的时间则会比当地时间晚8个小时。 如果需要统一同步配置为上海时间,操作如下: 在Manager页面,选择“集群
从零开始使用Kudu Kudu是专为Apache Hadoop平台开发的列式存储管理器。Kudu具有Hadoop生态系统应用程序的共同技术特性:可水平扩展,并支持高可用性操作。 前提条件 已安装集群客户端,例如安装目录为“/opt/hadoopclient”,以下操作的客户端目录只是举例,请根据实际安装目录修改。
BE/etc/ENV_VARS”中的“CURRENT_INSTANCE_IP”变量查看。 “priority_network”主要用于帮助系统选择正确的网卡IP作为FE或BE的IP,建议任何情况下,都显式的设置该参数,避免后续机器增加新网卡导致IP选择不正确问题。“priorit
OKerberos资源异常(2.x及以前版本) 告警解释 告警模块对Manager中的Kerberos资源的状态进行监控,当Kerberos资源异常时,系统产生此告警。 当Kerberos资源恢复时,且告警处理完成时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 12005 严重 是 告警参数
ALM-43008 JobHistory进程直接内存使用超出阈值(2.x及以前版本) 告警解释 系统每30秒周期性检测JobHistory进程直接内存使用状态,当检测到JobHistory进程直接内存使用率超出阈值(最大内存的90%)时产生该告警。 告警属性 告警ID 告警级别 可自动清除
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 集群已经存在的任务无法运行;集群可接收新的Storm任务,但是无法运行。 可能原因 集群中Supervisor处于异常状态。
ALM-38009 Broker磁盘IO繁忙(适用于MRS 3.1.0之后版本) 告警解释 系统每60秒周期性检测Kafka各个磁盘的IO情况,当检测到某个Broker上的Kafka数据目录磁盘IO超出阈值(默认80%)时,产生该告警。 平滑次数为3,当该磁盘IO低于阈值(默认80%)时,告警恢复。
产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 GC时间超出阈值,会影响JobHistory2x进程运行的性能,甚至造成JobHistory2x进程不可用,
ALM-45325 Presto服务不可用 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统每60秒周期性检测Presto服务状态。当Presto服务不可用时产生该告警;当Presto服务恢复时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 45325 紧急
ALM-45330 Presto Worker线程数超过阈值 本章节仅适用于MRS 3.1.5及之后版本。 告警解释 系统会检查Presto Coordinator和Worker实例的线程使用情况,默认阈值为1024个。如果Presto Coordinator或Worker的线程数超过阈值,则发出告警。