检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
集群中服务运行状态为“亚健康”表示服务部分增强功能无法正常工作。 在本示例场景中,登录Manager查看集群其它服务状态,发现HBase服务被停止。当HBase已安装且状态不正常时,Hive、Spark和Loader服务将处于“亚健康”状态。 此时并不会影响基于Hive服务的上层业务,手动重启HBase服务后,Hive服务运行状态恢复正常。
组 表示作业所属组。 开始 表示作业开始时间。 持续时间 表示作业运行使用的时间。 Id 表示作业的编号,由系统自动生成。 如果MRS集群安装了Spark组件,则默认会启动一个作业“Spark-JDBCServer”,用于执行任务。 父主题: 使用Hue提交Oozie作业
Geospatial函数 以ST_前缀开头的HetuEngine Geospatial功能支持SQL、MM规范,并符合Open Geospatial Consortium(OGC)的OpenGIS规范。因此,许多HetuEngine Geospatial功能要求或更准确地说是假设
单击“Activate”,转化当前拓扑为激活状态。 去激活拓扑 单击“Deactivate”,转化当前拓扑为去激活状态。 重部署拓扑 单击“Rebalance”,将当前拓扑重新部署执行,需要输入执行重部署的等待时间,单位为秒。一般在集群中节点数发生变化时进行,以更好利用集群资源。 删除拓扑 单击“Kil
执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包。 集群jar包路径:“客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 父主题: MRS应用开发开源jar包冲突列表说明
数据的能力。支持多种计算引擎,提供IUD接口,在HDFS的数据集上提供了插入更新和增量拉取的功能。 如需使用Hudi,请确保MRS集群内已安装Spark/Spark2x服务。 图1 Hudi基本架构 Hudi特性 ACID事务能力,支持实时入湖和批量入湖。 多种视图能力(读优化视
ata1.txt,input_data2.txt到此目录,操作如下: 执行以下命令进入HDFS客户端目录并认证用户。 cd HDFS客户端安装目录 source bigdata_env kinit 组件业务用户 (该用户需要具有操作HDFS的权限,首次认证需要修改密码) 执行以下命令创建“/tmp/input”目录。
执行程序时引入的jackson相关包与集群自带的包版本不一致,导致报错,建议使用集群自带的jackson相关jar包。 集群jar包路径:客户端安装目录/Spark2x/spark/jars”或者“客户端安装目录/Spark/spark/jars”。 Spark jar包冲突也可以参考常见jar包冲突处理方式。 父主题:
ardinality_max_dictionary_size参数控制,默认8192)。 示例 CREATE TABLE test_codecs ON CLUSTER default_cluster ( `a` String, `a_low_card` LowCardinality(String)
data/default/table”。 是,执行5。 否,执行7。 以root用户登录客户端,用户密码为安装前用户自定义,请咨询系统管理员。执行如下命令: cd 客户端安装目录 source bigdata_env 如为安全模式集群,请执行kinit hbase 登录HMaster
left()等函数截取中文字符时,不能把中文当做1个字符长度来处理,导致报编码问题。 处理步骤 登录Impala客户端安装节点,执行以下命令。 cd 客户端安装目录 source bigdata_env 执行以下命令创建表。 impala-shell -d bigdata 执行以下命令查询表数据。
s.jar到本地,并将该Jar上传到所有的HiveServer所在节点。 以客户端安装用户,登录1上传了Jar包并且安装了Hive和HDFS客户端的节点。 执行以下命令认证用户。 cd 客户端安装目录 source bigdata_env kinit 具有Hive管理员权限的用户
以root用户登录HDFS客户端,用户密码为安装前用户自定义,请咨询MRS集群管理员。执行如下命令: 安全模式: cd 客户端安装目录 source bigdata_env kinit hdfs 普通模式: su - omm cd 客户端安装目录 source bigdata_env
使用MRS客户端 安装MRS客户端 更新MRS客户端 父主题: 附录
使用Impala 连接impala-shell失败 创建Kudu表报错 Impala客户端安装Python2
删除MRS集群 一般在数据完成分析和存储后或集群异常无法提供服务时才执行集群删除或退订操作。当MRS集群部署失败时,集群会被自动删除或退订。 对于按需收费模式集群,如果作业执行结束后不需要集群, 可以删除MRS集群。集群删除或退订后不再产生费用。 对于包年包月模式集群无法执行删除操作,如果作业执行结束后不需要集群,
若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群: 登录MRS服务控制台。 选择 “现有集群” ,单击集群名称进入集群详情页面。 单击页面上面的按
ervice上,并由DBService提供这些元数据的备份与恢复功能。 DBService结构 DBService组件在集群中采用主备模式部署两个DBServer实例,每个DBServer实例包含三个模块:HA、Database和FloatIP。 其逻辑结构如图1所示。 图1 DBService结构
致系统性能降低。扩容失败后,磁盘仍然过于拥挤,可能会继续影响系统性能。 可能原因 当前系统未安装growpart扩容工具。 系统执行磁盘分区扩容命令失败。 处理步骤 检查当前系统是否安装growpart扩容工具。 登录FusionInsight Manager页面,选择“运维 >
一个ZooKeeper集群的客户端,用来监控NameNode的状态信息。ZKFC进程仅在部署了NameNode的节点中存在。HDFS NameNode的Active和Standby节点均部署有zkfc进程。 HDFS NameNode的ZKFC连接到ZooKeeper,把主机名等