检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在Hive服务重启期间,正在重启的实例无法对外提供服务,且对应实例上正在执行的SQL任务可能失败。 观察界面告警是否清除。 是,处理完毕。 否,执行7。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 > 下载”。
在HDFS上建立一个文件夹“/tmp/input”,并上传input_data1.txt、input_data2.txt到此目录。 将生成的jar包上传至Spark2x运行环境下(Spark2x客户端),如“/opt/female”。
访问MRS集群Manager 访问MRS集群Manager场景 MRS集群提供Manager对集群进行监控、配置和管理,用户在集群安装后可使用admin用户登录Manager页面。 当前支持以下几种方式访问Manager,请根据实际情况进行选择: 通过弹性IP访问FusionInsight
导入并配置Flink SpringBoot样例工程 该章节内容适用于MRS 3.3.0及之后版本。 操作场景 为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码,需要完成下面的操作。当前支持GaussDB(DWS)样例工程。 该章节以在Linux
导入并配置Flink SpringBoot样例工程 该章节内容适用于MRS 3.3.0及之后版本。 操作场景 为了运行FusionInsight MRS产品Flink组件的SpringBoot接口样例代码,需要完成下面的操作。当前支持GaussDB(DWS)样例工程。 该章节以在Linux
在节点上安装客户端,如安装到“/opt/client”目录。 确认服务端Spark组件已经安装,并正常运行。 客户端运行环境已安装1.7或1.8版本的JDK。 获取并解压缩安装包“MRS_Spark_Client.tar”。执行如下命令解压。
该锁只适用于一台机器上只运行一个Spark Driver(或者JDBCServer)的情况。 HDFSLOCK:基于HDFS文件系统上的文件来创建的锁。该锁适用于集群上有多个运行的Spark应用而且没有可用的ZooKeeper的情况。
Mapreduce和Yarn的数据存放在HDFS上,故其依赖HDFS提供备份与恢复即可。 ZooKeeper中存储的业务数据,其备份恢复能力由各上层组件按需独立实现。
其中“sparkthriftserver”是Zookeeper上的目录,表示客户端从该目录下随机选择Triftserver实例或proxyThriftServer进行连接。 用户可登录Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
方案架构 Hive是建立在Hadoop上的数据仓库框架,提供大数据平台批处理计算能力,能够对结构化/半结构化数据进行批量分析汇总完成数据计算。
命令如下: hbase org.apache.hadoop.hbase.mapreduce.LoadIncrementalHFiles </path/for/hfiles> <tableName> </path/for/hfiles>:指的是索引数据在HDFS上的路径(其为-Dimport.bulk.output
这两种方式都是作用在HBase的列簇上,可以同时使用,也可以单独使用。 前提条件 已安装HBase客户端。例如,客户端安装目录为“/opt/client”。 如果集群开启了Kerberos认证,操作的用户还需要具备对应的操作权限。
打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具,打包项目,生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
其中“sparkthriftserver”是Zookeeper上的目录,表示客户端从该目录下随机选择Triftserver实例或proxyThriftServer进行连接。 用户可登录Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。
这两种方式都是作用在HBase的列簇上,可以同时使用,也可以单独使用。 前提条件 已安装HBase客户端。例如,客户端安装目录为“/opt/client”。 如果集群开启了Kerberos认证,操作的用户还需要具备对应的操作权限。
“-c”(可选):指定业务配置文件,该文件需要用户根据自己业务生成,具体操作可在Flume服务端中“配置工具”页面参考Flume业务配置指南章节生成,并上传到待安装客户端节点上的任一目录下。
<topic>指读取Kafka上的topic名称。 <batchTime>指Streaming分批的处理间隔,例如设置为“5”。
HADOOP.COM ip=10.6.92.39 operation=create znode target=ZooKeeperServer znode=/kafka/brokers/topics/test/partitions result=failure 在ZooKeeper各个实例节点上执行
Hbase Bulkload作业失败 /tmp/hadoop-omm/yarn/system/rmstore 固定目录 ResourceManager运行状态信息 是 ResourceManager重启后状态信息丢失 /tmp/archived 固定目录 MR任务日志在HDFS上的归档路径
MetaStore权限 类似于Hive,HetuEngine也是建立在Hadoop上的数据仓库框架,提供类似SQL的结构化数据。 集群中的各类权限需要先授予角色,然后将用户或者用户组与角色绑定。用户只有绑定角色或者加入绑定角色的用户组,才能获得权限。