检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在连接关系型数据库前,需提前手动上传驱动。 操作步骤 修改关系型数据库对应的驱动jar包文件权限。 登录Loader服务的主备管理节点,获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的lib路径:“${BIGDATA_HOME}/FusionInsight_P
修改参数值后,需重启Yarn服务使其生效。 说明: 在修改值为false并生效后,生效前的日志无法在UI中获取。您可以在“yarn.nodemanager.remote-app-log-dir-suffix”参数指定的路径中获取到生效前的日志。 如果需要在UI上查看之前产生的日志,建议将此参数设置为true。
<host>获取方法:登录ClickHouse数据源所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 实例”,查看ClickHouseBalancer所在的“业务IP”。随机选取一个IP地址即可,目前仅支持填写一个IP地址。 <port>获取方法:登录
输数据。 “源端路径”:参考2中获取的“备份路径”,填写备集群保存备份数据的完整HDFS路径。例如,“备份路径/备份任务名_数据源_任务创建时间/”。 OBS 表示从OBS中恢复数据。选择此参数值,还需要配置以下参数: “源端路径”:参考2中获取的“备份路径”,填写备份文件在OB
HBase也可以部署多个HMaster,类似HDFS NameNode,当HMaster主节点出现故障时,HMaster备用节点会通过ZooKeeper获取主HMaster存储的整个HBase集群状态信息。即通过ZooKeeper实现避免HBase单点故障问题的问题。 父主题: HBase
执行以下命令,配置环境变量。 source /opt/client/bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit Kafka用户 登录FusionInsight Manager,选择“集群
source bigdata_env 如果当前集群已启用Kerberos认证,执行以下命令认证当前用户,具体请参见角色管理配置拥有对应权限的角色,参考创建用户为用户绑定对应角色。如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit MRS 集群用户 例如,kinit
执行top命令查看“%Cpu(s)”的us值是否大于80。 是:表示用户进程占用CPU过高,记录CPU占用高的进程PID,执行5。 否:执行6。 执行以下命令获取CPU使用高的进程名称,根据名称查询对应进程日志(日志目录“/var/log/Bigdata”),查看对应服务日志是否存在异常报错。 ps
具有supergroup组权限的用户(普通集群跳过该步骤) 执行以下命令修复默认数据仓库权限: 安全环境:hdfs dfs -chmod 770 hdfs://hacluster/user/hive/warehouse 非安全环境:hdfs dfs -chmod 777 hdfs://hacluste
error when connect apache zookeeper ", e); } } [1]userdir获取的是编译后资源目录的路径。将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.x
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取数据库连接 使用JDK的驱动管理类java.sql.DriverManager来获取一个Impalad的数据库连接。 Impalad的数据库URL为url="jdbc:hive2://xxx
keytab文件:安全认证的密钥,在本地选择步骤 5获取的“user.keytab”文件。 krb5文件:Kerberos认证用到的配置文件,在本地选择步骤 5获取的“krb5.conf”文件。 hbase-site文件:连接HDFS时,需要的配置文件。在本地选择步骤 4获取的“hbase-site.xml”文件。
expect to start your database after your app). SparkSQL任务使用时,需要访问DBService以获取元数据信息,在客户端需要解密密文来访问,在使用过程中,用户没有按照流程操作,没有执行配置环境变量操作,且在其客户端环境变量中存在默认的JD
过此步骤) kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka/bin 执行以下命令,获取consumer offset metric信息。 kafka-console-consumer.sh --topic __consumer_offsets
ApplicationMaster(AM) 即图中的App Mstr,负责一个Application生命周期内的所有工作。包括:与RM调度器协商以获取资源;将得到的资源进一步分配给内部任务(资源的二次分配);与NM通信以启动/停止任务;监控所有任务运行状态,并在任务运行失败时重新为任务申请资源以重启任务。
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar: OK 解压获取配置文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles
forName("org.apache.hive.jdbc.HiveDriver").newInstance(); 获取数据库连接 使用JDK的驱动管理类java.sql.DriverManager来获取一个Impalad的数据库连接。 Impalad的数据库URL为url="jdbc:hive2://xxx
仓库,请从Maven中心仓获取。 运行任务 在运行样例程序时需要指定<checkpointDir> <brokers> <topic> <batchTime>,其中<checkPointDir>指应用程序结果备份到HDFS的路径,<brokers>指获取元数据的Kafka地址,<
在FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看该告警“定位信息”中对应的“主机名”字段值,获取该告警产生的主机名,查看定位信息中对应的“路径名”字段值,获取异常的文件路径或者名称。 以root用户登录告警所在节点,用户密码为安装前用户自定义,请咨询系统管理员。 查
MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。 操作步骤 参考获取MRS应用开发样例工程,下载样例工程到本地。 导入样例工程到Eclipse开发环境。 打开Eclipse,选择“File > Import