检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用于项目管理,贯穿软件开发生命周期。 准备开发用户 参考准备MRS应用开发用户进行操作,准备用于应用开发的集群用户并授予相应权限。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。
如果是安全模式集群,您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。 krb5.conf Kerberos server配置信息。 不同集群的“user.keytab”、“krb5.conf”不能共用。
其中Keytab文件及principal信息请联系管理员获取,Beeline的连接样例如下所示: sh CLIENT_HOME/spark/bin/beeline -u "jdbc:hive2://<zkNode1_IP>:<zkNode1_Port>,<zkNode2_IP>:<
flume 固定目录 Flume采集到HDFS文件系统中的数据存储目录 否 Flume工作异常 /mr-history/tmp 固定目录 MapReduce作业产生的日志存放位置 是 日志信息丢失 /mr-history/done 固定目录 MR JobHistory Server管理的日志的存放位置
其中ResourceManager是一个全新的资源管理系统,而ApplicationMaster则负责MapReduce作业的数据切分、任务划分、资源申请和任务调度与容错等工作。 Yarn和ZooKeeper的关系 ZooKeeper与Yarn的关系如图3所示。
如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。
编译并运行程序 导出jar包 进入IntelliJ IDEA,选择“File > Project Structure > Artifacts”。 单击“加号”,选择“JAR > From modules with dependencies”。
操作步骤 登录FusionInsight Manager系统。 选择“集群 > 服务 > Spark2x > 配置”。单击“全部配置”。
getprinc 系统内部用户名 例如:getprinc user1 kadmin: getprinc user1 ......
选择“集群 > 待操作集群的名称 > 服务 > Loader > 更多 > 重启服务”,输入管理员密码重启Loader服务。
对于CarbonData数据中的Bad Records管理,请参见表2。
HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
以root用户登录到产生告警的DataNode的节点,用户密码为安装前用户自定义,请咨询系统管理员。 如果告警原因为“DataNode数据目录创建失败”,执行10。 如果告警原因为“DataNode数据目录与系统关键目录(/或/boot)使用同一磁盘”,执行17。
以这种方式,提高了数据管理效率和集群资源效率。 父主题: HDFS
配置文件中包含认证密码信息可能存在安全风险,建议当前场景执行完毕后删除相关配置文件或加强安全管理。 install_path(必填项):Flume客户端安装路径。
因为日志是保存在系统盘上,有空间限制。如果如需长期保存,则需要将日志挂载出来。 父主题: 组件配置类
HBase常用接口介绍 HBase常用的Java类有以下几个: 接口类Admin,HBase客户端应用的核心类,主要封装了HBase管理类操作的API,例如建表,删表等操作,部分常见接口参见表表1。
例如客户端软件包为“FusionInsight_Cluster_1_Services_Client.tar”,下载路径为主管理节点的“/tmp/FusionInsight-Client”: cd /tmp/FusionInsight-Client tar -xvf FusionInsight_Cluster
以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。查看告警角色所在安装目录用户、用户组、权限等是否正常。正常用户和用户组的权限为“omm:ficommon 750”。
如果当前组件使用了Ranger进行权限控制,需基于Ranger配置相关策略进行权限管理。