检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如果存在无用数据,可删除对应数据以减小HBase存储文件数量,如果以上情况都不满足,则需考虑扩容。 父主题: HBase故障排除
客户端将metric信息输出到指定文件。
前提条件 已获取样例工程运行所需的配置文件及认证文件,详细操作请参见准备连接HBase集群配置文件。
在“/opt/hbase-examples”新建hbasepython.properties文件,并修改配置内容如下。
<keystore_path>为truststore.jks文件生成路径,<password>为truststore密码,可根据需要指定。
将初始化需要的配置文件“core-site.xml”、“hdfs-site.xml”、“hbase-site.xml”和用于安全认证的用户凭证文件放置到“src/main/resources”的目录下。
clean_hours_retained clean保留多长时间内的数据文件。 否,默认24小时。 clean_commits_retained clean保留多少commits写的数据文件。 否,默认10。 archive_policy archive使用的执行策略。
input的路径,<outputPath>指HDFS文件系统中output的路径。
登录告警节点,将“/srv/BigData/journalnode/hacluster/current”目录下的所有文件移动到其他新建目录下(例如“/opt/test”),保持该目录下清空状态。
input的路径,<outputPath>指HDFS文件系统中output的路径。
如果旧集群使用HIVE元数据库来存储表结构,则刷新将不起作用,因为文件系统中不存在表结构定义schema文件。
检查并更新metastroe中分区数组,它支持3种模式: ADD:将文件系统中存在但metastore里没有的分区系统同步到metastroe中。 DROP:drop元数据表中存在但文件系统中不存在的分区。 FULL:同时进行ADD和DROP操作。
hdfs Auth KeytabFile 访问用户的keytab文件。可单击“上传文件”进行上传。 安全模式集群填写该参数,普通模式集群不显示该参数。 说明: 该文件可在Manager界面选择“系统 > 权限 > 用户”,在待操作用户后选择“更多 > 下载用户凭证”获取。
kinit hdfs 在HDFS客户端执行以下命令,检查HDFS根目录下全部目录和文件是否状态正常。 hdfs fsck / 检查fsck显示结果: 显示如下信息,表示无文件丢失或损坏,执行4。
将工程中的“lib”文件夹和“conf”文件夹上传至和Jar包相同的Linux运行环境目录下(其中“lib”目录汇总包含了工程中依赖的所有的Jar包,“conf”目录包含运行jar包所需的集群相关配置文件,请参考准备运行环境)。 执行如下命令运行Jar包。
在客户端“spark-defaults.conf”配置文件中,修改或增加配置选项“spark.driver.userClassPathFirst = true”。 父主题: Spark应用开发常见问题
(可选)如果不使用样例工程,可在自己工程的pom.xml文件中添加依赖如下: guava <!
在“flink-conf.yaml”文件中配置: keytab路径。
相关的终端节点策略中,未允许MRS集群内节点直接访问MRS补丁所在的OBS文件桶,导致无法将最新补丁下载到集群内进行安装。 解决办法 在集群所在VPC对应重点节点策略中,将当前Region的补丁桶放通,以保证MRS集群节点可以正常获取补丁文件。
数据保密性 MRS分布式文件系统在Apache Hadoop版本基础上提供对文件内容的加密存储功能,避免敏感数据明文存储,提升数据安全性。 业务应用只需对指定的敏感数据进行加密,加解密过程业务完全不感知。