检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“
若运行“Spark on HBase”样例程序,需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”(该参数值默认为“false”,改为“
备份任务执行完成后,系统自动在备集群的备份路径中为每个备份任务创建子目录,目录名为“备份任务名_数据源_任务创建时间”,数据源每次备份的最新备份文件保存在此目录中。所有备份文件集保存在对应的快照目录中。 父主题: 备份MRS集群组件数据
最多保留最近的20个压缩文件,压缩文件保留个数和压缩文件阈值可以配置。
在权限管理中,授予元数据权限将自动关联HDFS文件权限,所以列授权后会增加表对应所有文件的HDFS ACL权限。 数据库授权 用户在Hive和HDFS中对自己创建的数据库拥有完整权限,用户访问别人创建的数据库,需要授予权限。
Topic名称> --bootstrap-server <Kafka集群IP:21009> --consumer.config config/consumer.properties Windows客户端代码使用SSL功能 下载Kafka客户端,解压后在根目录中找到ca.crt证书文件
只有当App已经running,HDFS上已经有该App的事件日志文件时才能查看到聚合的container日志。
HDFS文件系统 登录FTP服务 请参见修改MRS集群组件运行用户密码。
如果旧集群使用HIVE元数据库来存储表结构,则刷新将不起作用,因为文件系统中不存在表结构定义schema文件。
执行如下命令编辑文件。
安全模式下,“机机”用户需要下载keytab文件。“人机”用户第一次登录时需修改密码。 使用Oozie客户端 以客户端安装用户,登录安装客户端的节点。 执行以下命令,切换到客户端安装目录,该操作的客户端目录只是举例,请根据实际安装目录修改。
最多保留最近的20个压缩文件,压缩文件保留个数可以在Manager界面中配置。 表1 Flume日志列表 日志类型 日志文件名 描述 运行日志 /flume/flumeServer.log FlumeServer运行环境信息日志。
SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。
SequenceFile是Hadoop特有的文件格式,RCFile是Hive优化的文件格式。RCFile优化了列存储,在对大表进行查询时,综合性能表现比SequenceFile更优。
private static final String USER_KEYTAB_FILE = "请修改为真实keytab文件名"; // 用户自己申请的机机账号名称 private static final String USER_PRINCIPAL = "请修改为真实用户名称"
检查磁盘是否有误写入的大文件 以omm用户登录DBService主管理节点。 执行以下命令,查看数据目录磁盘空间下超过500MB的文件,检查该目录下是否有误写入的大文件存在。
检查是否Level0层SST文件数太多 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”。 是,执行7。 否,执行9。
既不会因为产生过多的存储文件(夹)导致频繁切换IO降低系统速度(并且会占用大量内存且出现频繁的内存-文件切换),也不会因为过少的存储文件夹(降低了并发度)导致写入命令阻塞。 用户应根据自己的数据规模和使用场景,平衡存储文件的存储组设置,以达到更好的系统性能。
检查是否Level0层SST文件数太大 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”。 在告警列表中,查看是否存在告警“ALM-45644 RocksDB的Level0层SST文件数持续超过阈值”。 是,执行7。 否,执行9。
选择样例工程文件夹mapreduce-examples,单击“确定”按钮。 在“Import Maven Projects”窗口单击“Finish”按钮。 设置Eclipse的文本文件编码格式,解决乱码显示问题。