检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
表2 影响实时读数据相关参数 配置参数 描述 默认值 COMPRESSION 配置数据的压缩算法,这里的压缩是HFile中block级别的压缩。对于可以压缩的数据,配置压缩算法可以有效减少磁盘的IO,从而达到提高性能的目的。 说明: 并非所有数据都可以进行有效压缩。
代码样例 如下是读文件的代码片段,详细代码请参考com.huawei.bigdata.hdfs.examples中的HdfsMain类。
表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。
代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。
Superior Scheduler可实现开源调度器、Fair Scheduler以及Capacity Scheduler的所有功能。
代码样例 下面代码片段在com.huawei.bigdata.hbase.examples包的“TestMain”类的init方法中。
、全栈式的云原生大数据平台,满足客户业务快速增长和敏捷创新诉求。
JVM调优 当应用程序需要处理大量数据从而占用更多的内存时,存在worker内存大于2GB的情况,推荐使用G1垃圾回收算法。
RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。
RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。
RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。
原因分析 在Driver端打印异常如下: Exception Occurs: BadPadding 16/02/22 14:25:38 ERROR Schema: Failed initialising database.
表1 参数说明 参数 说明 默认值 spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。
通过Sqoop迁移数据库数据时报错 用户问题 MRS Sqoop迁移数据库数据报错如下: Communications link failure; The driver has not received any packets from the server; 源端为DWS数据库时报错如下
MRS安全增强 MRS作为一个海量数据管理和分析的平台,具备高安全性。MRS主要从以下几个方面保障用户的数据和业务运行安全。 网络隔离 整个系统部署在公有云上的虚拟私有云中,提供隔离的网络环境,保证集群的业务、管理的安全性。
调用类TestMain下的init()方法会初始化Configuration对象: private static void init() throws IOException { // load hbase client info if(clientInfo
RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。
RCFile(推荐使用)或SequenceFile,加密算法为ARC4Codec。
如何修复Overlap状态的HBase Region 问题 使用hbck工具检查Region状态,如果日志中存在“ERROR: (regions region1 and region2) There is an overlap in the region chain.”或者“ERROR
HetuEngine计算实例启动失败报错Python不存在 问题 启动HetuEngine计算实例失败,查看coordinator Container下面的“stderr.txt”日志报错如下: /usr/bin/env: ‘python’: No such file or directory