-
Hive数据存储及加密配置 - MapReduce服务 MRS
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
-
配置多主实例与多租户模式切换 - MapReduce服务 MRS
irscheduler.xml spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true
-
配置多主实例与多租户模式切换 - MapReduce服务 MRS
irscheduler.xml spark.proxyserver.hash.enabled 是否使用Hash算法连接ProxyServer。 true为使用Hash算法,使用多租户模式时,该参数需配置为true。 false为使用随机连接,多主实例模式,配置为false。 true
-
ALM-12014 设备分区丢失 - MapReduce服务 MRS
从“定位信息”中获取“主机名”、“设备分区名”和“挂载目录名”。 确认“主机名”节点的“设备分区名”对应的磁盘是否在对应服务器的插槽上。 是,执行4。 否,执行5。 联系硬件工程师将故障磁盘在线拔出。 以root用户登录发生告警的“主机名”节点,检查“/etc/fstab”文件中是否包含“挂载目录名”的行,用户密码为安装前用户自定义,请咨询系统管理员。
-
二进制函数和运算符 - MapReduce服务 MRS
varbinary 计算二进制块的SHA 1哈希值。 sha2(string, integer) → string 安全散列算法2, 是一种密码散列函数算法标准,其输出长度可以取224位,256位, 384位、512位,分别对应SHA-224、SHA-256、SHA-384、SHA512
-
大数据业务开发 - MapReduce服务 MRS
Kafka目前支持的访问协议类型有哪些? 消费Kafka Topic时报错“Not Authorized to access group XXX”如何处理? Kudu支持的压缩算法有哪些? 如何查看Kudu日志? 新建集群Kudu服务异常如何处理? MRS是否支持Python代码? OpenTSDB是否支持Python的接口?
-
HDFS性能调优 - MapReduce服务 MRS
优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令 使用LZC压缩算法存储HDFS文件 父主题: 使用HDFS
-
HDFS性能调优 - MapReduce服务 MRS
优化HDFS NameNode RPC的服务质量 优化HDFS DataNode RPC的服务质量 执行HDFS文件并发操作命令 使用LZC压缩算法存储HDFS文件 父主题: 使用HDFS
-
MRS组件应用开发简介 - MapReduce服务 MRS
获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景下的多种样例程序,用户可获取样例工程并导入本地开发环境中进行程序学习。 配置安全认证 连接开启了Kerberos认证的MRS集群时,应用程序中需配置具有相关资源访问权限的用户进行安全认证。
-
Kudu应用开发简介 - MapReduce服务 MRS
格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。Master和TServer采用raft算法,该算法可确保只要副本总数的一半以上可用,tablet就可以进行读写操作。例如,如果3个副本中有2个副本或5个副本中有3个副本可用,则tabl
-
Spark SQL性能调优 - MapReduce服务 MRS
SQL性能 Spark INSERT SELECT语句调优 多并发JDBC客户端连接JDBCServer 动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark2x
-
创建HBase表 - MapReduce服务 MRS
(5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置编码算法,HBase提供了DIFF,FAST_DIFF,PREFIX三种编码算法。 hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF);
-
创建HBase表 - MapReduce服务 MRS
(5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置编码算法,HBase提供了DIFF,FAST_DIFF,PREFIX三种编码算法。 hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF);
-
Kudu - MapReduce服务 MRS
用于严格可序列化的一致性的选项 提供同时运行顺序读写和随机读写的良好性能 易于管理 高可用性。Master和TServer采用raft算法,该算法可确保只要副本总数的一半以上可用,tablet就可以进行读写操作。例如,如果3个副本中有2个副本或5个副本中有3个副本可用,则tabl
-
创建HBase表 - MapReduce服务 MRS
(5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置编码算法,HBase提供了DIFF,FAST_DIFF,PREFIX三种编码算法 hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF);
-
创建HBase表 - MapReduce服务 MRS
(5)调用Admin的建表方法。 注意事项 注[1] 可以设置列族的压缩方式,代码片段如下: //设置编码算法,HBase提供了DIFF,FAST_DIFF,PREFIX三种编码算法 hcd.setDataBlockEncoding(DataBlockEncoding.FAST_DIFF);
-
Spark SQL性能调优 - MapReduce服务 MRS
SELECT语句调优 配置多并发客户端连接JDBCServer 配置SparkSQL的分块个数 Spark动态分区插入场景内存优化 小文件优化 聚合算法优化 Datasource表优化 合并CBO优化 多级嵌套子查询以及混合Join的SQL调优 父主题: 使用Spark/Spark2x
-
Spark2x开源新特性说明 - MapReduce服务 MRS
SparkSession,详见SparkSession原理。 Structured Streaming,详见Structured Streaming原理。 小文件优化。 聚合算法优化。 Datasource表优化。 合并CBO优化。 父主题: Spark2x开源增强特性
-
Kudu应用开发简介 - MapReduce服务 MRS
格可序列化的一致性的选项。 提供同时运行顺序读写和随机读写的良好性能。 易于管理。 高可用性。Master和TServer采用raft算法,该算法可确保只要副本总数的一半以上可用,tablet就可以进行读写操作。例如,如果3个副本中有2个副本或5个副本中有3个副本可用,则tabl
-
Hive开源增强特性 - MapReduce服务 MRS
创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可将对应的列进行加密。Hive列加密不支持视图以及Hive over HBase场景。 Hive列加密机制目前支持的加密算法有两种,具体使用的算法在建表时指定。 AES(对应加密类名称为:org