检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ZooKeeper开源增强特性 日志增强 安全模式下,Ephemeral node(临时节点)在session过期之后就会被系统删除,在审计日志中添加Ephemeral node被删除的审计日志,以便了解当时Ephemeral node的状态信息。 所有ZooKeeper客户端的操作都要在审计日志中添加Username。
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
在各个节点的配置文件中定义cluster信息,等所有参与的节点达成共识,业务才可以正确的交互访问,也就是说配置文件中的cluster才是通常理解的“集群”概念。 图1 ClickHouse集群 常见的数据库系统,隐藏了表级以下的数据分区、副本存储等细节,用户是无感知的,而Clic
yconnector.ssl.enabled”为“true”的时候才开启SSL加密,否则不开启。 Job与Job之间的联系可能是多对多的关系,对于每个NettySink和NettySource算子的并发度而言,是一对多的关系,如图3所示。 图3 关系图 父主题: Flink
式关联B表字段(P1,B1,B2,B3)生成C的场景中,B表信息发生大量更新,但是B中的所需字段没有更新,在该关联中仅用到了B表的B1和B2字段,对于B表,每个记录更新只更新B3字段,B1和B2不更新,因此当B表更新,可以忽略更新后的数据。 select A.A1,B.B1,B
Flink企业级能力增强 Flink SQL语法增强 多流Join场景支持配置表级别的TTL时间 配置Flink SQL Client支持SQL校验功能 Flink作业大小表Join能力增强 FlinkSQL OVER窗口支持超期退窗 FlinkSQL Kafka和upsert-kafka
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“row_stop”的范围,字段“
增强有限内存下的稳定性 配置场景 当前Spark SQL执行一个查询时需要使用大量的内存,尤其是在做聚合(Aggregate)和关联(Join)操作时,此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
增强有限内存下的稳定性 配置场景 当前Spark SQL执行一个查询时需要使用大量的内存,尤其是在做聚合(Aggregate)和关联(Join)操作时,此时如果内存有限的情况下就很容易出现OutOfMemoryError。有限内存下的稳定性就是确保在有限内存下依然能够正确执行相关
使用BulkLoad工具查询HBase表的行统计数 操作场景 HBase BulkLoad工具支持根据rowkey的命名规则、rowkey的范围、字段名以及字段值统计符合条件的行数。 操作步骤 直接执行如下命令统计满足如下条件的行数。rowkey在从“row_start”到“row_stop”的范围,字段“
Hive企业级能力增强 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口 配置Hive Transform功能开关
HDFS企业级能力增强 配置HDFS快速关闭文件功能 配置DataNode节点容量不一致时的副本放置策略 配置DataNode预留磁盘百分比 配置NameNode黑名单功能 配置Hadoop数据传输加密 配置HDFS多路读 配置HDFS细粒度锁 HDFS支持集群掉电自动恢复 父主题:
Hive企业级能力增强 配置Hive表不同分区分别存储至OBS和HDFS 配置Hive目录旧数据自动移除至回收站 配置Hive插入数据到不存在的目录中 配置创建Hive内部表时不能指定Location 配置用户在具有读和执行权限的目录中创建外表 配置基于HTTPS/HTTP协议的REST接口
增强HBase BulkLoad工具数据迁移能力 使用BulkLoad工具批量导入HBase数据 使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明
增强HBase BulkLoad工具数据迁移能力 使用BulkLoad工具批量导入HBase数据 使用BulkLoad工具批量更新HBase数据 使用BulkLoad工具批量删除HBase数据 使用BulkLoad工具查询HBase表的行统计数 BulkLoad工具配置文件说明 父主题:
来进行统一的日志管理。LogAggregationService在收集日志时会把container产生的本地日志合并成一个日志文件上传到HDFS,在一定程度上可以减少日志文件的数量。但在规模较大且任务繁忙的集群上,经过长时间的运行,HDFS依然会面临存储的日志文件过多的问题。 以
HBase企业级能力增强 配置HBase本地二级索引提升查询效率 增强HBase BulkLoad工具数据迁移能力 配置RSGroup管理RegionServer资源 父主题: 使用HBase
Kafka企业级能力增强 配置Kafka高可用和高可靠 配置Kafka数据安全传输协议 配置Kafka数据均衡工具 父主题: 使用Kafka
Oozie企业级能力增强 开启Oozie HA机制 使用Share Lib工具检查Oozie依赖Jar包正确性 父主题: 使用Oozie